数据管道

  1. aws-sdk-datapipeline

    AWS SDK for AWS Data Pipeline

    v1.39.0 550 #数据管道 #任务运行器 #aws-sdk #数据加工 #数据管理 #网络服务
  2. google-datapipelines1

    与Datapipelines(协议v1)交互的完整库

    v5.0.5+20240616 470 #数据管道 #google #协议 #数据管道 #google-api #网络 #网络API
  3. birli

    Murchison Widefield Array的前处理管道

    v0.13.0 170 #数据管道 #射电天文学 #mwa #cotter #aoflagger #天文学
  4. aws-sdk-osis

    AWS SDK for Amazon OpenSearch Ingestion

    v1.41.0 440 #aws-sdk #opensearch #管道 #数据管道 #摄取 #amazon #操作
  5. google-datapipelines1-cli

    与Datapipelines(协议v1)交互的完整库

    v5.0.4+20240225 #数据管道 #google-api #google #cli #命令行界面
  6. aqueducts-cli

    用于运行aqueducts框架中定义的管道的CLI应用程序

    v0.5.0 370 #数据管道 #管道 #etl #数据 #aqueducts #cli应用程序 #cli
  7. aqueducts

    用于声明式构建ETL数据管道的框架

    v0.5.0 380 #数据管道 #etl #管道 #parquet文件 #数据源 #API绑定 #数据
  8. prqlc-ast

    PRQL语言的AST

    v0.12.2 7.3K #ast #语言 #数据管道 #prql #sql #替换 #管道化
  9. fluvio-stream-model

    Fluvio事件流模型

    v0.11.4 650 #数据加工 #fluvio #事件流 #数据流 #数据管道 #流处理 #分布式系统
  10. timberio/file-source

    高性能可观察性数据管道

    GitHub 0.1.0 #数据管道 #vector #可观察性 #vec # #指标 #日志
  11. rudderanalytics

    RudderStack Rust SDK是一个分析客户端,用于跟踪Rust应用程序中的事件

    v1.1.4 100 #analytics #data-analytics #data-pipeline #rudderstack #rudder #rust
  12. timberio/tracing-limit

    高性能可观察性数据管道

    GitHub 0.1.0 #data-pipeline #observability #vector #metrics #logs #routes #performance
  13. fluvio-package-index

    Fluvio 包索引

    v0.7.6 140 #fluvio #index #event-driven-architecture #data-streaming #data-pipeline #distributed-systems #data-processing
  14. aqueducts-odbc

    用于声明式构建ETL数据管道的框架

    v0.5.0 260 #data-pipeline #pipeline #data #etl #aqueducts #data-source #api-bindings
  15. fluvio-protocol

    Fluvio 流式协议

    v0.11.0 2.0K #event-driven-architecture #data-pipeline #fluvio #stream-processing #real-time #data-processing #protocols
  16. eventuals

    最终一致值

    v0.6.7 1.8K #data-pipeline #future #async
  17. fluvio-extension-common

    Fluvio 扩展通用库

    v0.14.1 130 #fluvio #extension #stream-processing #real-time #event-driven-architecture #serverless #data-pipeline
  18. gasket

    分阶段事件驱动架构(SEDA)框架

    v0.8.0 190 #data-processing #data-pipeline #event-driven-architecture #error #composable #observability #actor-model
  19. fluvio-controlplane-metadata

    Fluvio 控制平面元数据定义

    v0.29.0 650 #control-plane #fluvio #data-pipeline #metadata #event-driven-architecture #distributed-systems #definition
  20. fluvio-spu-schema

    Fluvio SPU API

    v0.15.0 500 #stream-processing #fluvio #real-time #event-driven-architecture #spu #streaming #data-pipeline
  21. fluvio-sc-schema

    Fluvio SC API

    v0.24.2 600 #fluvio #event-driven-architecture #streaming #real-time #distributed-systems #data-pipeline #sc
  22. arroyo

    一个分布式流处理器,允许用户通过编写 SQL 来对高容量实时数据进行复杂查询。此 CLI 可以用于在 Docker 中运行 Arroyo 集群

    v0.7.0 #数据处理 #流处理 #SQL #事件处理 #数据流 #数据管道 #数据
  23. auditor-client

    AUDITOR 客户端

    v0.6.2 270 #会计 #机会性 #网格计算 #批处理系统 #数据管道
  24. async-pipes

    构建并发数据处理管道

    v0.3.1 #数据处理 #数据管道 #管道 #处理 #tokio #异步 #异步任务
  25. gasket-prometheus

    Gasket 框架的 Prometheus 指标导出器

    v0.8.0 #prometheus-metrics #prometheus-exporter #metrics-exporter #数据管道 #数据处理 #框架 #gasket
  26. aqueducts-utils

    用于声明式构建ETL数据管道的框架

    v0.5.0 430 #数据管道 #管道 #数据 #ETL #aqueducts #API 绑定
  27. rusoto_datapipeline

    Rust AWS SDK - AWS 数据管道 @ 2012-10-29

    v0.48.0 240 #数据管道 #aws #amazon #rusoto-aws
  28. burn-dataset

    创建机器学习数据管道的数据集 API

    v0.13.2 8.2K #机器学习 #数据管道 #深度学习 #数据源 #数据
  29. mega_etl

    基于 WasmEdge WebAssembly 运行的云原生 ETL (提取、转换、加载) 应用程序框架,允许开发者过滤、映射和转换进入云数据库的数据管道

    v0.1.1 #etl #无服务器 #流式处理 #数据库 #wasm #数据管道 #过滤-映射
  30. dataflow

    数据处理库,主要用于机器学习

    v0.4.0 #数据处理 #数据管道 #机器学习 #有向无环图 #数据加载器 #节点 #可组合
  31. fluvio-system-util

    Fluvio 系统组件

    v0.1.1 #fluvio #数据处理 #数据流 #数据管道 #事件驱动架构 #分布式 #实时
  32. fluvio-runner-local

    Fluvio 引擎运行器

    v0.3.0 #流处理 #数据流 #数据处理 #fluvio #数据管道 #数据集成 #数据流
  33. mz_rusoto_datapipeline

    Rust AWS SDK - AWS 数据管道 @ 2012-10-29

    v0.46.0 #数据管道 #aws #amazon #rusoto-aws #aws-sdk
  34. prql-ast

    PRQL语言的AST

    v0.9.5 700 #ast #prql #language #data-pipeline #transforming #modern #pipelined
  35. enum_pipeline

    使用枚举描述和执行有序数据管道的方法

    v2.0.0 #pipeline #enums #execute #ordered #describe #data-pipeline #variant
  36. transformation-pipeline

    用于转换数据的中间件式API

    v0.1.0 330 #data-pipeline #data-transformation #stage #transforming #api #action #middleware-esque
  37. pipev

    pipeviewer的教育版本

    v0.1.2 #pipe #data-pipeline #educational #pipeviewer #pv
  38. 尝试使用DuckDuckGo搜索搜索

  39. arrowpipe

    轻松构建复杂管道

    v0.1.0 #data-processing #data-pipeline #pipeline #arrow #data #processing
  40. data-pipeline

    一个功能丰富且可扩展的库,用于以最小开销组织懒加载数据处理

    v0.1.0 #lazy-evaluation #stream #filtering #tree #logging
  41. snowplow/factotum

    一个用于程序运行数据管道的系统

    GitHub 0.6.0 #data-pipeline #job #run #job-scheduler #dag #system #tool
  42. gasket-derive

    分阶段事件驱动架构(SEDA)框架

    v0.8.0 170 #data-pipeline #gasket #applications #opinionated #building #semantics #stage