Chewdata

此应用程序是一个轻量级的 ETL，可以用作系统之间的连接器

[E] - 默认启用功能。使用 --no-default-features 参数移除默认启用的所有功能。

【D】- 功能 D 禁用，必须使用 --features 参数启用。

更多信息

• 只需 rustup
• 无垃圾回收器
• 并行工作
• 跨平台
• 使用 async/await 以零成本进行并发执行
• 并行读取本地或桶中的多个文件
• 使用 S3 Select 在多个 csv/json/parquet 文件中搜索数据
• 可部署到 AWS Lambda
• 配置易于版本控制
• 可生成用于测试目的的实时数据
• 控制和验证数据。在专用流中处理错误和有效数据
• 仅启用所需功能：--no-default-features --features "toml psql"

入门

从源代码设置

要求

• Rust
• Docker 和 Docker-compose 用于在本地测试代码

执行命令

git clone https://github.com/jmfiaschi/chewdata.git chewdata
cd chewdata
cp .env.dev .env
vim .env // Edit the .env file
make build
make unit-tests
make integration-tests

如果所有测试都通过，则项目就绪。阅读 Makefile 以了解您可以使用哪些快捷方式。

如果您想通过此部分了解一些示例，请进入 ./examples

从 cargo 包设置

默认安装

此命令将安装具有所有功能的该项目。

cargo install chewdata

最小功能

如果您只需要读取/写入 json 文件，将其转换并存储到本地环境中。

cargo install chewdata --no-default-features

自定义功能

如果您想指定要添加到安装中的某些功能

cargo install chewdata --no-default-features --features "xml bucket"

请参阅 功能文档。

如何更改日志级别

如果您需要更改命令的日志级别，您需要在安装时定义它。

cargo install chewdata --no-default-features --features "tracing/release_max_level_info"
echo '{"field1":"value1"}' | RUST_LOG=trace chewdata '[{"type":"reader","document":{"type":"json"},"connector":{"type":"io"}},{"type":"writer","document":{"type":"json"},"connector":{"type":"io"}}]'

如果您想过滤日志，您可以使用来自 tracing_subscriber 的指令语法。

cargo install chewdata --no-default-features --features "tracing/release_max_level_trace"
echo '{"field1":"value1"}' | RUST_LOG=chewdata=trace chewdata '[{"type":"reader","document":{"type":"json"},"connector":{"type":"io"}},{"type":"writer","document":{"type":"json"},"connector":{"type":"io"}}]'

运行

首先，您可以使用选项 --help 检查命令的工作方式

chewdata --help
...
USAGE:
    chewdata [OPTIONS] [JSON]

FLAGS:
    -h, --help       Prints help information
    -V, --version    Prints version information

OPTIONS:
    -f, --file <FILE>    Init steps with file configuration in input

ARGS:
    <JSON>    Init steps with a json/hjson configuration in input

无配置

可以在没有配置的情况下运行命令，应用程序将等待您输入 json 数据。默认情况下，程序将 json 数据写入输出，并在您输入空值时停止程序。

$ cargo run
$ [{"key":"value"},{"name":"test"}]
$ --enter--
[{"key":"value"},{"name":"test"}]

另一个无配置的示例，带有文件输入

$ cat ./data/multi_lines.json | cargo run
[{...}]

或

$ cat ./data/multi_lines.json | make run
[{...}]

或

$ cat ./data/multi_lines.json | chewdata
[{...}]

带配置

配置对于自定义步骤列表很有用。它支持 hjson 格式，以便对其进行增强。

$ cat ./data/multi_lines.csv | cargo run '[{"type":"reader","document":{"type":"csv"}},{"type":"writer"}]'
[{...}] // Will transform the csv data into json format

或

$ cat ./data/multi_lines.csv | make run json='[{\"type\":\"reader\",\"document\":{\"type\":\"csv\"}},{\"type\":\"writer\"}]'
[{...}] // Will transform the csv data into json format

或

$ cat ./data/multi_lines.csv | chewdata '[{"type":"reader","document":{"type":"csv"}},{"type":"writer"}]'
[{...}] // Will transform the csv data into json format

另一个示例，带有文件配置的参数

$ echo '[{"type":"reader","connector":{"type":"io"},"document":{"type":"csv"}},{"type":"writer"}]' > my_etl.conf.json
$ cat ./data/multi_lines.csv | cargo run -- --file my_etl.conf.json
[{...}]

或

$ echo '[{"type":"reader","connector":{"type":"io"},"document":{"type":"csv"}},{"type":"writer"}]' > my_etl.conf.json
$ cat ./data/multi_lines.csv | make run file=my_etl.conf.json
[{...}]

或

$ echo '[{"type":"reader","connector":{"type":"io"},"document":{"type":"csv"}},{"type":"writer"}]' > my_etl.conf.json
$ cat ./data/multi_lines.csv | chewdata --file my_etl.conf.json
[{...}]

PS：您可以将 Json 配置文件替换为 Yaml 格式。

链式命令

可以链式使用 chewdata 程序

task_A=$(echo '{"variable": "a"}' | chewdata '[{"type":"r"},{"type":"transformer","actions":[{"field":"/","pattern":"{{ input | json_encode() }}"},{"field":"value","pattern":"10"}]},{"type":"w", "doc":{"type":"jsonl"}}]') &&\
task_B=$(echo '{"variable": "b"}' | chewdata '[{"type":"r"},{"type":"transformer","actions":[{"field":"/","pattern":"{{ input | json_encode() }}"},{"field":"value","pattern":"20"}]},{"type":"w", "doc":{"type":"jsonl"}}]') &&\
echo $task_A | VAR_B=$task_B chewdata '[{"type":"r"},{"type":"transformer","actions":[{"field":"var_b","pattern":"{{ get_env(name=\"VAR_B\") }}"},{"field":"result","pattern":"{{ output.var_b.value * input.value }}"},{"field":"var_b","type":"remove"}]},{"type":"w"}]'
[{"result":200}]

它是如何工作的？

此程序执行配置文件中的 steps，您需要将其注入为 Json 或 Yaml 格式

示例

[
 {
    "type": "erase",
    "connector": {
        "type": "local",
        "path": "./my_file.out.csv"
    }
 },
 {
    "type": "reader",
    "connector": {
        "type": "local",
        "path": "./my_file.csv"
    }
 },
 {
    "type": "writer",
    "connector": {
        "type": "local",
        "path": "./my_file.out.csv"
    }
 },
 ...
]

这些 steps 按照顺序执行。

所有 steps 通过一个输入和输出上下文队列链接在一起。当一个步骤完成数据处理时，会创建一个新的上下文并将其发送到输出队列。下一个步骤将处理这个新的上下文。步骤1（上下文）-> Q1[上下文] -> 步骤N（上下文）-> QN[上下文] -> 步骤N+1（上下文）每个步骤都是异步执行的。每个队列都有一个限制，可以在步骤的配置中进行自定义。

检查模块 step，以查看可用的步骤及其配置列表。检查文件夹 /examples，以了解如何使用和构建配置文件的示例。

步骤及其配置列表

• 读取器
• 写入器
• 擦除器
• 生成器
• 转换器
• 验证器

如何贡献？

遵循 GitHub 流程。

遵循 语义发布规范

在代码修改后，请运行所有测试。

make test

有用链接

• 基准报告
• 文档
• 包