将 CSV 转换为 Parquet (CC2P)

(CC2P) 是一个基于 Rust 的项目，可以将所选文件夹中的 CSV 文件转换为 parquet 格式。此工具提供了一种简单高效的方法来处理和转换您的 CSV 数据文件。

安装 & 使用

先决条件

• Rust 1.74

构建

提供构建项目的说明，例如，安装 Rust 编译器和必要的 crate。

以下是从 Git 仓库直接安装 cc2p 的方法

cargo install cc2p

运行

提供运行脚本的说明。例如，如何指定输入 CSV 文件和输出 Parquet 文件。

cc2p [OPTIONS] /path/to/csv/file.csv

选项

• 分隔符：CSV 文件中使用的分隔符字符（默认：,）
• 无头：是否在 CSV 搜索列中包含标题（默认：false）
• 工作线程：执行任务时使用的线程数（默认：4）
• 采样：用于推断模式的行数（默认：100）

> cc2p --help

Convert a CSV to parquet file format

Usage: cc2p.exe [OPTIONS] [PATH]

Arguments:
  [PATH]  Represents the folder path for CSV search [default: *.csv]

Options:
  -d, --delimiter <DELIMITER>  Represents the delimiter used in CSV files [default: ,]
  -n, --no-header              Represents whether to include the header in the CSV search column
  -w, --worker <WORKER>        Number of worker threads to use for performing the task [default: 1]
  -s, --sampling <SAMPLING>    Number of rows to sample for inferring the schema. [default: 100]
  -h, --help                   Print help
  -V, --version                Print version

特性

• 快速可靠的 CSV 到 Parquet 转换。
• 使用 tokio crate 的多线程处理。
• 转换过程中的进度指示，借助 indicatif crate。

贡献

如果您想贡献，请随意 fork 仓库，做出您的更改，并提交拉取请求。所有贡献都欢迎！

许可

本项目采用 MIT 许可，有关详细信息，请参阅 LICENSE 文件。

联系方式

项目链接：https://github.com/rayyildiz/cc2p