parquet2arrow-rs

这是一个命令行工具，用于将 .parquet 文件转换为 .arrow 文件。

为什么？简单且快速。

在我的电脑上，它将一个 500MB 的 Parquet 文件（14.6 百万行）转换为 arrow 文件大约需要 2 秒。

time ./target/release/parquet2arrow -i ~/Downloads/data.parquet -o ./out/example.arrow
Done, wrote 14656519 rows

________________________________________________________
Executed in    2.17 secs   fish           external 
   usr time  1189.07 millis    0.00 micros  1189.07 millis 
   sys time  645.92 millis  421.00 micros  645.50 millis 

安装

cargo install parquet2arrow

用法

parquet2arrow 0.1.0
Tool to convert a Parquet file to an Apache Arrow file

USAGE:
    parquet2arrow [OPTIONS] --input <INPUT> --output <OUTPUT>

OPTIONS:
    -h, --help               Print help information
    -i, --input <INPUT>      Path of Parquet file to read and convert
    -o, --output <OUTPUT>    Path of Arrow file to write
    -v, --verbose            Display additional details e.g. converted Arrow schema
    -V, --version            Print version information