JSON到Arrow

将JSON文件转换为Apache Arrow。此包是Arrow CLI工具的一部分。

安装

下载预构建的二进制文件

您可以从https://github.com/domoritz/arrow-tools/releases 获取最新版本。

使用Homebrew

brew install domoritz/homebrew-tap/json2arrow

使用Cargo

cargo install json2arrow

使用 Cargo B(inary)Install

为了避免重新编译并加快安装速度，您可以使用cargo binstall 安装此工具

cargo binstall json2arrow

用法

Usage: json2arrow [OPTIONS] <JSON> [ARROW]

Arguments:
  <JSON>   Input JSON file, stdin if not present
  [ARROW]  Output file, stdout if not present

Options:
  -s, --schema-file <SCHEMA_FILE>
          File with Arrow schema in JSON format
  -m, --max-read-records <MAX_READ_RECORDS>
          The number of records to infer the schema from. All rows if not present. Setting max-read-records to zero will stop schema inference and all columns will be string typed
  -p, --print-schema
          Print the schema to stderr
  -n, --dry
          Only print the schema
  -h, --help
          Print help
  -V, --version
          Print version

–schema-file选项使用与–dry和–print-schema相同的文件格式。

示例

有关使用示例，请参阅csv2parquet 示例，它具有类似界面。

限制

由于我们使用Arrow JSON加载器，因此受到其支持的限制。目前，它支持JSON行分隔文件。

{ "a": 42, "b": true }
{ "a": 12, "b": false }
{ "a": 7, "b": true }