catcsv: 将可能压缩的CSV文件目录合并

这是一个小型实用程序，我们用它将许多小CSV文件重新组合成更大的文件。在我们的例子中，这些小CSV文件是由执行map/reduce风格操作的并行度很高的Pachyderm管道生成的。

用法

catcsv - Combine many CSV files into one

Usage:
  catcsv <input-file-or-dir>...
  catcsv (--help | --version)

Options:
  --help        Show this screen.
  --version     Show version.

Input files must have the extension *.csv or *.csv.sz.  The latter are assumed
to be in Google's "snappy framed" format: https://github.com/google/snappy

If passed a directory, this will recurse over all files in that directory.

愿望列表

如果您想添加对其他常见压缩格式的支持，例如 *.gz，我们将乐意接受依赖于纯Rust包或包含C代码但仍然可以轻松使用musl交叉编译的包的PR。

相关工具

如果您对这个实用程序感兴趣，您可能也会对以下工具感兴趣

• BurntSushi的出色xsv实用程序，它提供了许多用于处理CSV文件的子命令。其中包括功能强大的xsv cat命令，它具有许多catcsv没有的选项（但据我所知，它不执行目录遍历或自动解压缩）。
• Faraday的scrubcsv实用程序，它试图使非标准CSV文件规范化。