parquet-format-async-temp

这是一个包含 rust 的 thrift 库和 parquet 的子集的临时 crate，用于支持本地的异步 parquet 读写。

具体来说，它

• 支持 async 读取 API（通过 futures）
• 支持 async 写入 API（通过 futures）
• 写入 API 返回写入的字节数

它必须与 thrift 编译器的分支一起使用，该分支可在 https://github.com/jorgecarleitao/thrift/tree/write_size 中找到。

原因

为了在没有对特定运行时（例如 tokio、hyper 等）做出承诺的情况下读取和写入 thrift（例如 parquet）文件，协议需要分别支持 AsyncRead + AsyncSeek 和 AsyncWrite。

为了不在写入时要求 Seek 和 AsyncSeek，协议必须在它的 write_* API 上返回写入的字节数。

这个 crate 解决了 parquet 的这两个问题。它本质上

• https://github.com/apache/thrift/pull/2426 在最新的 thrift 上应用
• 修改写入的字节数以输出到所有的 write_* API 上