rust-shardio

用于需要通过多遍map / sort / reduce过程处理的内存不足的大数据集排序的库。

您将类型 T 的项流写入到实现 Serialize 和 Deserialize 的 ShardWriter。这些项被缓冲，根据可自定义的排序键进行排序，然后以serde + lz4的方式分块序列化到磁盘，同时保持每个块的索引，该索引包含每个块的位置和键范围。您使用 ShardReader 在键空间选定区间内以排序顺序流式传输选择的项。

有关API和示例，请参阅文档。

注意：在发布模式下启用'full-test'功能以打开一些长时间运行的压力测试。