parallel_reader

一个实用工具（无依赖项），用于从文件（或任何 Read 流）读取并按块并行处理。

如果读取不是瓶颈，并且你有慢速操作，并且这些操作容易并行化，这会很有用。

示例可能包括

• 哈希
• 压缩
• 通过网络发送块

此crate提供了一个函数，read_stream_and_process_chunks_in_parallel，允许您提供一个 Read 流，然后指定块大小和线程数，以及一些处理函数，然后它会负责读取流并将线程分配到其块上。

您的函数还可以返回错误，它将停止文件的处理并提前返回错误，包括错误发生时的块偏移量。

目前，这仅使用同步阻塞I/O，但也许将来我会添加另一个使用异步流并并行运行future的函数。P/Rs欢迎。