hopper - 无界mpsc且内存限制

Hopper提供了一个版本的Rust标准mpsc，它是无界的但消耗的内存量有限。这是通过在需要时将元素分页到磁盘来实现的。这里的雄心是支持mpsc风格的通信，而不分配无界的内存或丢弃输入。

快速入门

在Cargo.toml中包含hopper库

hopper= "0.4"

并像使用stdlib的mpsc一样使用它

extern crate tempdir;
extern crate hopper;

let dir = tempdir::TempDir::new("hopper").unwrap();
let (mut snd, mut rcv) = hopper::channel("example", dir.path()).unwrap();

snd.send(9);
assert_eq!(Some(9), rcv.iter().next());

这里的主要区别是您必须提供一个通道名称和hopper可以分页到磁盘的目录。

Hopper旨在用于那些您的系统不能卸载输入并且必须最终处理它们的场景。当内存缓冲区满时，Hopper会在磁盘溢出时维护一个输入的内存缓冲区。虽然hopper会分页到磁盘，但它不会像stdlib mpsc那样在重启时保留写入。

幕后细节

Hopper的通道看起来非常像Unix中的命名管道。您为channel_2或channel_with_max_bytes_3提供名称，并在其中推入和拉出字节。磁盘分页增加了一个复杂性。在私下里，提供给上述两个函数的名称用于在data_dir下创建一个目录。在这种情况下，该目录会填充单调递增的文件。从现在开始，我们将专门处理这个问题。

磁盘结构如下

data-dir/
sink-name0/
      0
      1
   sink-name1/
      0

您会注意到在这个模块的命名空间中导出了Sender和Receiver。这些是支持命名通道发送和接收端的结构。Sender（可能有多个）负责创建“队列文件”。在上面的示例中，data-dir/sink-name*/*是队列文件。这些文件由Sender作为追加日志处理。Receiver会遍历这些日志以读取其中序列化的数据。