Memberlist

简介

memberlist 是一个使用基于 Gossip 协议管理的 Rust crate，用于集群成员和成员故障检测。

此类库的应用场景非常广泛：所有分布式系统都需要成员管理，而 memberlist 是管理集群成员和节点故障检测的可重用解决方案。

memberlist 最终是一致的，但平均收敛速度很快。它收敛的速度可以通过协议上的各种调节器进行大量调整。节点故障通过尝试通过多个路径与可能已死节点通信来检测，网络分区在一定程度上被容忍。

memberlist 非常适合 WASM/WASI，所有 crate 都可以编译为 wasm-wasi 和 wasm-unknown-unknown（需要配置 crate 功能）。

设计

与原始的 Go 实现不同，Rust 的 memberlist 使用高度通用和分层的架构，用户可以轻松实现自己的组件并将其插入到 memberlist 中。用户甚至可以自定义自己的 Id 和 Address。

以下是层级结构

• 传输层

  默认情况下，Rust 的 memberlist 提供两种传输类型 -- QuicTransport 和 NetTransport。

  • 运行时层

    由 agnostic 的 Runtime trait 提供了与异步运行时无关的功能，默认支持 tokio、async-std 和 smol。用户可以自行实现 Runtime 并将其集成到 memberlist 中。

  • 地址解析层

    地址解析层由 nodecraft 的 AddressResolver trait 支持。

  • 序列化/反序列化层

    默认情况下，Rust 的 memberlist 使用 length-prefix encoding (Lpe) 来将消息序列化为字节或反之。Lpe 的实现尽量在序列化和反序列化时避免重新分配。

    但是，用户可以通过实现 Wire trait 使用任何其他序列化和反序列化框架。

  • NetTransport

    为 NetTransport 提供了三种不同的内置流层。

    • Tcp：基于 TCP 和 UDP
    • Tls：基于 rustls 和 UDP
    • NativeTls：基于 native-tls 和 UDP

  • QuicTransport

    QUIC 传输是一个实验性的传输实现，经过充分测试，但仍处于实验阶段。

    为 QuicTransport 提供了两种不同的内置流层。

    • Quinn：基于 quinn
    • S2n：基于 s2n-quic

  用户仍可以为不同类型的传输实现实现自己的流层。

• 代理层

  该层用作不同类型消息的反应器。

  • 代理

    如果客户端想要连接到 Memberlist 的 Gossip 层，则必须实现 Delegate trait。所有方法都必须是线程安全的，因为它们可以并发调用。

    以下是子代理 trait

    • AliveDelegate

      用于让客户端参与处理节点 "存活" 消息。当一个节点通过数据包 Gossip 或承诺的推送/拉取方式加入时，我们通过存活消息更新该节点的状态。这可以用来过滤节点，防止它被考虑为对等节点，并使用应用程序特定的逻辑。

    • ConflictDelegate

      用于通知客户端一个节点已尝试加入，这将导致名称冲突。这种情况发生在两个客户端配置了相同的名称但不同的地址时。

    • EventDelegate

      一个更简单的代理，仅用于接收有关成员加入和离开的通知。此代理中的方法可能由多个线程调用，但永远不会并发调用。这允许您进行排序推理。

    • MergeDelegate

      用于让客户端参与可能的集群合并操作。具体来说，当一个节点执行承诺的推送/拉取（作为加入的一部分）时，代理参与并允许根据自定义逻辑取消加入。合并代理不会作为推送/拉取反熵的一部分调用。

    • NodeDelegate

      用于管理节点相关事件。例如，元数据。

    • PingDelegate

      用于通知观察者一个ping消息完成往返所需的时间。它还可以用于将任意字节数据写入ack消息中。请注意，为了使RTT估计有意义，此委托不适用于间接ping，也不适用于通过承诺连接发送的备用ping。

  • CompositeDelegate

    CompositeDelegate是一个有用的结构，可以将Delegate拆分为多个小的委托，这样用户在只想自定义Delegate中的一些方法时，就不需要实现完整的Delegate。

[dependencies]
memberlist = "0.1"