Memberlist

简介

memberlist是一个Rust crate，使用基于gossip的协议来管理集群成员和成员故障检测。

此类库的使用场景非常广泛：所有分布式系统都需要成员资格，memberlist是管理集群成员和节点故障检测的可重用解决方案。

memberlist最终是一致的，但平均收敛速度很快。它可以通过协议中的各种调节器来大幅调整收敛速度。通过尝试通过多个路由与可能已死节点通信，可以检测节点故障并部分容忍网络分区。

memberlist对WASM/WASI友好，所有crate都可以编译为wasm-wasi和wasm-unknown-unknown（需要配置crate功能）。

设计

与原始Go实现不同，Rust的memberlist使用高度通用和分层架构，用户可以轻松自己实现一个组件并将其连接到memberlist。用户甚至可以自定义自己的Id和Address。

以下是层次结构

• 传输层

  默认情况下，Rust的memberlist提供两种传输方式 -- QuicTransport 和 NetTransport。

  • 运行时层

    由 agnostic 的 Runtime 特性 提供了与异步运行时无关的功能，默认支持 tokio、async-std 和 smol。用户可以自行实现自己的 Runtime 并将其插入到 memberlist 中。

  • 地址解析层

    地址解析层由 nodecraft 的 AddressResolver 特性 支持。

  • 序列化/反序列化层

    默认情况下，Rust 的 memberlist 使用 length-prefix encoding (Lpe) 来将消息序列化为字节或相反。Lpe 的实现尽量在序列化/反序列化过程中避免重新分配。

    但是，用户可以通过实现 Wire 特性来使用任何其他序列化/反序列化框架。

  • NetTransport

    为 NetTransport 提供了三种不同的内置流层。

    • Tcp：基于 TCP 和 UDP
    • Tls：基于 rustls 和 UDP
    • NativeTls：基于 native-tls 和 UDP

  • QuicTransport

    QUIC 传输是一个实验性的传输实现，经过良好测试但仍处于实验阶段。

    为 QuicTransport 提供了两种不同的内置流层。

    • Quinn：基于 quinn
    • S2n：基于 s2n-quic

  用户还可以为不同类型的传输实现实现自己的流层。

• 代理层

  此层用作不同类型消息的触发器。

  • 代理

    如果客户端想要连接到 Memberlist 的八卦层，则必须实现 Delegate 特性。所有方法都必须是线程安全的，因为它们可以并发调用。

    以下是子代理特性

    • AliveDelegate

      用于将客户端涉及处理节点的 "存活" 消息。当一个节点通过数据包八卦或承诺推送/拉取加入时，我们通过存活消息更新该节点的状态。这可以用于使用特定于应用程序的逻辑过滤节点，并防止将其视为对等节点。

    • ConflictDelegate

      用于通知客户端，一个节点已尝试加入，这将导致名称冲突。如果两个客户端配置了相同的名称但不同的地址，则会发生这种情况。

    • EventDelegate

      这是一个更简单的代理，仅用于接收有关成员加入和离开的通知。此代理中的方法可能会由多个线程调用，但永远不会并发调用。这允许您考虑顺序。

    • MergeDelegate

      用于将客户端涉及潜在的集群合并操作。即，当一个节点执行承诺推送/拉取（作为加入的一部分）时，代理被涉及并允许根据自定义逻辑取消加入。合并代理不会作为推送/拉取反熵的一部分调用。

    • NodeDelegate

      用于管理节点相关事件。例如：元数据

    • PingDelegate

      用于通知观察者一个ping消息往返所需的时间。它还可以用于将任意字节切片写入ack消息。注意，为了对RTT估计有意义，此代理不适用于间接ping，也不适用于通过已承诺的连接发送的备用ping。

  • CompositeDelegate

    CompositeDelegate是一个有用的结构，可以将Delegate拆分为多个小的代理，这样当用户只想自定义代理中的一些方法时，就不需要实现完整的Delegate。

协议

memberlist基于"SWIM: 可扩展的弱一致性感染式进程组成员资格协议"。然而，Hashicorp开发者在多个方面扩展了该协议

进行了几项扩展以增加传播速度和收敛速度。另一组扩展，Hashicorp开发者称之为Lifeguard，旨在使memberlist在面对慢速消息处理（由于CPU饥饿、网络延迟或丢失等因素）时更加健壮。有关所有这些扩展的详细信息，请阅读Hashicorp的论文"Lifeguard : SWIM-ing with Situational Awareness"，以及memberlist源代码。

安装

[dependencies]
memberlist = "0.1"

问答

• Rust的memberlist实现与Go的memberlist兼容吗？

  不兼容，但也兼容！默认情况下，它们不兼容。但秘密在于序列化和反序列化层，Go的memberlist使用msgpack作为序列化和反序列化框架，因此，在理论上，如果您能实现一个与Go的memberlist兼容的Wire特质，那么它们就兼容了。

• 如果Go的memberlist添加了更多功能，这个项目也会支持吗？

  是的！这个项目也可能添加Go的memberlist没有的功能。例如：wasmer支持、绑定到其他语言等。

相关项目

• agnostic：帮助您开发运行时不依赖的crate
• nodecraft：为分布式系统提供无缝节点操作，提供节点识别和地址解析的基础特质。
• transformable：在结构化和字节形式之间转换其表示。
• peekable：可查看的读取器和异步读取器

许可证

memberlist受MPL-2.0许可证的约束。

有关详细信息，请参阅LICENSE。

版权（c）2024 Al Liu。

版权（c）2013 HashiCorp，Inc。