Memberlist

简介

memberlist 是一个使用基于 Gossip 协议管理的集群成员和成员故障检测的 Rust crate。

此类库的使用场景非常广泛：所有分布式系统都需要成员资格，而 memberlist 是一个可重用的解决方案，用于管理集群成员和节点故障检测。

memberlist 最终是一致的，但平均收敛速度很快。它通过协议上的各种调节器可以大量调整收敛速度。通过尝试通过多个路由与可能已死的节点通信，可以检测节点故障并部分容忍网络分区。

memberlist 对 WASM/WASI 友好，所有 crate 都可以编译成 wasm-wasi 和 wasm-unknown-unknown（需要配置 crate 功能）。

设计

与原始的 Go 实现不同，Rust 的 memberlist 使用高度通用和分层架构，用户可以轻松实现自己的组件并将其插入 memberlist。用户甚至可以自定义自己的 Id 和 Address。

以下是层结构

• 传输层

  默认情况下，Rust 的 memberlist 提供两种类型的传输 -- QuicTransport 和 NetTransport。

  • 运行时层

    由 agnostic 的 Runtime trait 提供异步运行时无关性，默认支持 tokio、async-std 和 smol。用户可以自己实现 Runtime 并将其插入成员列表。

  • 地址解析层

    地址解析层由 nodecraft 的 AddressResolver trait 支持。

  • 序列化/反序列化层

    默认情况下，Rust 的 memberlist 使用 length-prefix encoding (Lpe) 来序列化/反序列化消息到字节或反之。Lpe 的实现试图在序列化/反序列化过程中尽量避免重新分配。

    但是，用户可以通过实现 Wire trait 来使用任何其他序列化/反序列化框架。

  • NetTransport

    NetTransport 支持三种不同的内置流层

    • Tcp：基于 TCP 和 UDP
    • Tls：基于 rustls 和 UDP
    • NativeTls：基于 native-tls 和 UDP

  • QuicTransport

    QUIC 传输是一个实验性的传输实现，它经过良好测试但仍处于实验阶段。

    QuicTransport 支持两种不同的内置流层

    • Quinn：基于 quinn
    • S2n：基于 s2n-quic

  用户仍然可以为不同类型的传输实现实现自己的流层。

• 代理层

  此层用作不同类型消息的触发器。

  • 代理

    如果客户端想要连接到 Memberlist 的八卦层，则必须实现 Delegate trait。所有方法都必须是线程安全的，因为它们可能并且通常会被并发调用。

    以下是子代理特性

    • AliveDelegate

      用于将客户端涉及处理节点 "存活" 消息。当一个节点通过数据包八卦或承诺推送/拉取加入时，我们通过存活消息更新该节点的状态。这可以用于通过特定于应用程序的逻辑过滤节点，并防止它被视为对等节点。

    • ConflictDelegate

      用于通知客户端一个节点已尝试加入，这将导致名称冲突。如果两个客户端配置了相同的名称但不同的地址，则发生这种情况。

    • EventDelegate

      这是一个简单的代理，仅用于接收有关成员加入和离开的通知。此代理中的方法可能由多个线程调用，但永远不会并发调用。这允许您考虑顺序。

    • MergeDelegate

      用于在潜在的集群合并操作中涉及客户端。也就是说，当节点执行承诺的推送/拉取操作（作为加入的一部分）时，代表将被涉及并允许根据自定义逻辑取消加入。合并代表不是作为推送/拉取反熵的一部分调用的。

    • NodeDelegate

      用于管理节点相关事件。例如，元数据

    • PingDelegate

      用于通知观察者ping消息完成往返所需的时间。它还可以用于将任意字节数据写入ack消息中。请注意，为了对RTT估计有意义，此代表不适用于间接ping，也不适用于通过承诺连接发送的回退ping。

  • CompositeDelegate

    CompositeDelegate是一个有用的结构体，可以将Delegate拆分为多个小的代表，这样用户在只想自定义Delegate中的一些方法时，无需实现完整的Delegate。

协议

memberlist基于"SWIM: 可扩展的弱一致性感染式进程组成员资格协议"。然而，Hashicorp开发者以多种方式扩展了该协议

对协议进行了多项扩展，以提高传播速度和收敛速度。另一组扩展，Hashicorp开发者称之为Lifeguard，旨在使memberlist在面对消息处理缓慢（由于CPU饥饿、网络延迟或丢失等因素）的情况下更加健壮。有关所有这些扩展的详细信息，请参阅Hashicorp的论文"Lifeguard : SWIM-ing with Situational Awareness"，以及memberlist源代码。

安装

[dependencies]
memberlist = "0.1"

问答

• Rust的memberlist实现与Go的memberlist兼容吗？

  不兼容，但兼容！默认情况下，它们不兼容。但关键是序列化/反序列化层，Go的memberlist使用msgpack作为序列化/反序列化框架，所以从理论上讲，如果你可以实现在Go的memberlist中兼容的Wire特征，那么它就兼容了。

• 如果Go的memberlist添加更多功能，这个项目也会支持吗？

  是的！而且这个项目可能也会添加更多功能，而Go的memberlist没有。例如，支持wasmer、绑定到其他语言等。

相关项目

• agnostic：帮助您开发运行时无关的crate
• nodecraft：为分布式系统制作无缝节点操作，提供节点标识和地址解析的基础特征。
• transformable：在结构化和字节形式之间转换其表示。
• peekable：可查看的读取器和异步读取器

许可

memberlist受MPL-2.0许可协议的约束。

有关详细信息，请参阅LICENSE。

版权（c）2024 刘磊。

版权（c）2013 HashiCorp，Inc。