reed-solomon-erasure

Rust实现的Reed-Solomon纠删码

还提供WASM构建版本，有关详细信息，请参阅下面的 WASM使用 部分

这是对BackBlaze的Java实现，Klaus Post的Go实现和Nicolas Trangez的Haskell实现的移植。

版本 1.X.X 复制了BackBlaze的实现，性能较低，因为可以添加并行的地方较少。

版本 >= 2.0.0 复制了Klaus Post的实现。SIMD C代码是从Nicolas Trangez的实现中复制的，并进行了一些修改。

有关详细信息，请参阅说明和许可证部分。

WASM使用

有关详细信息，请参阅此处

Rust使用

要将以下内容添加到您的Cargo.toml中，用于正常版本（纯Rust版本）

[dependencies]
reed-solomon-erasure = "4.0"

或以下内容，用于尝试利用SIMD的版本

[dependencies]
reed-solomon-erasure = { version = "4.0", features = [ "simd-accel" ] }

并添加以下内容到您的crate根目录

extern crate reed_solomon_erasure;

注意：simd-accel针对x86-64上的Haswell+处理器进行了优化，不对其他架构进行任何优化，在构建时设置环境变量RUST_REED_SOLOMON_ERASURE_ARCH以强制编译特定架构的C代码（GCC/Clang中的-march标志）。即使在x86-64上，将其设置为native也可以实现更好的性能，但将在旧CPU上停止运行，YMMV。

示例

#[macro_use(shards)]
extern crate reed_solomon_erasure;

use reed_solomon_erasure::galois_8::ReedSolomon;
// or use the following for Galois 2^16 backend
// use reed_solomon_erasure::galois_16::ReedSolomon;

fn main () {
    let r = ReedSolomon::new(3, 2).unwrap(); // 3 data shards, 2 parity shards

    let mut master_copy = shards!(
        [0, 1,  2,  3],
        [4, 5,  6,  7],
        [8, 9, 10, 11],
        [0, 0,  0,  0], // last 2 rows are parity shards
        [0, 0,  0,  0]
    );

    // Construct the parity shards
    r.encode(&mut master_copy).unwrap();

    // Make a copy and transform it into option shards arrangement
    // for feeding into reconstruct_shards
    let mut shards: Vec<_> = master_copy.iter().cloned().map(Some).collect();

    // We can remove up to 2 shards, which may be data or parity shards
    shards[0] = None;
    shards[4] = None;

    // Try to reconstruct missing shards
    r.reconstruct(&mut shards).unwrap();

    // Convert back to normal shard arrangement
    let result: Vec<_> = shards.into_iter().filter_map(|x| x).collect();

    assert!(r.verify(&result).unwrap());
    assert_eq!(master_copy, result);
}

自行进行基准测试

您可以通过克隆此repo快速测试不同配置下的性能（例如，数据奇偶校验碎片比率、并行参数）：https://github.com/darrenldl/rse-benchmark

rse-benchmark 包含了这个库的副本（通常是功能齐全的开发版本），所以你只需要调整 main.rs，然后执行 cargo run --release 来启动基准测试。

性能

版本 1.X.X 和 2.0.0 不使用 SIMD。

从版本 2.1.0 开始使用 Nicolas 的 C 文件进行 SIMD 操作。