cdc

一个用于在数据流上进行内容定义分块（CDC）的库。使用泛型迭代器实现，非常容易使用。

• API文档

示例

  let reader: BufReader<File> = BufReader::new(file);
  let byte_iter = reader.bytes().map(|b| b.unwrap());

  // Finds and iterates on the separators.
  for separator in SeparatorIter::new(byte_iter) {
    println!("Index: {}, hash: {:016x}", separator.index, separator.hash);
  }

每个模块都通过示例进行文档说明，您可以在 examples/ 文件夹中找到。

要运行它们，请使用以下命令：

cargo run --example separator --release

注意：有些示例正在寻找名为 myLargeFile.bin 的文件，我没有将其上传到Github。请使用您自己的文件进行测试。

crate中包含的内容

从低级到高级

• 一个 RollingHash64 特征，用于具有64位哈希值的滚动哈希。

• Rabin64，具有64位哈希值的Rabin指纹滚动哈希的实现。

• Separator，一个描述数据流中分隔符位置的struct。

• SeparatorIter，一个适配器，它接受一个 Iterator<Item=u8> 作为输入，并枚举所有找到的分隔符。

• Chunk，一个描述数据流中数据片段（索引和大小）的struct。

• ChunkIter，一个适配器，它接受一个 Iterator<Item=Separator> 作为输入，并枚举块。