TLSH-RS

这是趋势科技局部敏感哈希（TLSH）算法的Rust移植 [github]，[网站]，用于计算字节流的哈希值。这些生成的哈希值可用于相似性检测、数据聚类或最近邻搜索。

概述

构建TLSH摘要的算法如下（更多细节，请参阅 [1]）

• 步骤 1：使用长度为5的滑动窗口处理输入流，并填充哈希桶。每个三元组通过哈希函数（在本实现中，哈希函数是Pearson哈希）。
• 步骤 2：从步骤1中获得的哈希桶中计算四分位数点。这一步可能需要对桶数组进行排序：q1：数组的最低25% q2：数组的最低50% q3：数组的最低75%
• 步骤 3：计算摘要头。哈希的前三个字节保留为头。TLSH哈希的头由三部分组成
  • 第一个字节是字节字符串的校验和（带有一些模运算）
  • 第二个字节是从字节字符串长度对数的模运算中计算出来的
  • 第三个字节是q1_ratio <<< 4 | q2_ratio的结果，其中q1_ratio = (q1 * 100 / q3) MOD 16 q2_ratio = (q2 * 100 / q3) MOD 16
• 步骤 4：从桶数组构建摘要体。注意：在此步骤中，假设读取桶的顺序是倒序的。这意味着，首先读取最后一个元素，而最后一个元素最后读取。它们的值被转换为十六进制形式并附加到最终的哈希值中。

cargo run --release --example tlsh_files ../path/to/folder/with/files