Finch

Finch是基因组数据的min-wise独立排列局部敏感哈希（"MinHashing"）实现。此存储库提供了一个库和命令行界面，用于重新实现One Codex的现有内部聚类/序列搜索工具（并添加了新功能/扩展！）在Rust。

入门

安装

您可以从源代码构建Finch，这需要Rust >= 1.49。Rust的Cargo包管理器（有关Cargo安装说明，请参阅rustup）可以自动构建和安装Finch，使用cargo install finch_cli。如果您需要Python绑定，您必须采取额外步骤（请参阅Python支持）。或者，下载预构建的二进制文件或从PyPi pip install finch-sketch进行安装。

示例用法

要开始，我们首先为几个FASTA或FASTQ文件计算sketches。这些sketches是底层基因组数据的紧凑、样本表示，并允许finch快速估计数据集之间的距离。使用finch sketch命令进行sketching文件

finch sketch example.fastq example2.fastq

生成的草图文件（example.fastq.sk 和 example2.fastq.sk）可以与其他 finch 命令一起使用（以及其他 MinHash 实现¹）。请注意，Finch 的所有命令都可以接受草图或原始序列文件。如果传入后者的文件，finch 将在飞行中生成草图。然而，飞行中生成的草图不会被保存，因此如果您打算多次使用草图，应该调用 finch sketch。

一旦草图生成，就可以比较多个测序运行以确定它们的相似程度。

finch dist example.fastq.sk example2.fastq.sk

这将打印出包含一些关键距离统计信息的 JSON 格式结果，包括 containment 和 jaccard 相似度分数以及 mashDistance 距离估计。

[
  {
    "commonHashes": 30,
    "containment": 0.03,
    "jaccard": 0.015228426395939087,
    "mashDistance": 0.1669789474914277,
    "query": "example2.fastq",
    "reference": "example1.fastq",
    "totalHashes": 1000
  }
]

在这种情况下，这些文件估计的距离为 ~0.17，包含量为 0.03（即两个 FASTQ 共享 3% 的最小元素）。请注意，通过使用更大的 --n-hashes 参数重新计算草图可以为高度相似的数据库提供额外的分辨率。

接下来，我们可能想找到与我们的示例 FASTQ 在整个 RefSeq 中最接近的基因组。为此，我们只需将示例查询文件作为第一个参数传递，将包含 RefSeq 中所有基因组的草图文件作为第二个参数传递（有关与 finch 一起工作的预计算 RefSeq 数据库的示例数据部分）。

finch dist ./example.fastq.sk ./refseq_sketches_21_1000.sk --max-dist 0.2

在这里，我们还将最大距离设置为 0.2，以便过滤掉不太相关的基因组（距离为 0 表示完全相同的基因组）。设置最大距离确保只返回相关结果 -- 省略此参数将返回到 RefSeq 中所有基因组的距离。

注意：以下每个命令都将在下文中详细说明，并且通过传递每个命令的 --help 标志还可以获得更多信息，例如 finch dist --help。

设计目标

我们对 Finch 有三个主要的设计目标

1. 支持跟踪 k-mer/minmer 计数；

2. 改进用于原始序列数据（即 FASTQ）的错误过滤；以及

3. 改进性能。

支持计数

Finch 是第一个支持跟踪每个唯一 k-mer/minmer 浓度的 MinHash 实现。这除了支持更高级的过滤（在此实现）和计数感知距离度量（未来研究的领域）之外，还允许对数据进行有用的快速解释（例如，使用 finch hist 可视化测序深度）。由于 Finch 也支持 新的 Mash JSON 兼容格式，因此我们可以将此计数信息保存下来以供下游处理和比较。

⚠️  注意，尽管 Finch 支持常见的 JSON 交换格式，但由于哈希种子值不兼容，仍然可能存在不兼容性（Finch 使用种子值 0，而 Mash 使用 42；有关更多讨论，请参阅 此问题）。

过滤

Finch 的一个关键设计目标是能够准确且稳定地绘制细菌分离株的变量深度测序（即，不需要高质量的组装）。虽然 Mash 具有指定固定绝对截止值（或使用 Bloom 过滤器过滤掉样本中的独特 minmers）的能力，但在实践中，这种过滤机制在变化的测序深度、基因组大小和测序错误特征上表现不佳。这里实现的 Finch 过滤方法扩展了原始 Mash 论文中的一些想法，以及关于聚类临床 C. diff 分离株的先前工作。

Finch 包含两种自动过滤类别（默认为对 FASTQ 进行过滤）来解决这一挑战

1. 基于计数的自适应过滤：我们的默认实现“过度绘制”一个输入文件（即，包含比用户指定的更多倍数的 minmers）并动态确定一个合适的基于计数的过滤截止值，该截止值可以去除低丰度的 k-mers（这些主要由随机错误组成）。作为备选方案，此实现从不排除可能被认为是错误的上限比例的 minmers（k 倍于指定的 --err-filter 错误率，默认为 21%）。

2. 定向过滤：我们还应用一个“定向过滤器”来去除在一种方向上发现频率极高的 k-mers；实际上，这些通常是测序适配器或其他非代表性样本的假象（并可能错误地减少两个草图之间的相似性）。

实际上，这些优化显著提高了变量深度分离株和完成组装之间的距离估计的稳定性和准确性。下面的图表显示了高质量细菌组装和代表不同测序深度的 FASTQ 文件草图的距离：无过滤（cutoff=0）、“天真”过滤（cutoff=1）和 Finch 的自适应、变量截止过滤。我们使用包含度衡量，结果越接近 100% 越好

pip install finch-sketch

pip install maturin
cd lib
maturin build --features=python --release --strip
# or maturin develop, etc
# to cross-compile linux wheels:
cp ../README.md .
# and edit the `readme` key of Cargo.toml
docker run --rm -v $(pwd):/io ghcr.io/pyo3/maturin:main build --features=python --release --strip --interpreter=python3.10 --compatibility=manylinux2010

from finch import sketch_file

sketch_one = sketch_file('WIS_EcoB_v2.fas')
sketch_two = sketch_file('WIS_Eco10798_DRAFTv1.fas')
cont, jacc = sketch_one.compare(sketch_two)

capnp compile -orust:finch-lib/src/serialization/ --src-prefix=finch-lib/src/serialization/ finch-lib/src/serialization/finch.capnp
capnp compile -orust:finch-lib/src/serialization/ --src-prefix=finch-lib/src/serialization/ finch-lib/src/serialization/mash.capnp