Finch

Finch是基因组数据的Min-wise独立排列局部敏感哈希（MinHashing）实现。此仓库提供库和命令行接口，重新实现了One Codex的现有内部聚类/序列搜索工具（并添加了新功能/扩展！）使用Rust。

入门指南

安装

您可以从源代码构建Finch，这需要Rust >= 1.49。Rust的Cargo包管理器（有关Cargo安装说明，请参阅rustup）可以自动构建和安装Finch，使用cargo install finch_cli。如果您需要Python绑定，您必须采取额外步骤（请参阅Python支持）。或者，下载预构建的二进制文件或从PyPi pip install finch-sketch安装。

示例用法

要开始使用，我们首先为几个FASTA或FASTQ文件计算sketches。这些sketches是底层基因组数据的紧凑、采样表示，允许finch快速估计数据集之间的距离。使用finch sketch命令绘制文件

finch sketch example.fastq example2.fastq

生成的草图文件（example.fastq.sk 和 example2.fastq.sk）可以与其它 finch 命令一起使用（以及与其它 MinHash 实现¹）。请注意，Finch 的所有命令都可以接受草图或原始序列文件。如果传递后者，finch 将在运行时绘制草图。然而，在运行时生成的草图不会被finch sketch保存，因此如果您打算多次使用草图，应该调用finch sketch。

草图完成后，可以比较多个测序运行以确定它们有多相似

finch dist example.fastq.sk example2.fastq.sk

这将打印出包含一些关键距离统计结果的结果（以 JSON 格式），包括 containment 和 jaccard 相似度得分以及一个 mashDistance 距离估计

[
  {
    "commonHashes": 30,
    "containment": 0.03,
    "jaccard": 0.015228426395939087,
    "mashDistance": 0.1669789474914277,
    "query": "example2.fastq",
    "reference": "example1.fastq",
    "totalHashes": 1000
  }
]

在这种情况下，这些文件估计的距离约为 0.17，包含量为 0.03（即，这两个 FASTQ 共享 3% 的 min-mer）。请注意，使用更大的 --n-hashes 参数重新计算草图可以提供高度相似数据集的额外分辨率。

接下来，我们可能想要在 RefSeq 的所有基因组中找到与我们的示例 FASTQ 最接近的基因组。为此，我们只需将示例查询文件作为第一个参数传递，并将包含 RefSeq 中所有基因组的草图文件作为第二个参数传递（有关与 finch 一起使用的预计算 RefSeq 数据库的示例数据部分）

finch dist ./example.fastq.sk ./refseq_sketches_21_1000.sk --max-dist 0.2

在这里，我们还设置了最大距离为 0.2，以便过滤掉不太相关的基因组（距离为 0 表示完全相同的基因组）。设置最大距离可以确保只返回相关的结果--省略此参数将返回到 RefSeq 中所有基因组的距离。

注意：以下每个命令都将在下面详细介绍，并且还可以通过传递每个命令的 --help 标志来获取更多信息，例如，finch dist --help。

设计目标

我们对 Finch 有 3 个主要的设计目标

1. 支持跟踪 k-mer/minmer 计数；

2. 改进用于原始序列数据（即 FASTQ）的错误过滤；以及

3. 改进性能。

支持计数

Finch 是第一个支持跟踪每个唯一 k-mer/minmer 丰度的 MinHash 实现。这除了支持更高级的过滤（在这里实现）和计数感知距离度量（一个未来研究区域）外，还允许对数据进行有用的快速解释（例如，使用 finch hist 可视化测序深度）。由于 Finch 还支持新的 Mash JSON 兼容格式，因此我们可以将此计数信息保存下来以供下游处理和比较。

⚠️  注意，尽管 Finch 支持常见的 JSON 交换格式，但由于哈希种子值不兼容，可能仍然存在不兼容性（Finch 使用种子值 0，而 Mash 使用 42；有关更多信息，请参阅 此问题）。

过滤

Finch的设计目标之一是能够准确且稳定地绘制细菌分离株的可变深度测序图（即，无需高质量组装）。虽然Mash包括指定固定绝对截止值（或使用Bloom过滤器过滤样本中的独特minmers）的功能，但实际上这种过滤机制在多样化的测序深度、基因组大小和测序错误模式上表现不佳。此处实现的Finch过滤方法扩展了原始Mash论文中的几个想法，以及关于聚类临床C. diff分离株的先前工作。

Finch包含两种自动过滤类别（默认开启对FASTQs的过滤）以应对这一挑战

1. 基于计数的自适应过滤：我们的默认实现“过度草图”一个输入文件（即，包括比用户指定的多n倍的minmers），并动态确定一个合适的基于计数的过滤截止值，以去除低丰度的k-mers（这些主要是由随机错误组成）。作为备用，此实现从不排除超过可合理假设为错误的上限比例的minmers（k倍指定的--err-filter错误率，默认为21%）。

2. 定向过滤：我们还应用了一个“定向过滤器”，以去除在单一方向上大量存在的k-mers；实际上，这些通常是测序适配器或其他不反映底层样本的杂质（并可能错误地降低两个草图之间的相似度）。

实际上，这些优化显著提高了可变深度分离株与完成组装之间的距离估计的稳定性和准确性。下面的图表显示了高质量细菌组装与代表不同测序深度的FASTQ文件草图之间的距离：无过滤（cutoff=0），“天真”过滤（cutoff=1），以及Finch的自适应、可变截止过滤。我们使用包含度衡量标准，结果越接近100%越好

pip install finch-sketch

pip install maturin
cd lib
maturin build --features=python --release --strip
# or maturin develop, etc
# to cross-compile linux wheels:
cp ../README.md .
# and edit the `readme` key of Cargo.toml
docker run --rm -v $(pwd):/io ghcr.io/pyo3/maturin:main build --features=python --release --strip --interpreter=python3.10 --compatibility=manylinux2010

from finch import sketch_file

sketch_one = sketch_file('WIS_EcoB_v2.fas')
sketch_two = sketch_file('WIS_Eco10798_DRAFTv1.fas')
cont, jacc = sketch_one.compare(sketch_two)

capnp compile -orust:finch-lib/src/serialization/ --src-prefix=finch-lib/src/serialization/ finch-lib/src/serialization/finch.capnp
capnp compile -orust:finch-lib/src/serialization/ --src-prefix=finch-lib/src/serialization/ finch-lib/src/serialization/mash.capnp