nanoq

纳米孔读取的超快速质量控制和总结报告

概述

v0.10.0

• 目的
• 安装
• 用法
  • 读取过滤器
  • 读取报告
  • 快速模式
  • 压缩
  • 在线运行
  • 参数
  • 输出
• 基准测试
• 依赖项
• 词源
• 贡献

目的

Nanoq实现了对高通量纳米孔读取的超快速读取过滤和总结报告。

引用

如果您在研究中使用nanoq，我们将非常感谢您的引用。有关如何在使用nanoq用于工业应用时回馈社区的某些建议，请参阅此处 🙏

Steinig和Coin (2022)。Nanoq：纳米孔读取的超快速质量控制。开源软件杂志，7(69)，2991，https://doi.org/10.21105/joss.02991

性能

Nanoq对于小型数据集的摘要统计（例如，Zymo - 100,000个读取）与seqtk-fqchk一样快，并在大型数据集（例如，Zymo - 3.5百万读取，1.3x - 1.5x）上略快。在fast模式下（没有质量分数），对于摘要统计和其他常用的读取摘要或过滤方法（高达297x-442x），nanoq比rust-bio-tools和seqkit stats快2-3倍。内存消耗一致，并且往往低于其他工具（~5-10x）。

测试

Nanoq附带高测试覆盖率，让您放心。

cargo test

安装

Cargo

cargo install nanoq

Conda

显式版本（由于某些原因默认为旧版本）

conda install -c conda-forge -c bioconda nanoq=0.10.0

二进制文件

最新版本附带了Linux和MacOS的预编译二进制文件。

VERSION=0.10.0
RELEASE=nanoq-${VERSION}-x86_64-unknown-linux-musl.tar.gz

wget https://github.com/esteinig/nanoq/releases/download/${VERSION}/${RELEASE}
tar xf nanoq-${VERSION}-x86_64-unknown-linux-musl.tar.gz

nanoq-${VERSION}-x86_64-unknown-linux-musl/nanoq -h

用法

Nanoq 接受格式为 fast{a,q}.{gz,bz2,xz} 的文件（-i）或流（stdin），并将读取结果输出到文件（-o）或流（stdout）。

nanoq -i test.fq.gz -o reads.fq
cat test.fq.gz | nanoq > reads.fq

读取过滤器

读取可以通过最小读取长度（-l）、最大读取长度（-m）、最小平均读取质量（-q）或最大平均读取质量（-w）进行过滤。

nanoq -i test.fq -l 1000 -m 10000 -q 10 -w 15 > reads.fq 

读取修剪

可以从读取的起始（-S）或结束（-E）处修剪固定数量的碱基。

nanoq -i test.fq -S 100 -E 100 > reads.fq 

读取报告

当使用统计标志（-s，报告到 stdout，不向 stdout 输出读取）或指定报告文件（-r）时，将生成读取摘要。

nanoq -i test.fq -s
nanoq -i test.fq -r report.txt > reads.fq

有关报告类型和配置，请参阅输出部分。

快速模式

⚠️ 使用快速模式 -f 时，不计算读取质量得分（质量字段输出：NaN）

读取质量可以排除在过滤器和统计之外，以加快读取迭代（-f）。

nanoq -i test.fq.gz -f -s

压缩

输出压缩由文件扩展名推断（gz、bz2、lzma）。

nanoq -i test.fq -o reads.fq.gz

可以使用 -O 和 -c 手动指定输出压缩。

nanoq -i test.fq -O g -c 9 -o reads.fq.gz

在线运行

Nanoq 可用于检查正在进行的测序运行和条形码样本。

find /data/nanopore/run -name "*.fastq" -print0 | xargs -0 cat | nanoq -s

for i in {01..12}; do
  find /data/nanopore/run -name barcode${i}.fastq -print0 | xargs -0 cat | nanoq -s
done

参数

nanoq 0.10.0

Filters and summary reports for nanopore reads

USAGE:
    nanoq [FLAGS] [OPTIONS]

FLAGS:
    -f, --fast       Ignore quality values if present
    -h, --help       Prints help information
    -H, --header     Header for summary output
    -j, --json       Summary report in JSON format
    -s, --stats      Summary report only [stdout]
    -V, --version    Prints version information
    -v, --verbose    Verbose output statistics [multiple, up to -vvv]

OPTIONS:
    -c, --compress-level <1-9>     Compression level to use if compressing output [default: 6]
    -i, --input <input>            Fast{a,q}.{gz,xz,bz}, stdin if not present
    -m, --max-len <INT>            Maximum read length filter (bp) [default: 0]
    -w, --max-qual <FLOAT>         Maximum average read quality filter (Q) [default: 0]
    -l, --min-len <INT>            Minimum read length filter (bp) [default: 0]
    -q, --min-qual <FLOAT>         Minimum average read quality filter (Q) [default: 0]
    -o, --output <output>          Output filepath, stdout if not present
    -O, --output-type <u|b|g|l>    u: uncompressed; b: Bzip2; g: Gzip; l: Lzma
    -r, --report <FILE>            Summary read statistics report output file
    -t, --top <INT>                Number of top reads in verbose summary [default: 5]
    -L, --read-lengths <FILE>      Output read lengths of surviving reads to file
    -Q, --read-qualities <FILE>    Output read qualities of surviving reads to file
    -S, --trim-start <INT>         Trim bases from the start of each read [default: 0]
    -E, --trim-end <INT>           Trim bases from the end of each read [default: 0]

输出

读取长度和质量

可以输出存活读取的长度（--read-lengths/-L）和质量（--read-qualities/-Q）的文件。

nanoq -i test.fq -Q rq.txt -L rl.txt > reads.fq

摘要报告

使用 --report/-r 显式将摘要报告输出到文件。

nanoq -i test.fq -r report.txt > reads.fq
nanoq -i test.fq -r report.txt -s

使用 --stats/-s 标志时，将抑制读取输出，并将摘要定向到 stdout。

nanoq -i test.fq -s > report.txt

默认情况下，报告格式是最小的。

100000 400398234 5154 44888 5 4003 3256 8.90 9.49

• 读取数量
• 碱基对数量
• N50 读取长度
• 最长读取
• 最短读取
• 平均读取长度
• 中值读取长度
• 平均读取质量
• 中值读取质量

可以使用 -H 标志添加可机器读取的标题。

nanoq -i test.fq -s -H

使用多个 - 标志（最多 -vvv）可以获得类似 NanoStat 的扩展摘要，包括顶级（-）读取长度和质量

nanoq -i test.fq -f -s -t 5 -vvv

Nanoq Read Summary
====================

Number of reads:      100000
Number of bases:      400398234
N50 read length:      5154
Longest read:         44888 
Shortest read:        5
Mean read length:     4003
Median read length:   3256 
Mean read quality:    NaN 
Median read quality:  NaN


Read length thresholds (bp)

> 200       99104             99.1%
> 500       96406             96.4%
> 1000      90837             90.8%
> 2000      73579             73.6%
> 5000      25515             25.5%
> 10000     4987              05.0%
> 30000     47                00.0%
> 50000     0                 00.0%
> 100000    0                 00.0%
> 1000000   0                 00.0%


Top ranking read lengths (bp)

1. 44888       
2. 40044       
3. 37441       
4. 36543       
5. 35630

nanoq -i test.fq --json -f -r report.json > reads.fq
nanoq -i test.fq --json -f -s > report.json

{
  "reads": 100000,
  "bases": 400398234,
  "n50": 5154,
  "longest": 44888,
  "shortest": 5,
  "mean_length": 4003,
  "median_length": 3256,
  "mean_quality": null,
  "median_quality": null,
  "length_thresholds": {
    "200": 99104,
    "500": 96406,
    "1000": 90837,
    "2000": 73579,
    "5000": 25515,
    "10000": 4987,
    "30000": 47,
    "50000": 0,
    "100000": 0,
    "1000000": 0
  },
  "quality_thresholds": {
    "5": 0,
    "7": 0,
    "10": 0,
    "12": 0,
    "15": 0,
    "20": 0,
    "25": 0,
    "30": 0
  },
  "top_lengths": [
    44888, 40044, 37441, 36543, 35630
  ],
  "top_qualities": []
}

wget "https://nanopore.s3.climb.ac.uk/Zymo-GridION-EVEN-BB-SN.fq.gz"
zcat Zymo-GridION-EVEN-BB-SN.fq.gz > zymo.full.fq
head -400000 zymo.full.fq > zymo.fq && gzip -k zymo.fq

/usr/bin/time -f "%e %M"

for i in {1..11}; do
  for f in /data/*.fq; do 
    /usr/bin/time -f "%e %M" nanoq -f- s -i $f 2> benchmark
    tail -1 benchmark >> nanoq_stat_fq
  done
done