recursum

Rust脚本，快速计算多个文件的哈希值。

有3种操作模式。

1. 原始模式，也是crate名称的根，是递归检查单个给定的目录树中的所有（非符号链接）文件。
2. 计算给定作为参数的任意数量的文件。
3. 从stdin读取文件列表并计算每个文件的哈希值。

并行化文件发现（使用第1种方式）和哈希。默认的哈希器（Default hasher）不是加密安全的。

默认情况下，将{path}\t{hex_digest}打印到stdout。与大多数哈希工具（如md5sum，sha1sum等）相比，这是反向的，目的是更容易按文件名排序，并且因为制表符（许多文件系统接口不允许）比双空格（文件名中的易错）更可靠地分割。但是，存在--compatible开关来打印{hex_digest} {path}。

将正在进行的信息和最终时间和速率打印到stderr。

请注意，大多数哈希器，尤其是快速的非加密哈希，将比较慢的存储介质（如磁盘）快，因此使用多个哈希线程的收益可能会迅速饱和。

欢迎贡献。

安装

已安装cargo（使用rustup获取）

cargo install recursum

用法

recursum
Hash lots of files fast, in parallel.

USAGE:
    recursum [FLAGS] [OPTIONS] <input>...

FLAGS:
    -c, --compatible    "Compatible mode", which prints the hash first and changes the default separator to double-
                        space, as used by system utilities like md5sum
    -h, --help          Prints help information
    -q, --quiet         Do not show progress information
    -V, --version       Prints version information

OPTIONS:
    -d, --digest-length <digest-length>    Maximum length of output hash digests
    -s, --separator <separator>            Separator. Defaults to tab unless --compatible is given. Use "\t" for tab and
                                           "\0" for null (cannot be mixed with other characters)
    -t, --threads <threads>                Hashing threads
    -w, --walkers <walkers>                Directory-walking threads, if <input> is a directory

ARGS:
    <input>...    One or more file names, one directory name (every file recursively will be hashed, in depth first
                  order), or '-' for getting list of files from stdin (order is conserved)

示例

fd --threads 1 --type file | recursum --threads 10 --digest 64 - > my_checksums.txt

这可能会比使用--exec或| xargs更有效，并且具有更好的日志记录。

请注意，--separator不理解转义序列。为了传递例如制表符作为分隔符，请使用recursum -s $(echo '\t') -

find . -type f -exec md5sum {} \;

find . -type f -print0 | xargs -0 -P 8 -n 1 -I _ md5sum "_"

find . -type f | parallel -X md5sum