硬链接去重工具

hld 查找重复文件并将它们硬链接起来以节省磁盘空间。而且它速度很快！

以下是一个在现代（2017年）笔记本电脑上的示例会话

$ du -sh myproject ~/.m2
896M    myproject
912M    .m2
$ time hld -r -c ~/.m2 myproject
420.23 MB saved in the deduplication of 675 files
real 0.47
user 1.17
sys 0.22

420MB — 构建目录大小的46% — 仅用0.5秒就节省了 :-)

功能

它默认与所有可用核心协同工作，并使用 BLAKE3 哈希函数，以确保非常快且碰撞率极低。

由于其缓存功能，它是高效地去除可能由某些自动化过程（例如maven构建）复制的文件的好方法。

用法

glob

hld 接收一组glob作为参数。glob用于查找去重候选文件。它们支持**表示法来遍历任意数量的目录。例如

• hld "target/*.jar" 在target目录中直接去重所有jar文件；
• hld "target/**/*.jar" 在target目录及其子目录中去重所有jar文件。

可以通过命令行传递多个glob以在多个目录和/或多个文件名模式上工作。例如：hld "target/*.jar" "images/**/*.png"。

注意：引号很重要，可以避免shell进行glob展开。在大型目录的情况下，shell可能无法传递其中的所有文件。

缓存

除了上一章中提到的原始glob之外，还可以使用一些缓存的glob。它们的行为与原始glob相同，但它们的BLAKE3摘要值被保存以供以后重用。必须用于保证文件不会更改的情况。缓存的glob通过--cache或-c选项传递。

例如：hld "target/*" --cache "stable/*" 将删除 target 和 stable 目录中的所有文件重复项，并缓存 stable 目录中文件的摘要。然后，在后续的 hld 调用中重用这些缓存的摘要，以加快执行速度。

在这种情况下，引号非常重要：没有它们，shell 将扩展通配符，并且只会缓存集合中的第一个文件。

可以使用 --cache-path 选项或 -C 来指定缓存路径，以便根据执行上下文处理多个缓存集。

可以使用 --clear-cache 选项清除缓存。

递归

--recursive 或 -r 选项简化了处理某些目录中所有文件时的命令行使用。例如，以下两个命令严格等价：

hld -r -c ~/.m2 myproject

hld -c "$HOME/.m2/**/*" "myproject/**/*"

模拟运行

使用 --dry-run 或 -n 选项可以防止 hld 修改磁盘上的任何内容，包括缓存。

例如：hld "target/*" --cache "stable/*" --dry-run 仅显示将删除多少文件以及可以节省多少空间，但实际上不执行任何操作。

日志级别

可以使用 --log-level 或 -l 选项控制 hld 显示的输出量。它接受以下值，从最详细到最安静：trace，debug，info（默认级别），warn，error。

hld --completion fish > ~/.config/fish/completions/hld.fish

source ~/.config/fish/completions/hld.fish

$ git clone https://github.com/glehmann/hld
...
$ cd hld
$ cargo install
...
$ $HOME/.cargo/bin/hld --version
hld 0.1.0

$ git clone https://github.com/glehmann/hld
...
$ cd hld
$ cargo build --release
...
$ ./target/release/hld --version
hld 0.1.0

$ cargo test
...
test result: ok. 12 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out

$ strip target/release/hld
$ upx --ultra-brute target/release/hld

$ cargo test --features kcov -- --test-threads 1