fclones

高效的重复文件查找和删除工具

这是命令行 fclones 及其核心库的仓库。关于桌面前端，请参阅 fclones-gui。

fclones 是一个命令行工具，用于识别相同文件组并删除不再需要的文件副本。它提供了丰富的配置选项来控制搜索范围，并提供多种删除重复文件的方法。为了最大的灵活性，它很好地集成了其他 Unix 工具，如 find，并且支持 JSON，因此您可以对搜索和清理过程有更多的控制。

fclones 对您的数据非常认真。在删除之前，您可以检查和修改重复文件的列表。还有一个 --dry-run 选项可以告诉您文件系统上将要进行哪些更改。

fclones 使用 Rust 实现，在现代化硬件上具有高性能。它采用了许多其他程序中不存在的一些优化技术。它适应硬盘类型，按照 HDD 上的物理数据放置顺序执行文件操作，并行扫描目录树，并在处理数百万文件时使用路径的前缀压缩以减少内存消耗。它还友好地处理页面缓存，不会将数据推离缓存。因此，fclones 在 SSD 或 HDD 存储上比许多其他流行的重复文件查找器表现得更好。

fclones 可用于多种操作系统，但在 Linux 上表现最佳。

• 功能
• 演示
• 安装
• 使用方法
• 算法
• 调整
• 基准测试

功能

• 识别相同文件组
  • 查找重复文件
  • 查找超过 N 个副本的文件
  • 查找唯一文件
  • 查找少于 N 个副本的文件
• 高级文件选择，以减少处理的数据量
  • 扫描多个目录根
  • 可以与从标准输入直接管道传输的文件列表一起工作
  • 递归/非递归文件选择
  • 递归深度限制
  • 通过扩展UNIX globs过滤名称和路径
  • 通过正则表达式过滤名称和路径
  • 根据最小/最大文件大小过滤
  • 正确处理符号链接和硬链接
• 移除冗余数据
  • 移除、移动或用软或硬链接替换文件
  • 使用某些文件系统上的本地copy-on-write（reflink）支持移除冗余的文件数据
  • 根据路径或名称模式选择要删除的文件
  • 根据创建时间、修改时间、最后访问时间或嵌套级别优先删除文件
• 高性能
  • 在所有I/O和CPU密集型阶段具有并行处理能力
  • 根据设备类型（SSD vs HDD）自动调整并行性和访问策略
  • 由于高度优化的路径表示，内存占用低
  • 提供多种快速非加密和加密哈希函数，宽达512位
  • 不会将数据推离页面缓存（仅限Linux）
  • 可选的文件哈希持久缓存
  • 精确的进度报告
• 多种输出格式，便于进一步处理结果
  • 标准文本格式
    • 使用分组标题分隔的组，包含文件大小和哈希
    • 每组一行路径
  • 可选的fdupes兼容性（无标题，无缩进，组之间由空白行分隔）
  • 机器可读格式：CSV，JSON

限制

Windows不支持copy-on-write文件数据去重（reflink）。

某些优化在其他平台（除Linux外）不可用

• 根据物理位置对文件访问进行排序
• 页面缓存滞后

演示

让我们首先创建一些文件

$ mkdir test
$ cd test
$ echo foo >foo1.txt
$ echo foo >foo2.txt
$ echo foo >foo3.txt
$ echo bar >bar1.txt
$ echo bar >bar2.txt

现在让我们识别重复项

$ fclones group . >dupes.txt
[2021-06-05 18:21:33.358] fclones:  info: Started grouping
[2021-06-05 18:21:33.738] fclones:  info: Scanned 7 file entries
[2021-06-05 18:21:33.738] fclones:  info: Found 5 (20 B) files matching selection criteria
[2021-06-05 18:21:33.738] fclones:  info: Found 4 (16 B) candidates after grouping by size
[2021-06-05 18:21:33.738] fclones:  info: Found 4 (16 B) candidates after grouping by paths and file identifiers
[2021-06-05 18:21:33.739] fclones:  info: Found 3 (12 B) candidates after grouping by prefix
[2021-06-05 18:21:33.740] fclones:  info: Found 3 (12 B) candidates after grouping by suffix
[2021-06-05 18:21:33.741] fclones:  info: Found 3 (12 B) redundant files

$ cat dupes.txt
# Report by fclones 0.12.0
# Timestamp: 2021-06-05 18:21:33.741 +0200
# Command: fclones group .
# Found 2 file groups
# 12 B (12 B) in 3 redundant files can be removed
7d6ebf613bf94dfd976d169ff6ae02c3, 4 B (4 B) * 2:
    /tmp/test/bar1.txt
    /tmp/test/bar2.txt
6109f093b3fd5eb1060989c990d1226f, 4 B (4 B) * 3:
    /tmp/test/foo1.txt
    /tmp/test/foo2.txt
    /tmp/test/foo3.txt

最后，我们可以用软链接替换重复项

$ fclones link --soft <dupes.txt 
[2021-06-05 18:25:42.488] fclones:  info: Started deduplicating
[2021-06-05 18:25:42.493] fclones:  info: Processed 3 files and reclaimed 12 B space

$ ls -l
total 12
-rw-rw-r-- 1 pkolaczk pkolaczk   4 cze  5 18:19 bar1.txt
lrwxrwxrwx 1 pkolaczk pkolaczk  18 cze  5 18:25 bar2.txt -> /tmp/test/bar1.txt
-rw-rw-r-- 1 pkolaczk pkolaczk 382 cze  5 18:21 dupes.txt
-rw-rw-r-- 1 pkolaczk pkolaczk   4 cze  5 18:19 foo1.txt
lrwxrwxrwx 1 pkolaczk pkolaczk  18 cze  5 18:25 foo2.txt -> /tmp/test/foo1.txt
lrwxrwxrwx 1 pkolaczk pkolaczk  18 cze  5 18:25 foo3.txt -> /tmp/test/foo1.txt

安装

代码已在Ubuntu Linux 21.10上彻底测试。Windows或Mac OS X等其他系统可能也能运行。欢迎测试和/或将代码移植到其他平台。请报告成功和失败的情况。

官方包

Snap商店（Linux）

snap install fclones

Homebrew（macOS和Linux）

brew install fclones

某些平台的安装包和二进制文件直接附加到发布。

第三方包

• Arch Linux
• Alpine Linux
• NixOS

从源码构建

安装Rust工具链然后运行

cargo install fclones

构建将二进制文件写入.cargo/bin/fclones。

使用方法

fclones提供查找和删除文件的不同命令。这样，您可以在对文件系统进行任何修改之前检查找到的文件列表。

• group - 识别相同的文件组并将它们打印到标准输出
• remove - 删除先前由group识别的冗余文件
• link - 用链接替换冗余文件（默认：硬链接）
• dedupe - 不删除任何文件，但通过使用文件系统的本地copy-on-write功能（reflink）来去重文件数据

查找文件

在当前目录及其子目录中查找重复、唯一、复制不足或复制过多的文件

fclones group .
fclones group . --unique 
fclones group . --rf-under 3
fclones group . --rf-over 3

您可以在多个目录中进行搜索

fclones group dir1 dir2 dir3

默认情况下，隐藏文件和与.gitignore和.fdignore中列出的模式匹配的文件将被忽略。要搜索所有文件，请使用

fclones group --no-ignore --hidden dir

限制递归深度

fclones group . --depth 1   # scan only files in the current dir, skip subdirs
fclones group * --depth 0   # similar as above in shells that expand `*` 

注意：0.10版本以下的版本默认不会进入目录。在这些旧版本中，添加-R标志以启用递归目录遍历。

找到匹配两个目录树中的文件，而不匹配每个树中的相同文件

fclones group --isolate dir1 dir2

找到至少100 MB大小的重复文件

fclones group . -s 100M

按文件名或路径模式过滤

fclones group . --name '*.jpg' '*.png' 

在find选定的文件上运行fclones（注意：这可能比内置过滤慢）

find . -name '*.c' | fclones group --stdin --depth 0

跟随符号链接，但不逃离主目录

fclones group . -L --path '/home/**'

从扫描中排除目录树的一部分

fclones group / --exclude '/dev/**' '/proc/**'

删除文件

要删除重复文件，需要将它们移动到不同的位置或用链接替换，你需要将fclones group生成的报告发送到fclones remove、fclones move或fclones link命令的标准输入。报告格式将自动检测。目前支持default和json报告格式。

假设重复文件列表已保存在文件dupes.txt中，以下命令将删除冗余文件

fclones link <dupes.txt             # replace with hard links
fclones link -s <dupes.txt          # replace with symbolic links
fclones move target_dir <dupes.txt  # move to target_dir  
fclones remove <dupes.txt           # remove totally

如果您希望一次完成所有操作而不将组列表存储在文件中，可以使用管道

fclones group . | fclones link

要选择要保留的文件数量，请使用-n/--rf-over选项。默认情况下，它设置为运行group时使用的值（如果没有明确设置，则为1）。要为每个组留下2个副本，请运行

fclones remove -n 2 <dupes.txt

默认情况下，fclones遵循输入文件中指定的文件顺序。它保留每个列表开头的文件，并删除/替换每个列表末尾的文件。可以通过--priority选项更改此顺序，例如

fclones remove --priority newest <dupes.txt        # remove the newest replicas
fclones remove --priority oldest <dupes.txt        # remove the oldest replicas

有关更多优先级选项，请参阅fclones remove --help。

还可以将删除文件的限制仅限于与模式匹配的文件名或路径

fclones remove --name '*.jpg' <dupes.txt       # remove only jpg files
fclones remove --path '/trash/**' <dupes.txt   # remove only files in the /trash folder

如果指定不想删除的文件的模式更容易，则可以使用keep选项之一

fclones remove --keep-name '*.mov' <dupes.txt           # never remove mov files
fclones remove --keep-path '/important/**' <dupes.txt   # never remove files in the /important folder

为了确保您不会意外删除错误的文件，请使用--dry-run选项。此选项将打印出将要执行的所有命令，但实际上不会执行它们

fclones link --soft <dupes.txt --dry-run 2>/dev/null

mv /tmp/test/bar2.txt /tmp/test/bar2.txt.jkXswbsDxhqItPeOfCXsWN4d
ln -s /tmp/test/bar1.txt /tmp/test/bar2.txt
rm /tmp/test/bar2.txt.jkXswbsDxhqItPeOfCXsWN4d
mv /tmp/test/foo2.txt /tmp/test/foo2.txt.ze1hvhNjfre618TkRGUxJNzx
ln -s /tmp/test/foo1.txt /tmp/test/foo2.txt
rm /tmp/test/foo2.txt.ze1hvhNjfre618TkRGUxJNzx
mv /tmp/test/foo3.txt /tmp/test/foo3.txt.ttLAWO6YckczL1LXEsHfcEau
ln -s /tmp/test/foo1.txt /tmp/test/foo3.txt
rm /tmp/test/foo3.txt.ttLAWO6YckczL1LXEsHfcEau

处理链接

由符号链接或硬链接连接的文件不视为重复文件。您可以通过设置以下标志来更改此行为

• 当设置--isolate时
  • 位于不同目录树中的链接被视为重复项
  • 位于同一目录树中的链接计为一个副本。
• 当设置--match-links时，fclones将所有链接文件视为重复文件。

考虑以下目录结构，其中所有文件都是共享相同内容的硬链接

dir1:
  - file1
  - file2
dir2:
  - file3
  - file4

因为所有文件本质上是相同的数据，它们最终将出现在同一个文件组中，但该文件组中实际存在的副本数量将根据提供的标志而有所不同

符号链接

group 命令默认忽略文件符号链接，除非设置了至少 --follow-links 或 --symbolic-links 标志。如果仅设置了 --follow-links，则会跟随文件符号链接并解析到它们的目标。如果设置了 --symbolic-links，则不会跟随文件符号链接，但会将其视为硬链接并在输出报告中可能报告。当同时设置了 --symbolic-links 和 --follow-links 时，会跟随目录符号链接，但文件符号链接会被视为硬链接。

注意：将 --match-links 与 --symbolic-links 一起使用非常危险。很容易导致删除唯一的常规文件，并留下大量孤儿符号链接。

预处理器文件

使用 --transform 选项通过外部命令安全地转换文件。默认情况下，转换发生在文件数据的副本上，以避免意外数据丢失。请注意，此选项可能会显著减慢大量文件的处理速度，因为它为每个文件调用外部程序。

以下命令在匹配重复的 jpg 图像之前会去除 exif 信息

fclones group . --name '*.jpg' -i --transform 'exiv2 -d a $IN' --in-place     

其他

列出更多选项

fclones [command] -h      # short help
fclones [command] --help  # detailed help

路径通配符

fclones 理解 Bash 扩展通配符的一个子集。可以使用以下通配符：

• ? 匹配除目录分隔符以外的任何字符
• [a-z] 匹配方括号中给出的字符或字符范围之一
• [!a-z] 匹配方括号中未给出的任何字符
• * 匹配除目录分隔符以外的任何字符序列
• ** 匹配包括目录分隔符在内的任何字符序列
• {a,b} 匹配花括号内逗号分隔的任意一个模式
• @(a|b) 与 {a,b} 相同
• ?(a|b) 匹配方括号内模式的最多一次出现
• +(a|b) 匹配方括号内给定模式的至少一次出现
• *(a|b) 匹配方括号内给定模式的任意次数出现
• \ 在 Unix-like 系统上转义通配符，例如 \? 会匹配 ? 的字面意思
• ^ 在 Windows 上转义通配符，例如 ^? 会匹配 ? 的字面意思

fclones group --cache <dir>

fclones group <paths> --threads main:1  

fclones group <paths> --threads ssd:1 

fclones group <paths> --threads dev:/dev/sda:0,2 

fclones group <paths> --threads main:16 ssd:4 hdd:1,1     

  /usr/bin/time -v fclones -R <file set root> 
  /usr/bin/time -v jdupes -R -Q <file set root>
  /usr/bin/time -v fdupes -R <file set root>
  /usr/bin/time -v rdfind <file set root>