#duplicates #cmp #du #deduplicate #command-line-tool

app dsc

dsc 是一个 CLI 工具,用于在一个或多个文件系统上查找和删除重复文件,同时尊重您的 gitignore 规则。

4 个版本

0.1.3 2021 年 1 月 16 日
0.1.2 2021 年 1 月 16 日
0.1.1 2020 年 12 月 31 日
0.1.0 2020 年 12 月 30 日

#1362 in 文件系统

Apache-2.0

110KB
2.5K SLoC

dsc

dsc 是一个用于定位重复文件的命令行工具。该项目深受 fd 工具的启发。

用法

摘要

要快速了解重复数据的数量,请在该文件夹中输入 dsc cmp

➜ dsc cmp
Duplicate data        : 1.54GB
Total duplicates      : 2,479
Total duplicate files : 5,164

通过使用 dsc cmp --estimate 来提供一个对重复数据的粗略估计,可以加快此过程。

➜ dsc cmp --estimate --min-size 500KiB ~/git
Duplicate data        : 1.07GB
Total duplicates      : 234
Total duplicate files : 309

报告

使用 dsc report 获取更详细的概述。这将以 CSV(默认)或 JSON 格式输出重复文件。

➜ dsc report --min-size 500KiB ~/Downloads
"duplicate","identity","device","file_name","file_size"
0,0,0,"/home/user/Downloads/talon-linux (1)/talon/resources/python/lib/python3.7/site-packages/torch/lib/libtorch_cpu.so",291681296
0,1,0,"/home/user/Downloads/talon-linux/talon/resources/python/lib/python3.7/site-packages/torch/lib/libtorch_cpu.so",291681296
0,2,0,"/home/user/Downloads/talon-linux (2)/talon/resources/python/lib/python3.7/site-packages/torch/lib/libtorch_cpu.so",291681296
1,0,0,"/home/user/Downloads/bloomrpc-1.3.1-x86_64(1).AppImage",189204096
1,1,0,"/home/user/Downloads/bloomrpc-1.3.1-x86_64.AppImage",189204096

使用 dsc link 通过在相同设备上的文件之间创建硬链接来清理磁盘空间。

➜ dsc link --dry-run ~/Downloads
Are you sure you want to link 5,164 files? [y/N]: y
Done. Reclaimed 1.54GB of disk space.

在运行 link 之前,您可以通过运行 dsc link --dry-run 来查看将要发生的事情。

➜ dsc link --dry-run ~/Downloads
(dryrun) Are you sure you want to link 5,164 files? [y/N]: y
linking "/home/user/Downloads/bloomrpc-1.3.1-x86_64(1).AppImage" => "/home/user/Downloads/bloomrpc-1.3.1-x86_64.AppImage"
...

其他

有关完整帮助,请输入 dsc help <command>。所有命令都可以通过输入 dsc 来列出。

依赖关系

~7–18MB
~204K SLoC