hyperfine

中文

命令行基准测试工具。

示例：基准测试 fd 和 find

特性

• 多运行次数的统计分析。
• 支持任意 shell 命令。
• 提供关于基准测试进度和当前估计的持续反馈。
• 在正式基准测试前可以执行预热运行。
• 可以在每次计时运行前设置缓存清除命令。
• 统计异常检测，以检测来自其他程序和缓存效果的干扰。
• 将结果导出到各种格式：CSV、JSON、Markdown、AsciiDoc。
• 参数化基准测试（例如，改变线程数）。
• 跨平台

使用方法

基本基准测试

要运行基准测试，可以简单地调用 hyperfine <命令>...。参数可以是任何 shell 命令。例如

hyperfine 'sleep 0.3'

Hyperfine 将自动确定每个命令要执行的运行次数。默认情况下，它将执行至少 10 次基准测试运行，并至少测量 3 秒。要更改此设置，可以使用 -r/--runs 选项

hyperfine --runs 5 'sleep 0.3'

如果您想比较不同程序的运行时间，可以传递多个命令

hyperfine 'hexdump file' 'xxd file'

预热运行和准备命令

对于执行大量磁盘 I/O 的程序，基准测试结果可能会受到磁盘缓存和它们是冷缓存还是热缓存的影响。

如果您想在热缓存上运行基准测试，可以使用 -w/--warmup 选项在正式基准测试前执行一定数量的程序执行

hyperfine --warmup 3 'grep -R TODO *'

相反，如果您想为冷缓存运行基准测试，您可以使用 --p/--prepare 选项在每次计时运行之前运行一个特殊命令。例如，为了清除Linux上的硬盘缓存，您可以运行

sync; echo 3 | sudo tee /proc/sys/vm/drop_caches

要使用此特定命令与hyperfine，请调用 sudo -v 以临时获得sudo权限，然后调用

hyperfine --prepare 'sync; echo 3 | sudo tee /proc/sys/vm/drop_caches' 'grep -R TODO *'

参数化基准测试

如果您想运行一系列基准测试，其中单个参数发生变化（例如，线程数），您可以使用 --P/--parameter-scan 选项并调用

hyperfine --prepare 'make clean' --parameter-scan num_threads 1 12 'make -j {num_threads}'

这同样适用于十进制数字。可以使用 --D/--parameter-step-size 选项来控制步长大小

hyperfine --parameter-scan delay 0.3 0.7 -D 0.2 'sleep {delay}'

这会运行 sleep 0.3、sleep 0.5 和 sleep 0.7。

对于非数值参数，您也可以使用 --L/--parameter-list 选项提供一系列值

hyperfine -L compiler gcc,clang '{compiler} -O2 main.cpp'

中间shell

默认情况下，命令使用预定义的shell（Unix上为 /bin/sh，Windows上为 cmd.exe）。如果您想使用不同的shell，可以使用 --S, --shell <SHELL> 选项

hyperfine --shell zsh 'for i in {1..10000}; do echo test; done'

请注意，hyperfine 总是 校正shell启动时间。为此，它执行一个校准过程，在该过程中，它多次运行shell以空命令运行，以测量shell的启动时间。然后它将从这个总时间中减去这个时间，以显示实际使用的命令的时间。

如果您想运行一个 没有中间shell的基准测试，您可以使用 --N 或 --shell=none 选项。这对于非常快的命令（< 5 ms）很有帮助，其中shell启动开销校正会产生大量噪声。请注意，在这种情况下，您不能使用如 * 或 ~ 的shell语法。

hyperfine -N 'grep TODO /home/user'

shell函数和别名

如果您使用bash，可以将shell函数导出以直接使用hyperfine进行基准测试

my_function() { sleep 1; }
export -f my_function
hyperfine --shell=bash my_function

否则，将其内联到基准测试程序中或从中源它们

hyperfine 'my_function() { sleep 1; }; my_function'

echo 'alias my_alias="sleep 1"' > /tmp/my_alias.sh
hyperfine '. /tmp/my_alias.sh; my_alias'

导出结果

Hyperfine有多种选项可以将基准测试结果导出到CSV、JSON、Markdown和其他格式（有关详细信息，请参阅 --help 文本）。

Markdown

您可以使用 --export-markdown <file> 选项创建如下表格

JSON

JSON输出对您详细分析基准测试结果非常有用。在scripts/文件夹中包含了大量的Python程序，可以帮助您进一步分析基准测试结果并创建有用的可视化，例如运行时间的直方图或用于比较多个基准的须状图。

详细基准流程图

以下图表解释了使用选项--warmup、--prepare <cmd>、--setup <cmd>或--cleanup <cmd>时各种计时运行的执行顺序。

wget https://github.com/sharkdp/hyperfine/releases/download/v1.16.1/hyperfine_1.16.1_amd64.deb
sudo dpkg -i hyperfine_1.16.1_amd64.deb

dnf install hyperfine

apk add hyperfine

pacman -S hyperfine

apt install hyperfine

emerge app-benchmarks/hyperfine

nix-env -i hyperfine

xbps-install -S hyperfine

brew install hyperfine

sudo port selfupdate
sudo port install hyperfine

pkg install hyperfine

doas pkg_add hyperfine

choco install hyperfine

scoop install hyperfine

winget install hyperfine

conda install -c conda-forge hyperfine

cargo install --locked hyperfine