1 个不稳定版本
0.1.0 | 2023年6月9日 |
---|
#432 在 科学
23KB
308 行
Hstats:在线数据流统计和直方图
hstats
是一个针对在线统计分析和直方图生成而设计的优化且高性能库。它侧重于多线程环境,hstats
支持并行操作,这些操作可以稍后合并到一个单一的 Hstats
实例中。
在创建直方图的过程中,桶的数量和宽度是预先确定的。桶宽度使用用户提供的参数计算得出,公式为 (end - start)/nbins。落在 [start, end) 范围内的值分配给相应的桶,而落在该范围之外的值将计入下溢和上溢桶,这允许对直方图的范围进行后续调整。
hstats
通过 rolling-stats 库使用 Welford 算法来计算均值和标准差统计。该 hstats
库与支持 alloc 的 no_std 环境 兼容。
为了简化统计和直方图的输出,hstats
为 Hstats
实现了 Display
特性。这允许用户定义打印统计信息的浮点精度(默认为 2),并选择用于直方图条的字符(默认为 ░
)。
入门指南
将以下内容添加到您的 Cargo.toml
[dependencies]
hstats = "0.1.0"
示例
- 单线程示例:参见 examples/single-thread.rs 使用以下命令运行示例
time cargo run --example single-thread --release
- 多线程示例:参见 examples/multi-thread.rs 使用以下命令运行示例
time cargo run --example multi-thread --release
以下是多线程示例的示例输出
Number of random samples: 50000000
Number of bins: 30
Start: -8
End: 10
Thread count: 20
Chunk size: 2500000
Number of hstats to merge: 20
Start | End
------|-------
-inf | -8.00 | 21553 (0.04%)
-8.00 | -7.40 | 21752 (0.04%)
-7.40 | -6.80 | 40523 (0.08%)
-6.80 | -6.20 | ░ 73078 (0.15%)
-6.20 | -5.60 | ░ 125206 (0.25%)
-5.60 | -5.00 | ░░░ 207593 (0.42%)
-5.00 | -4.40 | ░░░░ 331470 (0.66%)
-4.40 | -3.80 | ░░░░░░░ 508330 (1.02%)
-3.80 | -3.20 | ░░░░░░░░░░░ 745836 (1.49%)
-3.20 | -2.60 | ░░░░░░░░░░░░░░░ 1054228 (2.11%)
-2.60 | -2.00 | ░░░░░░░░░░░░░░░░░░░░░ 1433304 (2.87%)
-2.00 | -1.40 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 1868758 (3.74%)
-1.40 | -0.80 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 2339425 (4.68%)
-0.80 | -0.20 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 2819448 (5.64%)
-0.20 | 0.40 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3261165 (6.52%)
0.40 | 1.00 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3623683 (7.25%)
1.00 | 1.60 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3875841 (7.75%)
1.60 | 2.20 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3980760 (7.96%)
2.20 | 2.80 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3928130 (7.86%)
2.80 | 3.40 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3725868 (7.45%)
3.40 | 4.00 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3393196 (6.79%)
4.00 | 4.60 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 2971132 (5.94%)
4.60 | 5.20 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 2497847 (5.00%)
5.20 | 5.80 | ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 2022084 (4.04%)
5.80 | 6.40 | ░░░░░░░░░░░░░░░░░░░░░░░ 1569143 (3.14%)
6.40 | 7.00 | ░░░░░░░░░░░░░░░░░ 1171523 (2.34%)
7.00 | 7.60 | ░░░░░░░░░░░░ 841536 (1.68%)
7.60 | 8.20 | ░░░░░░░░ 579675 (1.16%)
8.20 | 8.80 | ░░░░░ 383658 (0.77%)
8.80 | 9.40 | ░░░ 243884 (0.49%)
9.40 | 10.00 | ░░ 148977 (0.30%)
10.00 | inf | ░░ 191394 (0.38%)
Total Count: 50000000 Min: -14.19 Max: 18.04 Mean: 2.00 Std Dev: 3.00
real 0m1.905s
user 0m9.727s
sys 0m0.127s
许可证
hstats
根据 Apache 许可证 2.0 版或 MIT 许可证的您选择进行许可。
依赖项
~580KB
~11K SLoC