#reservoir #stream #log #statistics #log-file #sample #input-file

app rs-tool

一个命令行工具,用于对文件或流进行水库抽样

2 个版本

0.1.1 2024 年 8 月 4 日
0.1.0 2024 年 8 月 4 日

#178文本处理

Download history 135/week @ 2024-07-30 59/week @ 2024-08-06

194 每月下载量

MIT 许可证

19KB
406 代码行

rs-tool:水库抽样工具

rs-tool 处理日志文件或来自 stdin 的按行分隔的记录流。它使用 水库抽样 在每条记录或每字段的基础上产生其输入的样本。它以表格或 JSON 格式将输出打印到 stdout

给定一个合适的日志文件,您可以使用 rs-tool 来回答像

  • 访问我的网站最常见的 IP 地址是什么?
  • 哪些用户最频繁地使用 sudo 命令?
  • 我服务的最繁忙的时间是何时?

rs-tool 从文件读取输入时,它使用 Rayon 并行库 并行构建和合并水库。

灵感来自 Tim Bray 的 tf

依赖项

~7–16MB
~183K SLoC