#collector #log-format #remote #kafka #protocols #data-store #input

bin+lib flowgger

Flowgger 是一个快速、简单且轻量级的数据收集器

8 个版本

0.3.3 2024 年 5 月 23 日
0.3.2 2024 年 5 月 17 日
0.3.1 2023 年 1 月 4 日
0.2.12 2021 年 12 月 17 日
0.2.9 2020 年 1 月 16 日

522数据库接口

ISC 许可证

320KB
7.5K SLoC

Flowgger

CI Build License: BSD2

新主要版本:0.3.0 (2022-03-14)

重大变更


Flowgger 是用 Rust 编写的快速、简单且轻量级的数据收集器。

它读取特定协议上的日志条目,提取它们,使用指定的格式解码它们,将它们重新编码成不同的格式,并将结果异步推送到远程数据存储。

Flowgger 设计为

  • 偏执狂:它仔细验证输入数据,以防止在链中注入格式错误或不完整的记录。
  • 安全:用 Rust 编写,没有任何 unsafe 代码。
  • 快速:尽管消息被系统性地解析和验证,但 Flowgger 的速度比 Logstash 和 Fluentd 快得多。
  • 独立:它是一个单独的可执行文件,不需要 JVM。

Flowgger 支持常见的输入类型:stdin、UDP、TCP、TLS 和 Redis,以及多种输入格式:JSON(GELF)、LTSV、Cap'n Proto 和 RFC5424。规范化消息可以发送到 Kafka、Graylog、下游 Flowgger 服务器或其他日志收集器以进行进一步处理。

跳转到 Flowgger 文档

依赖关系

~6–35MB
~563K SLoC