#trigger #buffer #numbers #data-processing #refresh #maximum #collection

buffer-trigger

基于最大数量和刷新时间的数据收集触发器

7个版本 (破坏性更新)

0.7.0 2021年1月6日
0.6.0 2020年8月15日
0.5.0 2020年8月4日
0.4.0 2020年8月3日
0.1.0 2020年8月1日

#1236 in 算法

每月23次下载

MIT/Apache

31KB
788 代码行

Buffer Trigger

基于最大数量和刷新时间的数据收集触发器。


简介

基于最大数量和刷新时间的数据收集触发器。

使用场景

  • 汇总日志,定期定量输出。
  • 汇总大量MQ数据并合并处理。
  • 对于大量更新请求,可以先更新缓存,然后合并并刷新数据库。
  • ...所有需要汇总、节流等操作的都可以使用。

基本用法

更多请参考测试

#[macro_use]
extern crate lazy_static;
use buffer_trigger::{
    self, buffer_trigger_sync, buffer_trigger_sync::BufferTrigger,
};
use std::{thread, time::Duration};

lazy_static! {
    static ref SIMPLE_BUFFER_TRIGGER: buffer_trigger_sync::Simple<i32, Vec<i32>> =
        buffer_trigger_sync::SimpleBuilder::builder(Vec::default)
            .name("test".to_owned())
            .accumulator(|c, e| c.push(e))
            .consumer(|c| log::info!("{:?}", c))
            .max_len(15)
            .interval(Duration::from_millis(500))
            .build();
}
#[test]
fn simple_test() {
    let _ = env_logger::builder()
        .is_test(true)
        .filter_level(LevelFilter::Debug)
        .try_init();

    for i in 0..100 {
        SIMPLE_BUFFER_TRIGGER.push(i);
    }

    thread::sleep(Duration::from_secs(5));
}

输出

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]
[15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29]
[30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44]
[45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59]
[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74]
[75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89]
[90, 91, 92, 93, 94, 95, 96, 97, 98, 99]

特性

该项目仍在开发中。以下带有勾选标记的特性已支持。

如果您关注未实现的功能,请告诉我,我会尽快完成编写。

  • 基于数量的触发时间
  • 基于延迟时间触发(每个元素可以存储在容器中的最大时间)
  • 不同的运行时
    • sync(多线程)
    • tokio
  • 多种类型版本
    • 通用(您可以使用它来实现远程/本地服务,如redis。)
    • 简单(本地服务)
    • reids(远程服务示例)

许可

许可协议为以下之一

任选其一。

贡献

除非您明确声明,否则根据Apache-2.0许可证定义的任何贡献,都应按照上述方式双许可,不附加任何额外条款或条件

依赖关系

~8–18MB
~258K SLoC