Quick Cache

针对低缓存开销优化的轻量级且高性能的并发缓存。

• 与并发哈希表相比，开销较小
• 可扫描和命中率高的缓存策略
• 每项用户定义的权重
• 与线程数量很好地扩展
• 使用 get_or_insert 和 get_value_or_guard 函数执行原子操作
• 使用 get_or_insert_async 和 get_value_or_guard_async 函数执行原子异步操作
• 支持项固定
• 有效地处理零权重项
• 允许自定义生命周期挂钩（例如，可以用于实现驱逐监听器）
• 不使用后台线程
• 仅使用不安全的非常简单的用法
• 小的依赖关系树

实现针对缓存访问时间和开销累积到显著成本的用例进行了优化。一些功能如：生存时间、迭代器、事件监听器等在Quick Cache中部分或未实现。如果您需要这些功能，您可以查看Moka crate。

示例

基本用法

use quick_cache::unsync::Cache;

fn main() {
    let cache = Cache::new(5);
    cache.insert("square", "blue");
    cache.insert("circle", "black");
    assert_eq!(*cache.get(&"square").unwrap(), "blue");
    assert_eq!(*cache.get(&"circle").unwrap(), "black");
}

具有自定义项权重的缓存。在这种情况下，根据值的字符串长度。

use quick_cache::{Weighter, sync::Cache};

#[derive(Clone)]
struct StringWeighter;

impl Weighter<u64, String> for StringWeighter {
    fn weight(&self, _key: &u64, val: &String) -> u64 {
        // Be cautions out about zero weights!
        val.len() as u64
    }
}

fn main() {
    let cache = Cache::with_weighter(100, 100_000, StringWeighter);
    cache.insert(1, "1".to_string());
    cache.insert(54, "54".to_string());
    cache.insert(1000, "1000".to_string());
    assert_eq!(cache.get(&1000).unwrap(), "1000");
}

使用 Equivalent 特性进行复杂键

use quick_cache::{sync::Cache, Equivalent};

#[derive(Debug, Hash)]
pub struct Pair<A, B>(pub A, pub B);

impl<A, B, C, D> Equivalent<(C, D)> for Pair<A, B>
where
    A: PartialEq<C>,
    B: PartialEq<D>,
{
    fn equivalent(&self, rhs: &(C, D)) -> bool {
        self.0 == rhs.0 && self.1 == rhs.1
    }
}

fn main() {
    let cache: Cache<(String, i32), String> = Cache::new(5);
    cache.insert(("square".to_string(), 2022), "blue".to_string());
    cache.insert(("square".to_string(), 2023), "black".to_string());
    assert_eq!(cache.get(&Pair("square", 2022)).unwrap(), "blue");
}

基准测试

由于这个crate以性能为导向，因此需要进行一些比较。尽管如此，基准测试可能会误导，所以请带着一点怀疑态度看待所有内容。

在x64 Linux操作系统 + Intel i9-12900H CPU上使用 mokabench 执行的基准测试。

跟踪1（来自Arc论文的S3）

跟踪2（来自Arc论文的DS1）

参考文献

• CLOCK-Pro：对CLOCK替换的有效改进（pdf）
• FIFO队列对于缓存驱逐来说是所有你需要的（pdf）
• Caffeine（源代码）
• Cache2k（源代码）

许可证

本项目受MIT许可证许可。