#object-store #mmap #polars #download #integrate #cache #consumer

obstacle

通过 Polars 等基于 mmap 的消费者集成 object_store 库

1 个不稳定版本

0.0.2 2023年7月16日

#658 in 内存管理

Apache-2.0

33KB
722

用于在应用程序中集成 (Object Store)https://crates.io/crates/object_store 的实用类。这最初是 (Polars)https://pola.rs 的一项努力。

头脑风暴

由于 Polars 实现严重依赖于 (mmap)https://crates.io/crates/memmap2,我们的 API 将从该 crate 中汲取灵感。

  1. 使用 mmap 接口进行 advise 操作。
  2. 修改 polars 代码,在访问之前发出 advise()
  3. 在当前 crate 的 object_store 上实现 advise。

交付阶段

  1. 下载
  2. 缓存
  3. 验证缓存
  4. 稀疏下载

依赖项

~11–22MB
~325K SLoC