还原主义者

该项目实现了对包含数值二进制数据的 S3 对象的简单还原。通过在存储系统中实现这些还原，大大减少了需要传输到最终用户的 数据量，从而加快了计算速度。

该工作由 ExCALIBUR 项目 资助，并与 雷丁大学 合作完成。

还原主义者应用程序的文档托管在 GitHub 上。源代码的文档可在 docs.rs 上找到。

这是一个高性能的活跃存储服务器实现。原始的 Python 功能原型在此 。

注意：由于 Active Storage 术语过度使用而导致的混淆，原始 S3 Active Storage 项目已被重命名为还原主义者。

功能

还原主义者提供了以下功能

• 带有 JSON 请求数据的 HTTP(S) API
• 访问存储在兼容 S3 的存储中的数据
• 多维数组的基本数值运算（计数、最小值、最大值、选择、求和）
• 对数组的选择/切片执行计算
• 允许存在缺失数据的计算
• 压缩数据（GZip，Zlib）
• 过滤数据（字节洗牌）
• 非本地字节序的数据
• 服务器资源（CPU、内存、文件）管理
• Prometheus 指标
• 具有向 Jaeger 发送数据选项的跟踪
• 基于 Ansible 的容器化部署

相关项目

• PyActiveStorage 是一个 Python 库，它在 netCDF4 等数据源中执行数值数据的还原。它支持在数据存储在兼容 S3 的对象存储中时将计算委托给还原主义者。

贡献

查看有关为 Reductionist 贡献的贡献指南。

许可证

本项目采用 Apache-2.0 许可证。