#integer-compression #encoding #encode-decode #p-for-delta

程序+库 newpfd

新PFD 整数压缩/解压缩

7 个版本 (破坏性)

0.8.0 2024年6月24日
0.7.0 2023年11月21日
0.6.0 2023年11月20日
0.5.0 2023年10月2日
0.1.0 2023年7月20日

#237压缩

每月29 次下载
2 个 crate 中使用 (通过 bustools)

GPL-3.0-or-later

60KB
687

NewPFD-rs

Rust 库实现了 NewPFD 整数压缩/解压缩算法。

性能

目前尚未进行速度优化,但速度相当快。我们在几何分布整数(Geo(lambda=0.01))上执行此操作,以强制在 NewPFD-block 中编码异常。

  • 编码:90ms/ 1M 个整数
  • 解码:16ms/ 1M 个整数

请查看基准测试以获取详细信息。

示例

更多示例,请参阅 rust-docs。

// Encode some data using NewPFD
use newpfd::newpfd_bitvec::{encode, decode};
let data = vec![10_u64,12,10,1,1,2,3];
let blocksize = 32; // needs to be a mutliple of 32

// encode
let (compressed_data, _) = encode(data.iter().cloned(), blocksize);
// compressed_data is a `bitvec::BitVec` (similar to a Vec<bool>)

// decode
let (decompressed_data, bits_processed) = decode(&compressed_data, data.len(), blocksize);
assert_eq!(data, decompressed_data);
assert_eq!(compressed_data.len(), bits_processed); // the entire bitstream was consumed

依赖项

~3.5MB
~70K SLoC