sqlite-zstd

为 sqlite 提供透明字典行级压缩的扩展。这基本上允许您以与压缩整个数据库几乎相同的效果压缩 sqlite 数据库中的条目，同时保留随机访问。

根据数据的不同，这可以将数据库的大小减少 90%，同时保持性能基本不变（甚至可能提高，因为要从磁盘读取的数据更小）。

透明压缩

• zstd_enable_transparent(配置)

  启用给定表上给定列的透明行级压缩。

  您可以在同一表上多次调用此函数，对不同的列进行压缩。

      SELECT
          zstd_enable_transparent('{"table": "objects", "column": "data1", "compression_level": 19, "dict_chooser": "''a''"}'),
          zstd_enable_transparent('{"table": "objects", "column": "data2", "compression_level": 19, "dict_chooser": "''a''"}')
  
  

  数据将被移动到 _table_name_zstd，而 table_name 将是一个可以像通常一样查询的视图，包括 SELECT、INSERT、UPDATE 和 DELETE 查询。此函数本身不会压缩任何数据，您需要在之后调用 zstd_incremental_maintenance。

  config 是一个描述配置的 json 对象。有关详细信息，请参阅 TransparentCompressConfig。

  当压缩处于活动状态时，以下差异适用

  • 压缩列可能只能包含 blob 或 text 数据，具体取决于声明的数据类型的亲和力（例如，VARCHAR(10) 是可以的，但 int 则不行）。
  • 对于任何行，主键不得为 null，否则更新可能无法按预期工作
  • sqlite3_changes() 对于修改查询将返回 0（《sqlite.org/c3ref/changes.html》中查看）。
  • 由于 blob 完全复制到内存中，SQLite 流式 blob 读取 API 将变得有些无用。
  • 不支持使用 ATTACH 'foo.db' 将包含压缩表的数据库附加。
  • DDL 语句（如 ALTER TABLE 和 CREATE INDEX）仅部分支持

• zstd_incremental_maintenance(duration_seconds:float|null,db_load:float) -> bool

  执行大约给定时间量的增量维护操作。这将训练字典并根据TransparentCompressConfig中给出的分组压缩数据。

  duration_seconds：如果给定的时间量为0，则执行单个步骤并尽快退出。如果给定的时间量为null，则运行直到所有待处理的维护完成。

  db_load：指定db在写查询中锁定的时间比例。例如：如果设置为0.5，则每次写操作持续2秒后，维护函数将睡眠2秒，以便其他进程有时间运行针对数据库的写操作。如果设置为1，则维护不会睡眠。注意，这仅在您在其他逻辑之外单独的线程或进程中运行增量维护函数时才有用。注意，持续时间和db负载都是尽力而为的：没有关于数据库锁定时间的确切保证。

  返回 1表示还有工作要做，0表示所有数据都已按预期压缩。

  请注意，此函数每次调用都有相当于select * from table where dictid is null的启动时间成本，因此持续时间越长越高效。

  此函数可以在任何时间安全中断，每个压缩工作块都作为一个原子操作完成。

  示例

  • zstd_incremental_maintenance(null, 1)：尽快压缩所有内容。如果数据库当前未使用，则非常有用。
  • zstd_incremental_maintenance(60, 0.5)：花费60秒压缩待处理的数据，同时允许其他查询占用50%的时间。

  示例输出

  sqlite> select zstd_incremental_maintenance(null, 1);
    [2020-12-23T21:11:31Z WARN  sqlite_zstd::transparent] Warning: It is recommended to set `pragma busy_timeout=2000;` or higher
    [2020-12-23T21:11:40Z INFO  sqlite_zstd::transparent] events.data: Total 5.20GB to potentially compress.
    3[2020-12-23T21:13:22Z INFO  sqlite_zstd::transparent] Compressed 6730 rows with dictid=109. Total size of entries before: 163.77MB, afterwards: 2.12MB, (average: before=24.33kB, after=315B)
    [2020-12-23T21:13:43Z INFO  sqlite_zstd::transparent] Compressed 4505 rows with dictid=110. Total size of entries before: 69.28MB, afterwards: 1.60MB, (average: before=15.38kB, after=355B)
    [2020-12-23T21:14:06Z INFO  sqlite_zstd::transparent] Compressed 5228 rows with dictid=111. Total size of entries before: 91.97MB, afterwards: 1.41MB, (average: before=17.59kB, after=268B)
  

cargo build --release --features build_extension
# should give you target/release/libsqlite_zstd.so

$ sqlite3 file.db
SQLite version 3.34.0 2020-12-01 16:14:00
sqlite> .load .../libsqlite_zstd.so
[2020-12-23T21:30:02Z INFO  sqlite_zstd::create_extension] [sqlite-zstd] initialized
sqlite>

int success = sqlite3_load_extension(db, "libsqlite_zstd.so", NULL, NULL);

let conn: rusqlite::Connection;
sqlite_zstd::load(&conn)?;

let conn: rusqlite::Connection;
conn.load_extension("libsqlite_zstd.so", None)?;