有关发布信息，请参阅变更日志。

简介

Sonnerie是一个时序数据库。将字符串映射到时间戳列表和值列表。将多个此类序列存储在单个数据库中。在几分钟内插入数千万个样本，在旋转媒体或固态媒体上。

Sonnerie针对存储大量值的多序列数据进行优化（插入数百万个项目需要几分钟，并且不会阻塞其他读者或写入者），并且一次读取一个序列需要10毫秒左右。它也非常擅长转储字典序序列（这意味着：一切）。

Sonnerie可以非常高效地进行随机插入和更新，并且适用于大型数据库。由于紧凑的磁盘格式，稀疏数据（如只有几个时间戳的键）可以非常高效地存储。

Sonnerie主要用于磁盘存档、实时更新和实时访问单个序列。出于分析目的，人们会将必要的数据加载到内存中，并通过其他方式进行处理。

特性

• 简单的读写协议
• 易于设置：在命令行中插入数据。
• 没有查询语言
• 事务性：事务完全提交或根本不提交。
• 隔离：事务在其提交之前看不到其他事务的更新，也不会暴露其更改。注意“最后记录胜出”的语义 - 如果两个事务使用相同的键和时间戳写入两个值，则最后一个完成的交易记录将被保留。
• 持久性：已提交的数据能够抵抗意外关闭时的损失。
• 纳秒级时间戳（64位），1970-2554
• 没有奇怪的依赖项，没有虚拟机，一个单一的命令行工具原生二进制文件
• 浮点数、整数和字符串值，每个样本多个列
• 使用Rayon并发读取范围 - 在现代硬件上，每秒每核心处理30亿条记录的“map-reduce”风格查询。

Sonnerie在类Unix系统上运行，并在Linux上进行开发。

快速入门

安装

“Sonnerie”是用Rust实现的，这是一种运行速度极快的系统编程语言。因此，从源代码安装需要您安装Rust编译器，安装过程非常简单： curl https://sh.rustup.rs -sSf | sh。

然后可以使用Cargo安装Sonnerie： cargo install sonnerie。

Sonnerie包含一个可执行文件，sonnerie （~/.cargo/bin/sonnerie）

创建数据库

通过创建一个目录和一个名为 "main" 的空文件来创建数据库

mkdir database
touch database/main

插入数据

echo -e "\
fibonacci 2020-01-01T00:00:00 1
fibonacci 2020-01-02T00:00:00 1
fibonacci 2020-01-03T00:00:00 2
fibonacci 2020-01-04T00:00:00 3
fibonacci 2020-01-05T00:00:00 5
fibonacci 2020-01-06T00:00:00 8" \
| sonnerie -d database/ add --format u --timestamp-format=%FT%T

如果 "add" 命令成功，则事务将提交到磁盘。

使用 sonnerie add 添加的项目必须按键的字典顺序排序，然后按时间顺序。在 sonnerie-serve 中没有这个要求。

读取数据

sonnerie -d database/ read %

% 是通配符，类似于 SQL 中的 "LIKE"，并按键进行过滤。基于前缀的搜索非常高效

sonnerie -d database/ read fib%

Sonnerie 输出匹配的值

fibonacci 2020-01-01 00:00:00     1
fibonacci 2020-01-02 00:00:00     1
fibonacci 2020-01-03 00:00:00     2
fibonacci 2020-01-04 00:00:00     3
fibonacci 2020-01-05 00:00:00     5
fibonacci 2020-01-06 00:00:00     8

删除记录

sonnerie -d database/ delete --after-time=2020-01-04

立即删除指定时间及以后的全部值，还提供 --before-time 和类似的功能，用于按键范围过滤。

数据将立即从数据库中删除。稍后压缩会清除它并回收磁盘空间。

用法

行格式

每个系列都有一个 format。格式由一串单字符代码组成，每个值一个。

字符代码是

• f - 32位浮点数（f32）
• F - 64位浮点数（f64）
• u - 32位无符号整数（u32）
• U - 64位无符号整数（u64）
• i - 32位有符号整数（i32）
• I - 64位有符号整数（i64）
• s - UTF-8 编码的字符串类型。当字符串输出时，它们以 "转义反斜杠" 形式编码，因此所有空白和反斜杠之前都有一个反斜杠。

在上面的 "fibonacci" 示例中，我们使用的是 "u" 格式。

允许多列行；对于表示纬度和经度的两个浮点值

oceanic-airlines 2018-01-01T00:00:00 ff 37.686751 -122.602227
oceanic-airlines 2018-01-01T00:00:01 ff 37.686810 -122.603713
oceanic-airlines 2018-01-01T00:00:02 ff 37.686873 -122.605997
oceanic-airlines 2018-01-01T00:00:03 ff 37.687022 -122.609997
oceanic-airlines 2018-01-01T00:00:04 ff 37.687364 -122.610945
oceanic-airlines 2018-01-01T00:00:05 ff 37.687503 -122.615211

Sonnerie 允许异构格式。

单个键可以更改其格式，例如

keyname 2020-01-01T00:00:00 u 42
keyname 2020-01-02T00:00:00 f 3.1415
keyname 2020-01-03T00:00:00 s Now\ a\ string

虽然键可以更改格式，但它有更多的存储开销，因此最好不允许键在类型之间振荡。

这是从版本 0.6 开始允许的，旧版本有一个 "不安全" 模式，允许绕过测试以提高性能。

不需要服务器

所有操作都可以通过运行 sonnerie -d /path/to/data/ 来完成。此外，文件（在移除其 ".tmp" 后缀后）永远不会更改，尽管文件有时会被替换。这意味着您可以通过创建所有文件的硬链接来复制数据库（ln）。

数据库必须进行压缩

您必须定期（可能是每天）压缩数据库。这会将许多事务文件合并成一个大的事务文件。这对性能很重要。当大约有100个事务文件时，性能会大幅下降。因此，以防止这种情况发生的大约所需速率压缩数据库。

压缩有两种类型，一种是主要压缩，另一种是次要压缩。主要压缩会替换整个数据库，这需要读取和重写整个数据库。次要压缩会用一个新的事务文件替换所有事务文件。这要快得多，因为它只需要读取和重写事务文件的内容，而不需要重写main文件。

主要压缩是通过以下方式完成的

sonnerie -d /path/to/data/ compact --major

而次要压缩

sonnerie -d /path/to/data/ compact

压缩不会阻塞读取器或写入器，但任何时刻只能发生一次，因此放置一个锁以防止多个并发压缩。

压缩是原子的，因此您可以在任何时候取消它（使用^C）。

您可以压缩并过滤

如果数据库中的某些数据需要修改，您可以使用带有--gegnum选项的compact。Gegnum在冰岛语中意为“通过”。

此命令会删除以bad-objects开头的记录

compact --major --gegnum 'grep -v ^bad-objects'

进行正常压缩，但也要计算记录

compact --major --gegnum 'pv -l'

--gegnum在其命令内部运行于/bin/sh，因此管道可以工作。过滤掉坏对象并修改其他对象的名称

compact --major --gegnum 'grep -v ^bad-objects | sed "s/^old-name/new-name/"'

--gegnum命令的输出必须是有序的。

您还可以通过将命令管道到| tee /dev/stderr来预览其输出。

注意，行以“key\ttimestamp\tformat\tvalue”的形式出现

您还可以将“读取 | 过滤 | 添加”到不同的数据库中，但gegnum允许您修改现有数据库，这对于对同时更新的数据库进行在线维护非常有用。

sonnerie-serve

提供了一个服务器，您可以通过HTTP方便地读取和写入数据库。

运行sonnerie-serve -d /path/to/database -l 0.0.0.0:5555，然后您可以对PUT和GET请求