有关发布的信息，请参阅变更日志。

简介

Sonnerie是一个时间序列数据库。将字符串映射到时间戳和值的列表。在一个数据库中存储多个此类系列。在旋转媒体或固态存储上，几分钟内插入数千万个样本。

Sonnerie针对存储作为许多系列许多值（插入数百万个条目需要几分钟，且不会阻塞其他读者或写入者）的数据进行了优化，并且可以以10毫秒的延迟一次读取一个系列。它也非常擅长转储字典序序列（这意味着：一切）。

Sonnerie可以非常高效地进行随机插入和更新，并且对于大型数据库运行良好。由于紧凑的磁盘格式，稀疏数据（如只有少量时间戳的键）可以非常高效地存储。

Sonnerie主要用于磁盘存档、实时更新和单个系列实时访问。对于分析目的，人们会将必要的数据加载到内存中，并通过其他方式进行处理。

特性

• 直接读取和写入协议
• 易于设置：在命令行中插入数据。
• 没有查询语言
• 事务性：事务要么完全提交，要么完全不提交。
• 隔离：事务不会看到来自其他事务的更新，直到它被提交。注意“最后记录胜出”的语义 - 如果两个事务用相同键和时间戳写入两个值，则最后一个完成的交易记录将被保留。
• 持久性：提交的数据能够抵御意外关闭导致的损失。
• 纳秒级时间戳（64位），1970-2554
• 没有奇怪的依赖项，没有虚拟机，一个用于命令行工具的单个本地二进制文件
• 浮点数、整数和字符串值，每个样本多列
• 使用Rayon并发读取范围 - 在现代硬件上，每核心30秒即可从Rust中进行“map-reduce”风格的查询，每十亿条记录每秒。

Sonnerie运行在类Unix系统上，并在Linux上进行开发。

快速入门

安装

Sonnerie是用Rust语言实现的，这是一种运行速度极快的系统编程语言。因此，从源代码安装需要您安装Rust编译器，安装过程非常简单：curl https://sh.rustup.rs -sSf | sh.

然后可以通过Cargo安装Sonnerie：cargo install sonnerie.

Sonnerie包含一个可执行文件，sonnerie (~/.cargo/bin/sonnerie)

创建数据库

通过创建一个目录和一个名为"main"的空文件来创建数据库

mkdir database
touch database/main

插入数据

echo -e "\
fibonacci 2020-01-01T00:00:00 1
fibonacci 2020-01-02T00:00:00 1
fibonacci 2020-01-03T00:00:00 2
fibonacci 2020-01-04T00:00:00 3
fibonacci 2020-01-05T00:00:00 5
fibonacci 2020-01-06T00:00:00 8" \
| sonnerie -d database/ add --format u --timestamp-format=%FT%T

如果"添加"命令成功，则事务将提交到磁盘。

使用sonnerie add添加的项目必须按照它们的键进行字典序排序，然后按时间顺序排序。在sonnerie-serve中不存在这个要求。

读取数据

sonnerie -d database/ read %

%是一个通配符，就像在SQL中的"LIKE"一样，根据键进行过滤。基于前缀的搜索非常高效

sonnerie -d database/ read fib%

Sonnerie输出匹配的值

fibonacci 2020-01-01 00:00:00     1
fibonacci 2020-01-02 00:00:00     1
fibonacci 2020-01-03 00:00:00     2
fibonacci 2020-01-04 00:00:00     3
fibonacci 2020-01-05 00:00:00     5
fibonacci 2020-01-06 00:00:00     8

删除记录

sonnerie -d database/ delete --after-time=2020-01-04

立即删除指定时间及之后的所有值，也提供了--before-time和类似的功能，用于根据键范围过滤。

数据将立即从数据库中删除。稍后的压缩将会清除它并恢复磁盘空间。

用法

行格式

每个系列都有一个format。格式指定为一系列单字符代码，每个值一个。

字符代码是

• f - 32位浮点数（f32）
• F - 64位浮点数（f64）
• u - 32位无符号整数（u32）
• U - 64位无符号整数（u64）
• i - 32位有符号整数（i32）
• I - 64位有符号整数（i64）
• s - UTF-8编码的字符串类型。当输出字符串时，它们以"转义反斜杠"形式编码，所以所有空白和反斜杠前面都有一个反斜杠。

在上面的"fibonacci"示例中，我们使用的是"u"格式。

允许多列行；对于表示纬度和经度的两个浮点值

oceanic-airlines 2018-01-01T00:00:00 ff 37.686751 -122.602227
oceanic-airlines 2018-01-01T00:00:01 ff 37.686810 -122.603713
oceanic-airlines 2018-01-01T00:00:02 ff 37.686873 -122.605997
oceanic-airlines 2018-01-01T00:00:03 ff 37.687022 -122.609997
oceanic-airlines 2018-01-01T00:00:04 ff 37.687364 -122.610945
oceanic-airlines 2018-01-01T00:00:05 ff 37.687503 -122.615211

Sonnerie允许异构格式。

单个键可以更改其格式，例如

keyname 2020-01-01T00:00:00 u 42
keyname 2020-01-02T00:00:00 f 3.1415
keyname 2020-01-03T00:00:00 s Now\ a\ string

虽然键可以更改其格式，但它有更大的存储开销，因此最好不允许键在类型之间振荡。

这在新版本0.6中是允许的，旧版本有一个"不安全"模式，允许绕过测试以提高性能。

不需要服务器

所有操作都可以通过运行sonnerie -d /path/to/data/来完成。此外，一个文件（在移除其".tmp"后缀后）永远不会改变，尽管文件有时可能会被替换。这意味着您可以通过创建所有文件的硬链接来复制数据库（ln）。

数据库必须进行压缩

您必须定期（可能是每天）压缩数据库。这会将大量事务文件合并成一个大的事务文件。这对于性能至关重要。当大约有100个事务文件时，性能会大幅下降。因此，以防止这种情况发生，以大约必要的速率压缩数据库。

压缩有两种类型，一种是主要压缩，另一种是次要压缩。主要压缩会替换整个数据库，这需要读取和重写整个数据库。次要压缩会用一个新的事务文件替换所有事务文件。这要快得多，因为它只需要读取和重写事务文件的内容，而不是main文件。

主要压缩可以通过以下方式完成

sonnerie -d /path/to/data/ compact --major

和次要压缩

sonnerie -d /path/to/data/ compact

压缩不会阻止读取器或写入器，但任何给定时刻只能发生一次，因此放置一个锁以防止多个并发压缩。

压缩是原子的，因此您可以在任何时候取消它（使用^C）。

您可以压缩和过滤

如果数据库中的某些数据需要修改，您可以使用带有--gegnum选项的compact。Gegnum在冰岛语中意为“通过”。

此命令删除以bad-objects开头的记录

compact --major --gegnum 'grep -v ^bad-objects'

进行常规压缩，但也要计数记录

compact --major --gegnum 'pv -l'

--gegnum在/bin/sh内部运行其命令，因此管道可以工作。过滤掉坏对象并修改其他对象的名称

compact --major --gegnum 'grep -v ^bad-objects | sed "s/^old-name/new-name/"'

--gegnum命令的输出必须按顺序排序。

您还可以通过将命令管道传输到| tee /dev/stderr来查看其输出的预览。

注意，行以“key\ttimestamp\tformat\tvalue”格式出现

您还可以将“读取 | 过滤 | 添加”到不同的数据库中，但gegnum允许您修改现有数据库，这对于数据库在线维护非常有用，尤其是在数据库接受并发更新时。

sonnerie-serve

提供了一个服务器，您可以方便地通过HTTP读取和写入数据库。

运行sonnerie-serve -d /path/to/database/ -l 0.0.0.0:5555，然后您可以对PUT和GET发出请求

• 读取命名的序列

  curlhttps://127.0.0.1:5555/fibonacci

（响应是整个序列，格式类似于sonnerie read）

• 通过通配符读取序列

  curlhttps://127.0.0.1:5555/fib%

（响应是每个序列，按字母顺序排列，格式类似于sonnerie read）

• 输出可读的时间戳

  curlhttps://127.0.0.1:5555/fib%?human

（时间戳以ISO-8601格式出现，而不是纳秒）

• 添加更多数据

  curl -XPUT https://127.0.0.1:5555/ --data-binary 'fibonacci 1578384000000000000 u 13'

（200 OK表示事务已提交）

与sonnerie add不同，sonnerie-serve允许无序输入。

请注意，由于sonnerie对其文件进行mmap，sonnerie-serve将显示其虚拟内存使用的巨大值（top中的VIRT），但实际内存使用将合理。

您可以通过命令行继续读取和修改您的sonnerie数据库，甚至可以通过另一个并发运行的sonnerie-serve。

另一种方法是使用 "sshfs" 在远程挂载数据库。这种方法性能非常好，因为只有压缩数据通过网络传输，服务器无需进行任何解压缩操作。避免使用nfs，因为压缩会导致文件被删除，然后客户端将遇到IO错误，因为NFS无法跟踪服务器上已关闭的文件。

贡献

无论大小，我们都欢迎提交错误报告和拉取请求。Sonnerie的开发以人为本，我们遵守Rust的行为准则。

如果您使用Sonnerie，请提供反馈！

Sonnerie在生产中使用

Sonnerie由Headline使用，其数据库大于100GiB，行数超过数十亿。

性能

在大数据库中随机键的平均查找延迟约为15ms（在SSD上），在繁忙的旋转媒体设备上则要慢得多。顺序访问（即按字典顺序读取整个数据库）约为2k 键/秒和3M 记录/秒，这很大程度上取决于数据本身。

版权

Sonnerie由Charles Samuels在Headline实现。

lib.rs:

从hyper::Body创建行迭代器