SeismicDB

crate	docs.rs	crate.io
tectonicdb
tdb-core
tdb-server-core
tdb-cli

SeismicDB是一个快速、高度压缩的独立数据库和流式协议，用于订单簿tick数据。

SeismicDB是从已停止活跃但非常优秀的TectonicDB分支出来的。 https://github.com/0b01/tectonicdb

为什么

• 使用简单高效的二进制文件格式：密集tick格式（DTF）

• 存储订单簿tick数据元组，形状如下：(时间戳, 序号, 是否为交易, 是否为买入, 价格, 大小)。

• 按时间戳+序号排序

• 每个订单簿事件12字节

• 每秒每个线程插入600,000条

安装

安装SeismicDB有多种方式。

1. 二进制文件

二进制文件可供下载。请确保将二进制文件的路径添加到您的PATH中。目前仅提供Linux x86_64的构建。

2. Crates

cargo install seismicdb

此命令将从crates.io下载sdb、sdb-server、dtftools二进制文件并本地构建。

3. GitHub

要贡献，您需要在本地机器上获取源代码副本。

git clone https://github.com/alice-comfy/SeismicDB
cd seismicdb
cargo build --release
cargo run --release sdb-server

二进制文件可以在target/release下找到。

如何使用

配置非常简单。

./sdb-server --help

例如

./sdb-server -vv -a -i 10000
# run the server on INFO verbosity
# turn on autoflush for every 10000 inserts per orderbook

配置

要配置Google Cloud Storage和数据收集后端集成，使用以下环境变量

客户端 API

数据命令

USE [dbname]
ADD [ts], [seq], [is_trade], [is_bid], [price], [size];
INSERT 1505177459.685, 139010, t, f, 0.0703620, 7.65064240; INTO dbname

监控

TectonicDB 通过定期将使用信息发送到 InfluxDB 实例来支持监控/警报

    --influx-db <influx_db>                        influxdb db
    --influx-host <influx_host>                    influxdb host
    --influx-log-interval <influx_log_interval>    influxdb log interval in seconds (default is 60)

具体示例：

...
$ influx
> CREATE DATABASE market_data;
> ^D
$ sdb --influx-db market_data --influx-host https://127.0.0.1:8086 --influx-log-interval 20
...

TectonicDB 将发送字段值 disk={COUNT_DISK},size={COUNT_MEM}，带有标签 ob={ORDERBOOK} 到 market_data 测量，与 dbname 相同。

此外，您可以使用 INFO 和 PERF 命令直接查询使用信息

1. INFO 报告内存和磁盘中的当前tick计数

2. PERF 返回记录的tick计数历史，粒度可以配置

日志记录

日志文件默认为 sdb.log。

测试

export RUST_TEST_THREADS=1
cargo test

测试必须顺序执行，因为某些测试依赖于其他测试生成的dtf文件。

基准测试

sdb客户端附带基准测试模式。此命令将1M条记录插入到sdb。

sdb -b 1000000

使用dtf文件

Seismic附带命令行工具 dtfcat，用于检查文件元数据和存储的所有事件到JSON或CSV。

选项

USAGE:
    dtfcat [FLAGS] --input <INPUT>

FLAGS:
    -c, --csv         output csv
    -h, --help        Prints help information
    -m, --metadata    read only the metadata
    -V, --version     Prints version information

OPTIONS:
    -i, --input <INPUT>    file to read

作为库

在不同应用程序中使用 Dense Tick Format 流式协议/文件格式是可能的。与任何实现 Write 特性的缓冲区配合良好。

要求

TectonicDB 是一个独立的服务。

• Linux

• macOS

语言绑定

• TypeScript

• Rust

• Python

• JavaScript

附加功能

• 类似于Cloud SQL的使用统计信息

• dtf文件格式的命令行检查工具

• 日志记录

• 按时间戳查询

变更日志

• 0.6.0: 首个 seismicDB 分叉发布。升级依赖和 rust 版本到 2021 / 最新版本。重命名并在 crates.io 上发布新版本。
• 0.5.0: InfluxDB 监控插件和改进的命令行参数
• 0.4.0：基于迭代器的处理 DTF 文件的 API 和各种质量提升改进
• 0.3.0：重构为异步