Rust PGDataDiff

rust-pgdatadiff 是 Python 版本 pgdatadiff 的重写

它有什么不同之处？

• 从一开始就是模式感知的，因为我们不得不使用原始的 pgdatadiff，我们最终得到了不同的模式，我们需要对它们进行检查。

• 它以并行方式运行数据库操作，这使得它在比较原始 pgdatadiff（它按顺序执行检查）时至少快3倍。

• 它用Rust编写，这意味着它是内存安全的，并且具有非常低的开销。

• 它提供了一个库和一个客户端，这意味着您可以将其用作独立工具，也可以用于您自己的项目。

以下基准测试基于每个数据库有5个表和1M行。

Python（顺序）

Rust（并行）

安装（客户端）

如果您想将其用作客户端，您可以通过 cargo 安装它

客户端支持两个功能，允许您在 Clap 或 Inquire 之间选择以运行它。

Clap

cargo install rust-pgdatadiff-client --features with-clap

Inquire

cargo install rust-pgdatadiff-client //or with `--features with-inquire`

安装（库）

如果您想将其用作库，您可以将其添加到您的 Cargo.toml

cargo add rust-pgdatadiff

或

[dependencies]
rust-pgdatadiff = "0.1"

使用（客户端）

Clap

Usage: rust-pgdatadiff-client diff [OPTIONS] <FIRST_DB> <SECOND_DB>

Arguments:
  <FIRST_DB>   postgres://postgres:postgres@localhost:5438/example
  <SECOND_DB>  postgres://postgres:postgres@localhost:5439/example

Options:
      --only-tables                           Only compare data, exclude sequences
      --only-sequences                        Only compare sequences, exclude data
      --only-count                            Do a quick test based on counts alone
      --chunk-size <CHUNK_SIZE>               The chunk size when comparing data [default: 10000]
      --start-position <START_POSITION>       The start position for the comparison [default: 0]
      --max-connections <MAX_CONNECTIONS>     Max connections for Postgres pool [default: 100]
  -i, --include-tables [<INCLUDE_TABLES>...]  Tables included in the comparison
  -e, --exclude-tables [<EXCLUDE_TABLES>...]  Tables excluded from the comparison
      --schema-name <SCHEMA_NAME>             Schema name [default: public]
  -h, --help                                  Print help
  -V, --version                               Print version

Inquire

rust-pgdatadiff-client

使用（库）

use rust_pgdatadiff::diff::diff_ops::Differ;
use rust_pgdatadiff::diff::diff_payload::DiffPayload;

#[tokio::main]
async fn main() -> Result<()> {
  let first_db = "postgres://postgres:postgres@localhost:5438/example";
  let second_db = "postgres://postgres:postgres@localhost:5439/example";

  let payload = DiffPayload::new(
    first_db.to_owned(),
    second_db.to_owned(),
    false, //only-tables
    false, //only-sequences
    false, //only-count
    10_000, //chunk-size
    0, //start-position
    100, //max-connections
    vec!["table1", "table2"], //include-tables (mutually exclusive with exclude-tables)
    vec!["table3", "table4"], //exclude-tables (mutually exclusive with include-tables)
    "public", //schema
  );
  let diff_result = Differ::diff_dbs(payload).await;
  // Handle `diff_result` in any way it fits your use case
  Ok(())
}

示例

您可以通过Docker Compose启动两个已预先填充数据的数据库。

docker compose up --build

预先填充的数据库包含大量数据+行，因此您可以针对它们运行基准测试以检查其性能。您可以修改生成的数据中的一小部分以查看其实际效果。

您可以在 examples 目录中找到使用它作为库的示例。

在Docker Compose启动后，使用以下命令运行示例

cargo run --example example_diff diff \
  "postgresql://127.0.0.1:5438?dbname=example&user=postgres&password=postgres" \
  "postgresql://127.0.0.1:5439?dbname=example&user=postgres&password=postgres"

您还可以通过导出以下内容启用Rust相关日志

export RUST_LOG=rust_pgdatadiff=info

从 info 切换到 debug 将为您提供更详细的日志。此外，因为我们底层使用了 sqlx，您可以通过导出以下内容来启用 sqlx 日志。

export RUST_LOG=rust_pgdatadiff=info,sqlx=debug

作者

• 帕夫洛斯-佩特罗斯·图拉里斯
• 尼古拉奥斯·尼基塔斯