Connector Arrow

一个灵活的数据库客户端，可以将数据转换为Apache Arrow格式，适用于各种数据库。

这是通过定义API特质（即 Connection）并为各种数据库客户端Crate（例如 rusqlite::Connection）实现它们来实现的。connector_arrow将数据库视为“Arrow格式的数据存储”，符合数据互操作性的理念。

文档

关键特性

• 查询：查询数据库并以Apache Arrow格式检索结果。
• 查询参数：使用Arrow类型系统进行查询参数。
• 时间和容器类型：正确处理时间和容器类型。
• 模式检查：查询特定表的数据库模式。
• 模式迁移：基本模式迁移命令。
• 追加：将 arrow::record_batch::RecordBatch 写入数据库表。

基于 ConnectorX，但专注于成为Rust库，而不是Python库。这意味着这个crate

• 使用最少的依赖（甚至禁用了默认功能），
• 不支持多个目标，只支持 arrow，
• 不包括并行性，但允许下游crate自行实现它，
• 不包括连接池，但允许下游crate自行实现它。

类似于 ADBC，但使用纯、安全的Rust编写，无需动态链接C库。

支持矩阵

默认情况下，所有源都没有启用，请使用功能来启用它们。

类型强制转换

将关系数据从Apache Arrow转换过来和转换过去存在一个固有问题：任何数据库的类型系统都不会与箭头类型系统一一对应。在实践中这意味着

• 在查询数据时，多个数据库类型可能会映射到单个箭头类型（例如，在PostgreSQL中，VARCHAR 和 TEXT 都将映射到 LargeUtf8），
• 在推送数据时，多个箭头类型可能会映射到单个数据库类型（例如，在PostgreSQL中，Utf8 和 LargeUtf8 都将映射到 TEXT）。

因此，将数据推送到数据库并查询回来的往返操作必须转换至少一些类型。我们称此过程为“类型强制转换”，并由 Connection::coerce_type 进行记录。

在设计映射时，我们

• 保证往返不会丢失信息（即数字丢失精度），
• 优先考虑正确性和可预测性而不是存储效率。

例如，大多数数据库不支持对 UInt8 进行排序。

1. 通过将值限制在范围 0..127 内，将其存储到 Int8 中，这会丢失信息。
2. 通过减去 128（即只是将字节重新解释为 Int8）将其存储到 Int8 中。这种强制转换将非常高效，因为新类型不会比原始类型更大，但它会令人困惑，因为值 0 将转换为 -128，而值 255 将转换为 127。
3. 存储到 Int16 中。这会使用更多空间，但它不会丢失信息或改变存储值的含义。因此，connector_arrow 将 UInt8 => Int16、UInt16 => Int32、UInt32 => Int64 和 UInt64 => Decimal128(20, 0) 进行强制转换。