Lib.rs

Delta Lake 的原生 Rust 库，具有对 Python 的绑定
Python 文档 · Rust 文档 · 报告错误 · 请求功能 · 路线图

Delta Lake 项目旨在通过提供面向开发者和集成商的低级别原生 API 以及一个高级操作 API（让您轻松查询、检查和操作 Delta Lake），来解锁尽可能多的用户和项目的 Deltalake 功能。

源代码	下载	安装命令	文档
PyPi		pip install deltalake	文档
Crates.io		cargoadd deltalake	文档

目录

• 快速入门
• 参与其中
• 集成
• 功能

快速入门

deltalake 库旨在采用数据处理中其他库的模板，因此入门应该看起来很熟悉。

from deltalake import DeltaTable, write_deltalake
import pandas as pd

# write some data into a delta table
df = pd.DataFrame({"id": [1, 2], "value": ["foo", "boo"]})
write_deltalake("./data/delta", df)

# Load data from the delta table
dt = DeltaTable("./data/delta")
df2 = dt.to_pandas()

assert df.equals(df2)

也可以使用核心 Rust 库加载相同的表

use deltalake::{open_table, DeltaTableError};

#[tokio::main]
async fn main() -> Result<(), DeltaTableError> {
    // open the table written in python
    let table = open_table("./data/delta").await?;

    // show all active files in the table
    let files: Vec<_> = table.get_file_uris()?.collect();
    println!("{:?}", files);

    Ok(())
}

您还可以在 DockerHub 或 Docker 仓库 尝试 Delta Lake Docker

参与其中

我们鼓励您与我们联系，并致力于提供一个欢迎的社区。

• 加入我们的 Slack 工作空间
• 报告问题
• 想要贡献代码吗？请查看我们的 良好的入门问题。

集成

与 delta-rs 互操作的库和框架 - 按字母顺序排列。

• AWS SDK for Pandas
• ballista
• datafusion
• Daft
• Dask
• datahub
• DuckDB
• polars
• Ray

功能

以下部分概述了一些核心功能，如支持的 存储后端 和可以对表执行的 操作。Delta 协议中概述的功能实现状态也 跟踪。

云集成

存储	Rust	Python	注释
本地
S3 - AWS			并发写入时需要锁定
S3 - MinIO			并发写入时需要锁定
S3 - R2			使用 AmazonS3ConfigKey::CopyIfNotExists 时不需要锁定
Azure Blob
Azure ADLS Gen2
Microsoft OneLake
Google Cloud Storage
HDFS

支持的操作

操作	Rust	Python	描述
创建			创建新表
读取			从表中读取数据
清理			删除未使用的文件和日志条目
删除 - 分区			删除表分区
删除 - 约束			基于约束删除数据
优化 - 压缩			统一数据文件的大小
优化 - Z-order			将相似数据放在同一文件中
合并			将目标 Delta 表与源数据合并
FS 检查			从表中删除损坏的文件

协议支持级别

写入器版本	要求	状态
版本 2	仅追加表
版本 2	列不变性
版本 3	强制 delta.checkpoint.writeStatsAsJson
版本 3	强制 delta.checkpoint.writeStatsAsStruct
版本 3	CHECK 约束
版本 4	更改数据馈送
版本 4	生成列
版本 5	列映射
版本 6	标识列
版本 7	表功能