Lib.rs

Delta Lake的本地Rust库，具有Python绑定
Python文档 · Rust文档 · 报告错误 · 请求功能 · 路线图

Delta Lake项目旨在通过提供针对开发者和集成人员的本地低级API以及一个高级操作API（允许您轻松查询、检查和操作Delta Lake）来解锁Deltalake的潜力，以便尽可能多的用户和项目。

源码	下载	安装命令	文档
PyPi		pip install deltalake	文档
Crates.io		cargoadd deltalake	文档

目录

• 快速入门
• 参与其中
• 集成
• 功能

快速入门

deltalake库旨在采用数据处理中其他库的模式，因此入门应该看起来很熟悉。

from deltalake import DeltaTable, write_deltalake
import pandas as pd

# write some data into a delta table
df = pd.DataFrame({"id": [1, 2], "value": ["foo", "boo"]})
write_deltalake("./data/delta", df)

# Load data from the delta table
dt = DeltaTable("./data/delta")
df2 = dt.to_pandas()

assert df.equals(df2)

您也可以使用核心Rust crate加载相同的表

use deltalake::{open_table, DeltaTableError};

#[tokio::main]
async fn main() -> Result<(), DeltaTableError> {
    // open the table written in python
    let table = open_table("./data/delta").await?;

    // show all active files in the table
    let files: Vec<_> = table.get_file_uris()?.collect();
    println!("{:?}", files);

    Ok(())
}

您还可以在DockerHub | Docker仓库上尝试Delta Lake Docker

参与其中

我们鼓励您与我们联系，并承诺提供一个欢迎的社区。

• 加入我们的Slack工作区
• 报告问题
• 想要贡献？请查看我们的良好的入门问题。

集成

与delta-rs交互的库和框架 - 按字母顺序排列。

• AWS SDK for Pandas
• ballista
• datafusion
• Daft
• Dask
• datahub
• DuckDB
• polars
• Ray

功能

以下部分概述了一些核心功能，例如支持的存储后端和操作，可以对表执行。Delta协议中概述的功能的实施状态也跟踪。

云集成

存储	Rust	Python	注释
本地
S3 - AWS			并发写入需要加锁
S3 - MinIO			并发写入需要加锁
S3 - R2			使用AmazonS3ConfigKey::CopyIfNotExists时不需要加锁
Azure Blob
Azure ADLS Gen2
Microsoft OneLake
Google Cloud Storage
HDFS

支持的操作

操作	Rust	Python	描述
创建			创建新表
读取			从表中读取数据
清理			删除未使用的文件和日志条目
删除 - 分区			删除表分区
删除 - 判定条件			基于判定条件删除数据
优化 - 压缩			统一数据文件的大小
优化 - Z-顺序			将相似数据放在同一文件中
合并			将目标Delta表与源数据合并
FS检查			从表中删除损坏的文件

协议支持级别

写入版本	需求	状态
版本 2	仅追加表
版本 2	列不变性
版本 3	强制delta.checkpoint.writeStatsAsJson
版本 3	强制delta.checkpoint.writeStatsAsStruct
版本 3	CHECK约束
版本 4	更改数据源
版本 4	生成列
版本 5	列映射
版本 6	标识列
版本 7	表功能