Lib.rs

Delta Lake的本地Rust库，提供对Python的绑定
Python文档 · Rust文档 · 报告错误 · 请求功能 · 路线图

Delta Lake项目的目标是，通过提供面向开发人员和集成人员的本地底层API，以及允许轻松查询、检查和操作Delta Lake的高级操作API，让尽可能多的用户和项目能够释放Deltalake的力量。

源代码	下载	安装命令	文档
PyPi		pip install deltalake	文档
Crates.io		cargoadd deltalake	文档

目录

• 快速入门
• 参与进来
• 集成
• 功能

快速入门

deltalake库旨在采用数据处理库中的模式，因此入门应该看起来很熟悉。

from deltalake import DeltaTable, write_deltalake
import pandas as pd

# write some data into a delta table
df = pd.DataFrame({"id": [1, 2], "value": ["foo", "boo"]})
write_deltalake("./data/delta", df)

# Load data from the delta table
dt = DeltaTable("./data/delta")
df2 = dt.to_pandas()

assert df.equals(df2)

也可以使用核心Rust crate加载相同的表

use deltalake::{open_table, DeltaTableError};

#[tokio::main]
async fn main() -> Result<(), DeltaTableError> {
    // open the table written in python
    let table = open_table("./data/delta").await?;

    // show all active files in the table
    let files: Vec<_> = table.get_file_uris()?.collect();
    println!("{:?}", files);

    Ok(())
}

您还可以在DockerHub | Docker仓库上尝试Delta Lake Docker

参与进来

我们鼓励您与我们联系，并致力于提供一个欢迎的社区。行为准则

• 加入我们的Slack工作区
• 报告问题
• 想要贡献？查看我们的good first issues。

集成

与delta-rs交互的库和框架 - 按字母顺序排列。

• AWS SDK for Pandas
• ballista
• datafusion
• Daft
• Dask
• datahub
• DuckDB
• polars
• Ray

功能

以下部分概述了一些核心特性，例如支持的存储后端和可以对表执行的操作。Delta协议中概述的特性实现状态也跟踪。

云集成

存储	Rust	Python	注释
本地
S3 - AWS			并发写入需要锁定
S3 - MinIO			并发写入需要锁定
S3 - R2			使用AmazonS3ConfigKey::CopyIfNotExists时不需要锁定
Azure Blob
Azure ADLS Gen2
Microsoft OneLake
Google Cloud Storage
HDFS

支持的操作

操作	Rust	Python	描述
创建			创建新表
读取			从表中读取数据
真空			删除未使用的文件和日志条目
删除 - 分区			删除表分区
删除 - 谓词			根据谓词删除数据
优化 - 压缩			统一数据文件的大小
优化 - Z-排序			将相似数据放在同一文件中
合并			合并目标Delta表和源数据
FS检查			从表中删除损坏的文件

协议支持级别

写入器版本	要求	状态
版本2	仅追加表
版本2	列不变性
版本3	强制delta.checkpoint.writeStatsAsJson
版本3	强制delta.checkpoint.writeStatsAsStruct
版本3	CHECK约束
版本4	变更数据流
版本4	生成列
版本5	列映射
版本6	标识列
版本7	表功能