Lib.rs

一个针对Delta Lake的本地Rust库，具有对Python的绑定
Python文档 · Rust文档 · 报告错误 · 请求功能 · 路线图

Delta Lake项目旨在通过提供面向开发人员和集成人员的本地低级API，以及一个高级操作API，让用户能够轻松查询、检查和操作Delta Lake，以尽可能多地释放Deltalake的力量。

源代码	下载	安装命令	文档
PyPi		pip install deltalake	文档
Crates.io		cargoadd deltalake	文档

目录

• 快速开始
• 参与进来
• 集成
• 功能

快速开始

deltalake库旨在采用数据处理库中的模式，因此开始使用时应感觉熟悉。

from deltalake import DeltaTable, write_deltalake
import pandas as pd

# write some data into a delta table
df = pd.DataFrame({"id": [1, 2], "value": ["foo", "boo"]})
write_deltalake("./data/delta", df)

# Load data from the delta table
dt = DeltaTable("./data/delta")
df2 = dt.to_pandas()

assert df.equals(df2)

同样可以使用核心Rust包加载该表

use deltalake::{open_table, DeltaTableError};

#[tokio::main]
async fn main() -> Result<(), DeltaTableError> {
    // open the table written in python
    let table = open_table("./data/delta").await?;

    // show all active files in the table
    let files: Vec<_> = table.get_file_uris()?.collect();
    println!("{:?}", files);

    Ok(())
}

您还可以在DockerHub | Docker仓库上尝试Delta Lake Docker

参与进来

我们鼓励您与我们联系，并致力于提供一个友好的社区。[行为准则]

• 加入我们的Slack工作区
• 报告问题
• 想要贡献？请参阅我们的良好入门问题。

集成

与delta-rs互操作的库和框架 - 按字母顺序排列。

• AWS SDK for Pandas
• ballista
• datafusion
• Daft
• Dask
• datahub
• DuckDB
• polars
• Ray

功能

以下部分概述了一些核心功能，例如支持的 存储后端 和 操作，这些操作可以对表执行。Delta 协议 中概述的功能的实施状态也 被跟踪。

云集成

存储	Rust	Python	注释
本地
S3 - AWS			需要锁定以进行并发写入
S3 - MinIO			需要锁定以进行并发写入
S3 - R2			在使用 AmazonS3ConfigKey::CopyIfNotExists 时无需锁定
Azure Blob
Azure ADLS Gen2
Microsoft OneLake
Google Cloud Storage
HDFS

支持的操作

操作	Rust	Python	描述
创建			创建新表
读取			从表中读取数据
真空			删除未使用的文件和日志条目
删除 - 分区			删除表分区
删除 - 谓词			基于谓词删除数据
优化 - 压缩			调整数据文件的大小
优化 - Z-排序			将相似数据放入同一文件
合并			将目标Delta表与源数据合并
FS检查			从表中删除损坏的文件

协议支持级别

写入器版本	要求	状态
版本2	仅追加表
版本2	列不变性
版本3	强制 delta.checkpoint.writeStatsAsJson
版本3	强制 delta.checkpoint.writeStatsAsStruct
版本3	CHECK约束
版本4	更改数据馈送
版本4	生成列
版本5	列映射
版本6	标识列
版本7	表功能