Lib.rs

Lance 是一种现代列式数据格式，针对 ML 工作流程和数据集进行了优化。Lance 完美适用于

1. 构建搜索引擎和特征存储。
2. 需要高性能 IO 和 shuffle 的大规模 ML 训练。
3. 存储、查询和检查深度嵌套数据，例如机器人或图像、点云等大型 blob。

Lance 的关键特性包括

• 高性能随机访问： 无需牺牲扫描性能，比 Parquet 快 100 倍。

• 向量搜索： 毫秒级查找最近邻，并将 OLAP 查询与向量搜索结合。

• 零拷贝，自动版本控制： 无需额外基础设施即可管理数据的版本。

• 生态系统集成： Apache Arrow、Pandas、Polars、DuckDB 等更多集成在路上。

[!TIP] Lance 正在积极开发中，我们欢迎贡献。有关更多信息，请参阅我们的 贡献指南。

快速入门

安装

pip install pylance

要安装预览版本

pip install --pre --extra-index-url https://pypi.fury.io/lancedb/ pylance

【提示】预览版本比完整版本发布更频繁，包含最新特性和错误修复。它们接受与完整版本相同的测试级别。我们保证它们至少会公开发布和可供下载6个月。当您想锁定到特定版本时，请优先选择稳定版本。

转换为Lance

import lance

import pandas as pd
import pyarrow as pa
import pyarrow.dataset

df = pd.DataFrame({"a": [5], "b": [10]})
uri = "/tmp/test.parquet"
tbl = pa.Table.from_pandas(df)
pa.dataset.write_dataset(tbl, uri, format='parquet')

parquet = pa.dataset.dataset(uri, format='parquet')
lance.write_dataset(parquet, "/tmp/test.lance")

读取Lance数据

dataset = lance.dataset("/tmp/test.lance")
assert isinstance(dataset, pa.dataset.Dataset)

Pandas

df = dataset.to_table().to_pandas()
df

DuckDB

import duckdb

# If this segfaults, make sure you have duckdb v0.7+ installed
duckdb.query("SELECT * FROM dataset LIMIT 10").to_df()

向量搜索

下载sift1m子集

wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gz
tar -xzf sift.tar.gz

将其转换为Lance

import lance
from lance.vector import vec_to_table
import numpy as np
import struct

nvecs = 1000000
ndims = 128
with open("sift/sift_base.fvecs", mode="rb") as fobj:
    buf = fobj.read()
    data = np.array(struct.unpack("<128000000f", buf[4 : 4 + 4 * nvecs * ndims])).reshape((nvecs, ndims))
    dd = dict(zip(range(nvecs), data))

table = vec_to_table(dd)
uri = "vec_data.lance"
sift1m = lance.write_dataset(table, uri, max_rows_per_group=8192, max_rows_per_file=1024*1024)

构建索引

sift1m.create_index("vector",
                    index_type="IVF_PQ",
                    num_partitions=256,  # IVF
                    num_sub_vectors=16)  # PQ

搜索数据集

# Get top 10 similar vectors
import duckdb

dataset = lance.dataset(uri)

# Sample 100 query vectors. If this segfaults, make sure you have duckdb v0.7+ installed
sample = duckdb.query("SELECT vector FROM dataset USING SAMPLE 100").to_df()
query_vectors = np.array([np.array(x) for x in sample.vector])

# Get nearest neighbors for all of them
rs = [dataset.to_table(nearest={"column": "vector", "k": 10, "q": q})
      for q in query_vectors]

目录结构

Lance的独特之处

在这里，我们将突出Lance设计的一些方面。有关更多详细信息，请参阅完整的Lance设计文档。

向量索引：用于在嵌入空间中进行相似性搜索的向量索引。支持CPU（x86_64和arm）和GPU（Nvidia (cuda)和Apple Silicon (mps)）。

graph LR
    A[Collection] --> B[Exploration];
    B --> C[Analytics];
    C --> D[Feature Engineer];
    D --> E[Training];
    E --> F[Evaluation];
    F --> C;
    E --> G[Deployment];
    G --> H[Monitoring];
    H --> A;