Lib.rs

Lance 是一种适用于 ML 工作流程和数据集的现代列式数据格式。Lance 适用于

1. 构建搜索引擎和特征存储。
2. 需要高性能 IO 和 shuffles 的大规模 ML 训练。
3. 存储、查询和检查用于机器人或图像、点云等大型 blob 的深层嵌套数据。

Lance 的关键特性包括

• 高性能随机访问：在不牺牲扫描性能的情况下，比 Parquet 快 100 倍。

• 向量搜索：以毫秒级速度查找最近邻，并将 OLAP 查询与向量搜索相结合。

• 零拷贝，自动版本控制：无需额外基础设施即可管理数据版本。

• 生态系统集成：Apache Arrow、Pandas、Polars、DuckDB 以及更多。

![提示] Lance 正在积极开发中，我们欢迎贡献。请参阅我们的贡献指南获取更多信息。

快速入门

安装

pip install pylance

要安装预览版本

pip install --pre --extra-index-url https://pypi.fury.io/lancedb/ pylance

![提示] 预览版本比完整版本发布更频繁，包含最新的功能和错误修复。它们将接受与完整版本相同的测试水平。我们保证它们至少会在发布后6个月内保持发布和可下载状态。当你想要锁定到特定版本时，请选择稳定版本。

转换为 Lance

import lance

import pandas as pd
import pyarrow as pa
import pyarrow.dataset

df = pd.DataFrame({"a": [5], "b": [10]})
uri = "/tmp/test.parquet"
tbl = pa.Table.from_pandas(df)
pa.dataset.write_dataset(tbl, uri, format='parquet')

parquet = pa.dataset.dataset(uri, format='parquet')
lance.write_dataset(parquet, "/tmp/test.lance")

读取 Lance 数据

dataset = lance.dataset("/tmp/test.lance")
assert isinstance(dataset, pa.dataset.Dataset)

Pandas

df = dataset.to_table().to_pandas()
df

DuckDB

import duckdb

# If this segfaults, make sure you have duckdb v0.7+ installed
duckdb.query("SELECT * FROM dataset LIMIT 10").to_df()

向量搜索

下载 sift1m 子集

wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gz
tar -xzf sift.tar.gz

将其转换为 Lance

import lance
from lance.vector import vec_to_table
import numpy as np
import struct

nvecs = 1000000
ndims = 128
with open("sift/sift_base.fvecs", mode="rb") as fobj:
    buf = fobj.read()
    data = np.array(struct.unpack("<128000000f", buf[4 : 4 + 4 * nvecs * ndims])).reshape((nvecs, ndims))
    dd = dict(zip(range(nvecs), data))

table = vec_to_table(dd)
uri = "vec_data.lance"
sift1m = lance.write_dataset(table, uri, max_rows_per_group=8192, max_rows_per_file=1024*1024)

构建索引

sift1m.create_index("vector",
                    index_type="IVF_PQ",
                    num_partitions=256,  # IVF
                    num_sub_vectors=16)  # PQ

搜索数据集

# Get top 10 similar vectors
import duckdb

dataset = lance.dataset(uri)

# Sample 100 query vectors. If this segfaults, make sure you have duckdb v0.7+ installed
sample = duckdb.query("SELECT vector FROM dataset USING SAMPLE 100").to_df()
query_vectors = np.array([np.array(x) for x in sample.vector])

# Get nearest neighbors for all of them
rs = [dataset.to_table(nearest={"column": "vector", "k": 10, "q": q})
      for q in query_vectors]

目录结构

是什么让 Lance 不同

在此，我们将强调 Lance 设计的几个方面。有关更多详细信息，请参阅完整的Lance 设计文档。

向量索引：用于嵌入空间中相似度搜索的向量索引。支持 CPU（x86_64 和 arm）和 GPU（Nvidia (cuda) 和 Apple Silicon (mps)）。

graph LR
    A[Collection] --> B[Exploration];
    B --> C[Analytics];
    C --> D[Feature Engineer];
    D --> E[Training];
    E --> F[Evaluation];
    F --> C;
    E --> G[Deployment];
    G --> H[Monitoring];
    H --> A;