Lib.rs

Lance是一种针对机器学习工作流程和数据集进行优化的现代列式数据格式。Lance非常适合

1. 构建搜索引擎和特征存储。
2. 需要高性能I/O和洗牌的大型机器学习训练。
3. 存储、查询和检查深层嵌套数据，适用于机器人学或图像、点云等大型数据块。

Lance的关键特性包括

• 高性能随机访问：比Parquet快100倍，同时不牺牲扫描性能。

• 向量搜索：以毫秒级速度查找最近邻，并将OLAP查询与向量搜索相结合。

• 零拷贝、自动版本控制：无需额外基础设施即可管理数据的版本。

• 生态系统集成：Apache Arrow、Pandas、Polars、DuckDB等，更多集成在路上。

[!TIP] Lance正在积极开发中，我们欢迎贡献。请参阅我们的贡献指南获取更多信息。

快速入门

安装

pip install pylance

安装预发布版本

pip install --pre --extra-index-url https://pypi.fury.io/lancedb/ pylance

[!提示] 预发布版本比完整版本发布得更频繁，包含最新的功能和错误修复。它们接受与完整版本相同的测试水平。我们保证它们至少会公开发布和可供下载6个月。当你想要固定到特定版本时，请选择稳定版本。

转换为Lance

import lance

import pandas as pd
import pyarrow as pa
import pyarrow.dataset

df = pd.DataFrame({"a": [5], "b": [10]})
uri = "/tmp/test.parquet"
tbl = pa.Table.from_pandas(df)
pa.dataset.write_dataset(tbl, uri, format='parquet')

parquet = pa.dataset.dataset(uri, format='parquet')
lance.write_dataset(parquet, "/tmp/test.lance")

读取Lance数据

dataset = lance.dataset("/tmp/test.lance")
assert isinstance(dataset, pa.dataset.Dataset)

Pandas

df = dataset.to_table().to_pandas()
df

DuckDB

import duckdb

# If this segfaults, make sure you have duckdb v0.7+ installed
duckdb.query("SELECT * FROM dataset LIMIT 10").to_df()

向量搜索

下载sift1m子集

wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gz
tar -xzf sift.tar.gz

将其转换为Lance

import lance
from lance.vector import vec_to_table
import numpy as np
import struct

nvecs = 1000000
ndims = 128
with open("sift/sift_base.fvecs", mode="rb") as fobj:
    buf = fobj.read()
    data = np.array(struct.unpack("<128000000f", buf[4 : 4 + 4 * nvecs * ndims])).reshape((nvecs, ndims))
    dd = dict(zip(range(nvecs), data))

table = vec_to_table(dd)
uri = "vec_data.lance"
sift1m = lance.write_dataset(table, uri, max_rows_per_group=8192, max_rows_per_file=1024*1024)

构建索引

sift1m.create_index("vector",
                    index_type="IVF_PQ",
                    num_partitions=256,  # IVF
                    num_sub_vectors=16)  # PQ

搜索数据集

# Get top 10 similar vectors
import duckdb

dataset = lance.dataset(uri)

# Sample 100 query vectors. If this segfaults, make sure you have duckdb v0.7+ installed
sample = duckdb.query("SELECT vector FROM dataset USING SAMPLE 100").to_df()
query_vectors = np.array([np.array(x) for x in sample.vector])

# Get nearest neighbors for all of them
rs = [dataset.to_table(nearest={"column": "vector", "k": 10, "q": q})
      for q in query_vectors]

目录结构

Lance的独特之处

在此，我们将突出Lance设计的一些方面。有关更多详细信息，请参阅完整的Lance设计文档。

向量索引：用于在嵌入空间中执行相似性搜索的向量索引。支持CPU（x86_64和arm）和GPU（Nvidia (cuda)和Apple Silicon (mps)）。

graph LR
    A[Collection] --> B[Exploration];
    B --> C[Analytics];
    C --> D[Feature Engineer];
    D --> E[Training];
    E --> F[Evaluation];
    F --> C;
    E --> G[Deployment];
    G --> H[Monitoring];
    H --> A;