Lib.rs

Swiftide

AI应用的高效流式索引和查询库，用Rust编写
在swiftide.rs上阅读更多 »

API文档 · 报告错误 · 请求功能 · Discord

关于项目

Swiftide是一个数据索引、处理和查询库，专为检索增强生成（RAG）而定制。在构建大型语言模型（LLM）的应用程序时，这些LLM需要访问外部资源。数据需要转换、丰富、分割、嵌入和持久化。然后可以通过检索索引数据并生成答案来增强查询。它使用Rust构建，使用并行、异步流，速度极快。

使用Swiftide，您可以用几行代码将您的AI应用程序从构思到生产构建。

在使用其他基于Python的工具时，围绕性能、稳定性和易用性产生了挫败感。因此，Swiftide应运而生。索引性能从几分钟缩短到几秒钟。

是 bosun.ai 项目的一部分。一个即将推出的自主代码改进平台。

我们非常欢迎反馈：项目想法、建议和投诉。请随意在 discord 上提出问题或联系我们。

[!注意] Swiftide正在积极开发中，并在我们朝着1.0版本迈进的过程中可能存在破坏性更改。这里的文档可能无法涵盖所有功能，尽管我们尽力，但可能略有过时。请期待错误。我们建议您始终关注我们的 github 和 api文档。如果您发现错误或有任何反馈，我们很乐意在问题中听到您的意见。

(回到顶部)

博客上的最新更新 🔥

• 发布 - Swiftide 0.8 (2024-08-12)
• 发布 - Swiftide 0.7 (2024-07-28)
• 构建代码问答管道 (2024-07-13)
• 发布 - Swiftide 0.6 (2024-07-12)
• 发布 - Swiftide 0.5 (2024-07-1)

(回到顶部)

示例

indexing::Pipeline::from_loader(FileLoader::new(".").with_extensions(&["rs"]))
        .with_default_llm_client(openai_client.clone())
        .filter_cached(Redis::try_from_url(
            redis_url,
            "swiftide-examples",
        )?)
        .then_chunk(ChunkCode::try_for_language_and_chunk_size(
            "rust",
            10..2048,
        )?)
        .then(MetadataQACode::default())
        .then(move |node| my_own_thing(node))
        .then_in_batch(10, Embed::new(openai_client.clone()))
        .then_store_with(
            Qdrant::builder()
                .batch_size(50)
                .vector_size(1536)
                .build()?,
        )
        .run()
        .await?;

您可以在/examples中找到更多示例。

(回到顶部)

愿景

我们的目标是创建一个快速、可扩展的数据索引和查询平台，以推动自动化LLM应用的发展，同时提供一个易于使用和扩展的API。

(回到顶部)

功能

• 快速、模块化流式索引管道，具有异步、并行处理功能。
• 实验性查询管道。
• 提供各种加载器、转换器、语义分块器、嵌入器等。
• 通过扩展简单特质或使用闭包来引入自己的转换器。
• 分割和合并管道。
• 为提示使用Jinja-like模板。
• 存储到多个后端。
• 与OpenAI、Groq、Redis、Qdrant、Ollama、FastEmbed-rs和Treesitter集成。
• 支持稀疏向量以进行混合搜索。
• 支持tracing进行日志记录和跟踪，请参阅/tracing示例和crate获取更多信息。

详细说明

(回到顶部)

入门

先决条件

请确保您已安装Rust工具链。rustup是推荐方法。

要使用OpenAI，需要API密钥。请注意，默认情况下async_openai使用OPENAI_API_KEY环境变量。

其他集成需要相应安装。

安装

1. 设置新的Rust项目

2. 添加swiftide

   cargo add swiftide
   

3. 在您的Cargo.toml中启用您要使用的集成功能

4. 编写管道（请参阅我们的示例和文档）

(回到顶部)

使用和概念

在构建流之前，您需要启用和配置所需的任何集成。请参阅/examples。

流从一个Loader开始，它发出Nodes。例如，使用Fileloader，每个文件都是一个Node。

然后您可以切片、切块、增强和过滤节点。管道中的每种不同类型的步骤都需要不同的特质。这实现了扩展。

节点有一个路径、块和元数据。目前，在分块时复制元数据，并在使用OpenAIEmbed转换器时始终嵌入。

• from_loader (impl Loader)是流的起点，创建并发出Nodes
• filter_cached (impl NodeCache)过滤缓存的节点
• then (impl Transformer)转换节点并将其放置在流中
• then_in_batch (impl BatchTransformer)转换多个节点并将其放置在流中
• then_chunk (impl ChunkerTransformer)转换单个节点并发出多个节点
• then_store_with (impl Storage)将节点存储在存储后端，这可以串联使用