Lib.rs

Swiftide

用于AI应用的高速流式索引和查询库，用Rust编写
在swiftide.rs上了解更多 »

API文档 · 报告错误 · 请求功能 · Discord

关于项目

Swiftide是一个针对检索增强生成（RAG）的数据索引、处理和查询库。在构建包含大型语言模型（LLM）的应用程序时，这些LLM需要访问外部资源。数据需要转换、丰富、分割、嵌入和持久化。然后可以通过检索索引数据并生成答案来增强查询。它使用Rust编写，使用并行、异步流，速度极快。

使用Swiftide，您可以用几行代码构建从想法到生产的AI应用程序。

在处理其他基于Python的工具时，出现了关于性能、稳定性和易用性的挫折。因此，Swiftide应运而生。索引性能从数十分钟缩短到几秒。

是 bosun.ai 项目的一部分。一个即将推出的自动代码改进平台。

我们 <3 反馈：项目想法、建议和投诉非常受欢迎。请随意在 discord 上打开一个问题或联系我们。

[!注意] Swiftide正在积极开发中，在向1.0迈进的过程中可能会出现破坏性更改。这里的文档可能无法涵盖所有功能，尽管我们努力保持最新，但仍可能略微过时。请期待错误。我们建议您始终关注我们的 github 和 API文档。如果您发现了一个问题或有任何反馈，我们非常愿意在问题中听取您的意见。

(返回顶部)

博客上最新的更新 🔥

• 版本 - Swiftide 0.8 (2024-08-12)
• 版本发布 - Swiftide 0.7 (2024-07-28)
• 构建代码问答管道 (2024-07-13)
• 版本发布 - Swiftide 0.6 (2024-07-12)
• 版本发布 - Swiftide 0.5 (2024-07-1)

(返回顶部)

示例

indexing::Pipeline::from_loader(FileLoader::new(".").with_extensions(&["rs"]))
        .with_default_llm_client(openai_client.clone())
        .filter_cached(Redis::try_from_url(
            redis_url,
            "swiftide-examples",
        )?)
        .then_chunk(ChunkCode::try_for_language_and_chunk_size(
            "rust",
            10..2048,
        )?)
        .then(MetadataQACode::default())
        .then(move |node| my_own_thing(node))
        .then_in_batch(10, Embed::new(openai_client.clone()))
        .then_store_with(
            Qdrant::builder()
                .batch_size(50)
                .vector_size(1536)
                .build()?,
        )
        .run()
        .await?;

更多示例可以在/examples中找到

(返回顶部)

愿景

我们的目标是创建一个快速、可扩展的数据索引和查询平台，以进一步推动自动化的LLM应用的开发，并具有易于使用和扩展的API。

(返回顶部)

功能

• 快速、模块化流式索引管道，具有异步、并行处理
• 实验性查询管道
• 多种加载器、转换器、语义分块器、嵌入器等
• 通过扩展简单的特质或使用闭包来提供自己的转换器
• 管道拆分和合并
• 提示的Jinja-like模板
• 存储到多个后端
• 与OpenAI、Groq、Redis、Qdrant、Ollama、FastEmbed-rs和Treesitter集成
• 支持稀疏向量以实现混合搜索
• tracing支持日志和跟踪，有关更多信息，请参阅/examples和tracing存储库。

详细说明

(返回顶部)

入门

先决条件

请确保已安装Rust工具链。推荐使用rustup。

要使用OpenAI，需要API密钥。请注意，默认情况下async_openai使用OPENAI_API_KEY环境变量。

其他集成需要相应安装。

安装

1. 设置新的Rust项目

2. 添加swiftide

   cargo add swiftide
   

3. 在您的Cargo.toml中启用您要使用的集成功能

4. 编写管道（请参阅我们的示例和文档）

(返回顶部)

用法和概念

在构建流之前，您需要启用并配置所需的所有集成。请参阅/examples。

流从发出节点的加载器开始。例如，使用Fileloader，每个文件都是一个节点。

然后您可以切割、切片、增强和过滤节点。管道中的每个不同步骤都需要不同的特质。这可以实现扩展。

节点有路径、分块和元数据。目前，在分块时复制元数据，并且在使用OpenAIEmbed转换器时始终嵌入。

• from_loader (impl Loader)是流的起点，创建并发射节点
• filter_cached (impl NodeCache)过滤缓存节点
• then (impl Transformer)转换节点并将其放在流上
• then_in_batch (impl BatchTransformer)转换多个节点并将其放在流上
• then_chunk (impl ChunkerTransformer) 对单个节点进行转换并输出多个节点
• then_store_with (impl Storage) 将节点存储在存储后端，可以链式调用