Lib.rs

Swiftide

针对AI应用，用Rust编写的快速流式索引和查询库
了解更多关于 swiftide.rs 的信息

API文档 · 报告错误 · 请求功能 · Discord

关于项目

Swiftide是一个数据索引、处理和查询库，专门针对检索增强生成（RAG）。在构建大型语言模型（LLM）的应用程序时，这些LLM需要访问外部资源。数据需要转换、丰富、分割、嵌入和持久化。然后可以通过检索索引数据并生成答案来增强查询。它使用Rust编写，使用并行、异步流，并且速度极快。

使用Swiftide，您可以用几行代码构建您的AI应用从想法到生产。

在与其他基于Python的工具一起工作时，由于性能、稳定性和易用性而产生了挫折。因此，Swiftide诞生了。索引性能从几分钟减少到几秒钟。

是 bosun.ai 项目的一部分。一个即将推出的自主代码改进平台。

我们非常欢迎反馈：项目想法、建议和投诉都非常受欢迎。请随意打开一个问题或在 discord 上联系我们。

[!注意] Swiftide正在积极开发中，在努力达到1.0版本的过程中可能会有破坏性更改。这里的文档可能无法涵盖所有功能，尽管我们努力，但可能略显过时。请期待出现错误。我们建议您始终关注我们的 github 和 api文档。如果您发现了一个问题或有任何类型的反馈，我们非常愿意在问题中听到您的意见。

(返回顶部)

博客上最新的更新 🔥

• 发布 - Swiftide 0.8 (2024-08-12)
• 发布 - Swiftide 0.7 (2024-07-28)
• 构建代码问答管道 (2024-07-13)
• 发布 - Swiftide 0.6 (2024-07-12)
• 发布 - Swiftide 0.5 (2024-07-1)

(返回顶部)

示例

indexing::Pipeline::from_loader(FileLoader::new(".").with_extensions(&["rs"]))
        .with_default_llm_client(openai_client.clone())
        .filter_cached(Redis::try_from_url(
            redis_url,
            "swiftide-examples",
        )?)
        .then_chunk(ChunkCode::try_for_language_and_chunk_size(
            "rust",
            10..2048,
        )?)
        .then(MetadataQACode::default())
        .then(move |node| my_own_thing(node))
        .then_in_batch(10, Embed::new(openai_client.clone()))
        .then_store_with(
            Qdrant::builder()
                .batch_size(50)
                .vector_size(1536)
                .build()?,
        )
        .run()
        .await?;

您可以在 /examples 中找到更多示例

(返回顶部)

愿景

我们的目标是创建一个快速、可扩展的数据索引和查询平台，以进一步推动自动化LLM应用程序的发展，并提供易于使用和扩展的API。

(返回顶部)

功能

• 异步、并行处理的快速、模块化流式索引管道
• 实验性查询管道
• 各种加载器、转换器、语义分块器、嵌入器等等
• 通过扩展简单的特质或使用闭包来引入自己的转换器
• 分割和合并管道
• 提示的Jinja模板
• 存储到多个后端
• 与OpenAI、Groq、Redis、Qdrant、Ollama、FastEmbed-rs和Treesitter集成
• 支持稀疏向量以实现混合搜索
• 支持 tracing 以进行日志记录和跟踪，请参阅 /examples 和 tracing 包获取更多信息。

详细说明

(返回顶部)

入门

先决条件

请确保您已安装Rust工具链。 rustup 是推荐方法。

要使用OpenAI，需要API密钥。请注意，默认情况下 async_openai 使用 OPENAI_API_KEY 环境变量。

其他集成需要相应安装。

安装

1. 设置新的Rust项目

2. 添加swiftide

   cargo add swiftide
   

3. 在您的 Cargo.toml 中启用您希望使用的集成功能

4. 编写管道（请参阅我们的示例和文档）

(返回顶部)

使用和概念

在构建流之前，您需要启用和配置所需的任何集成。请参阅 /examples。

流以一个生成节点的加载器开始。例如，使用Fileloader，每个文件都是一个节点。

然后您可以切割、切片、增强和过滤节点。管道中的不同步骤类型需要不同的特质。这使扩展成为可能。

节点有路径、块和元数据。目前，在分块时复制元数据，并且使用OpenAIEmbed转换器时始终嵌入。

• from_loader (impl Loader) 是流的起点，创建并生成节点
• filter_cached (impl NodeCache) 过滤缓存的节点
• then (impl Transformer) 转换节点并将其放在流上
• then_in_batch (impl BatchTransformer) 转换多个节点并将其放在流上
• then_chunk (impl ChunkerTransformer) 将单个节点转换并输出多个节点
• then_store_with (impl Storage) 将节点存储在存储后端，这可以串联使用

此外，还实现了几个通用转换器。它们接受 SimplePrompt 和 EmbedModel 的实现者来完成它们的事情。

[!NOTE] 默认情况下没有启用集成，因为有些集成的代码量很大。要么选择需要的集成，要么使用“all”功能标志。

[!WARNING] 由于性能原因，在添加元数据之前进行分块会导致在 OpenAI 上出现速率限制错误，尤其是在像 3.5-turbo 这样的快速模型中。请注意。

有关更多示例，请参阅 /examples 和文档

(返回顶部)

路线图

查看公开问题以获取提议的功能（和已知问题）的完整列表。

(返回顶部)

社区

如果您想更多地参与 Swiftide，有问题或想聊天，您可以在discord上找到我们。

(返回顶部)

贡献

Swiftide 处于非常早期阶段，我们清楚我们缺乏更广泛社区的功能。欢迎贡献。🎉

如果您有很好的想法，请复制仓库并创建一个拉取请求。您也可以简单地创建一个带有“enhancement”标签的问题。别忘了给项目加星！再次感谢！

如果您只想贡献（赞美您！）请参阅我们的问题。

1. 复制项目
2. 创建您的功能分支（git checkout -b feature/AmazingFeature）
3. 提交您的更改（git commit -m 'feat: 添加一些 AmazingFeature'）
4. 推送到分支（git push origin feature/AmazingFeature）
5. 打开拉取请求

有关更多信息，请参阅CONTRIBUTING

(返回顶部)

许可协议

在 MIT 许可证下分发。有关更多信息，请参阅LICENSE

(返回顶部)