Lib.rs

归档器是一个用于与大型语言模型（LLM）交互的命令行应用程序，用于测试目的。它利用 Ollama 进行模型集成，并将 SurrealDB 作为向量存储。该应用程序使用 Langchain-rust 作为与 Ollama 和 SurrealDB 交互的框架。

先决条件

在设置归档器之前，请确保您的系统上已安装以下内容

• Rust（最新稳定版本）
• just（命令运行器）
• Pandoc（在添加到向量数据库时加载文本）
• Ollama
• SurrealDB

快速入门

确保 docker 正在运行，并确保 docker compose 已设置

docker ps

安装 Just 以运行设置，并安装 Pandocs 以将文件索引添加到 surrealdb

brew install pandoc just

一旦安装了 Pandocs 和 Just，请运行

just docker

将文件添加到 SurrealDB

just add <markdown file>

或者

cargo run -- -a <markdown file>

添加 Markdown 目录

cargo run -- -d <directory>

最后运行归档器并使用它

just run

变更日志

v0.3.2

• 使用 Docker 快速入门：更新 Justfile 和 Readme，以通过 Docker 设置归档器

v0.3.1

• 检查 Pandoc：在运行之前确保 pandoc 存在

v0.3.0

• 索引目录：添加目录索引以批量导入 Markdown 文件

v0.2.0

• 提示：添加提示标识符和来自 LLM 的彩色响应
• 错误处理：使用 SurrealDB 和 Ollama 进行更好的错误处理
• 分块：在将文件添加到 SurrealDB 时添加文档分块
• 模式切换：将 LLM 链切换到会话检索器，从会话中，使 LLM 更有效率，并从 VectorDB 获取响应

v0.1.0

• 会话记忆：在 LLM 的交互中维护上下文。
• 向量存储：通过 SurrealDB 高效存储和检索高维向量。
• Ollama 集成：轻松设置和使用 Ollama 进行模型管理。
• 索引文件：将 Markdown 文件添加到 SurrealDB。

安装归档器

1. 使用 Cargo 进行安装:

   cargo install archiver
   

   确保在运行归档器之前已设置 SurrealDB 和 Ollama

2. 下载并安装 SurrealDB:

   curl -sSf https://install.surrealdb.com | sh
   

3. 运行 SurrealDB:

   just db_dev
   

设置 SurrealDB

一旦Surreal启动并运行，您可以通过 https://surrealist.app/ 访问Surreal的实例。但在这样做之前，需要设置命名空间和表。完成此操作最快的方法是运行一次Archiver。

1. 设置命名空间和表:

   just run
   

2. 将Markdown文件添加到SurrealDB:

   cargo run -- -a <markdownfile>
   

Archiver

1. 从源设置:

   git clone https://github.com/yourusername/archiver.git
   cd archiver
   just db_dev # run in a seperate terminal
   just run
   

许可协议

本项目采用Apache许可证（版本2.0）。有关详细信息，请参阅LICENSE文件。