aj

aj 是一个命令行工具，旨在方便与本地运行的大型语言模型 (LLM) 进行交互。它专门设计为与 Text Generation Web UI 和启用 OpenAI 扩展 一起无缝工作，确保无需复杂的配置或设置即可获得流畅且高效的开发体验。

功能

• 本地大型语言模型交互：从命令行直接与您的本地运行的 LLM 交互。
• 无缝集成：与启用 Text Generation Web UI 和 OpenAI 扩展 的 Text Generation Web UI 无缝配合。
• 自定义模板：利用预设的模板进行常见查询或创建自己的模板以用于特定任务。
• 丰富、带颜色的响应：在终端中享受互动、带颜色和丰富的文本响应，以获得增强的用户体验。

安装

使用 Rust 包管理器 cargo 安装 aj。如果尚未安装 Rust 和 cargo，请从 rustup 获取，然后安装 aj

cargo install awful_aj

使用方法

初始化

在开始使用 aj 之前，启动它以创建必要的配置和模板文件

aj init

此命令在 ~/.config/aj 和 ~/.config/aj/templates 中创建文件夹，并填充默认配置和模板。

配置

配置存储在 ~/.config/aj/config.yaml 中。在利用 aj 工具之前，使用您的实际 API 密钥更新 api_key 字段。初始配置如下所示

api_base: "https://127.0.0.1:5001/v1"
api_key: "CHANGEME"
model: "mistrel-7b-openorca"

提问

要提问，请使用 ask 命令后跟您的提问，并用引号括起来

aj ask "Is Bibi really from Philly?"

如果没有提供问题，则使用默认问题。

模板

模板存储在~/.config/aj/templates目录中。如有需要，请随意添加或修改模板。初始化时提供了一个默认模板simple_question.yml。

开发

克隆仓库

git clone https://github.com/graves/awful_aj.git
cd awful_aj

构建项目

cargo build

运行测试

cargo test

在运行测试套件时，可以安全地忽略以下错误

2023-10-12T21:08:39.726156Z ERROR aj::api: Received error: stream failed: Invalid header value: "application/json"
error: stream failed: Invalid header value: "application/json"

贡献

欢迎贡献！请随意发起PR。

许可证

awful_aj遵循MIT许可证。