用于提示本地离线 LLM 的 egui 应用。

描述

coze 是一个使用 Huggingface candle crate 提示本地离线 LLM 的 egui 应用。

当前支持以下量化模型

• Mistral Instruct 7B v0.2
• Mistral 7B v0.1
• Hugging Face Zephyr 7B β
• StableLM 2 Zephyr 1.6B

模型首次使用时，其权重将从 Huggingface 下载并缓存在 ~/.cache/coze 文件夹中，以供后续使用。

当前版本支持

• 模糊匹配的提示历史导航。
• 运行之间的历史持久化。
• 令牌生成模式。
• 复制提示和回复到剪贴板。
• 浅色/深色模式。

请参阅应用的 帮助 菜单以获取使用详细信息。

安装

可以从 发布页面 获取 Linux、MacOS 和 Windows 的二进制文件来安装最新版本，或使用 cargo。

cargo install --locked coze

本地构建（调试构建可能非常慢）

git clone https://github.com/vincev/coze
cd coze
cargo r --release