llame

一个提供与 Ollama API 交互的用户友好方式的桌面命令行应用程序。

安装

目前，安装此应用程序的唯一方式是运行 cargo install llame。这需要在您的计算机上设置 Rust。您也可以从源码运行此程序。

设置

创建以下文件夹结构

<root>
├── chat_about_cats
├── ...
├── homework_help
└── config.toml

<root> 可以是任何您想要的名字。

文件夹 chat_about_cats 和 homework_help 是聊天的示例名称。实际上，聊天通过文件夹表示，LLM 的记忆存储在该文件夹中，命名为 context.dat。在重新运行此应用程序之前删除此文件允许您擦除 LLM 的记忆，同时重用聊天的名称。替换和交换此文件是有效的，但文件只有在首次运行 chat 命令时才会被读取。使用一个模型与另一个模型一起使用上下文可能不会工作，除非两个模型都接受相同大小的上下文。如果你能让一个示例工作，请告诉我！

该文件夹还将包含 system.txt，如果不存在，则会自动生成。您可以在任何时间点在此处写入系统消息，即使在应用程序运行时也会进行热重载（请记住，LLM 仍然会遵循旧的系统消息，直到它们忘记它们）。

config.toml 是一个必需的文件，包含有关模型和 API 的信息。以下是一个完整的示例

model = "dolphin-mixtral:latest"
host = "https://manglemix.ngrok.io"
port = 443

host 和 port 参数不是必需的。它们将默认为 http://127.0.0.1 和 11434。如本例所示，https 也可用，并且如果可能的话，强烈建议使用它以保持您的对话私密。如果我的 Ollama API 在远程运行，我会使用 ngrok，因为它会自动提供 https。

要开始聊天，请进入聊天文件夹并运行 llame chat 命令。与 config.toml 位于同一目录的所有文件夹都是有效的聊天文件夹。

要总结聊天记录，请进入聊天文件夹并运行 llame summary 命令。这将向 LLM 发送以下提示，包括当前系统消息和上下文："简要总结这次对话"。