4 个稳定版本
| 1.3.0 | 2024 年 6 月 23 日 |
|---|---|
| 1.2.0 | 2024 年 1 月 23 日 |
| 1.1.0 | 2023 年 11 月 14 日 |
| 1.0.0 | 2023 年 8 月 9 日 |
#249 在 机器学习
每月 42 下载
99KB
2K SLoC
llmvm-outsource
一个将文本和聊天生成请求发送到已知的托管语言模型提供者的 llmvm 后端。
支持的提供者
- OpenAI（文本 & 聊天接口）
- Anthropic（聊天接口）
- Hugging Face（文本接口）
- Ollama（文本接口）
此后端的 llmvm 模型 ID 示例：outsource/openai-chat/gpt-3.5-turbo
安装
使用 cargo 安装此后端。
cargo install llmvm-outsource
使用方法
后端可以直接调用，通过 llmvm-core 或通过利用 llmvm-core 的前端调用。
直接调用，执行 llmvm-outsource -h 以获取详细信息。
llmvm-outsource http 可以调用以创建远程客户端的 HTTP 服务器。
配置
运行后端可执行文件，在以下位置生成配置文件：
- Linux:
~/.config/llmvm/outsource.toml。 - macOS:
~/Library/Application Support/com.djandries.llmvm/outsource.toml - Windows:
AppData\Roaming\djandries\llmvm\config\outsource.toml
| 键 | 必需？ | 描述 |
|---|---|---|
openai_api_key |
如果使用 OpenAI | OpenAI 请求的 API 密钥。 |
huggingface_api_key |
如果使用 Hugging Face | Hugging Face 请求的 API 密钥。 |
anthropic_api_key |
如果使用 Anthropic | Anthropic请求的API密钥。 |
ollama_endpoint |
如果使用Ollama | Ollama请求的端点（默认为 http://127.0.0.1:11434/api/generate） |
openai_endpoint |
如果使用自定义的OpenAI服务器 | 所有OpenAI请求的自定义端点。支持任何兼容OpenAI API的服务器（例如fastchat）。 |
tracing_directive |
否 | 用于跟踪的日志指令/级别 |
stdio_server |
否 | Stdio服务器设置。有关详细信息，请参阅llmvm-protocol。 |
http_server |
否 | HTTP服务器设置。有关详细信息，请参阅llmvm-protocol。 |
Hugging Face和OpenAI自定义端点
OpenAI自定义端点可以通过配置文件（推荐，见上文）或运行时模型ID指定。HuggingFace自定义端点只能通过模型ID指定。
在模型ID中，可以通过提供前缀 endpoint= 指定自定义托管端点，后跟端点URL。
对于OpenAI，在模型名后添加端点。例如，模型ID可以是 outsource/openai-chat/vicuna-7b-v1.5/endpoint=https://localhost:8000。
对于HuggingFace，将模型名替换为端点。例如，模型ID可以是 outsource/huggingface-text/endpoint=https://yourendpointhere。
许可
依赖关系
~15–28MB
~437K SLoC