ollama-rest.rs

异步 Rust 对 Ollama REST API 的绑定，使用 reqwest、tokio、serde 和 chrono。

安装

cargo add [email protected]

特性

直观查看

查看此示例的 源代码。

use std::io::Write;

use ollama_rest::{models::generate::{GenerationRequest, GenerationResponse}, Ollama};
use serde_json::json;

// By default checking Ollama at 127.0.0.1:11434
let ollama = Ollama::default();

let request = serde_json::from_value::<GenerationRequest>(json!({
    "model": "llama3",
    "prompt": "Why is the sky blue?",
})).unwrap();

let mut stream = ollama.generate_streamed(&request).await.unwrap();

while let Some(Ok(res)) = stream.next().await {
    if !res.done {
        print!("{}", res.response);
        // Flush stdout for each word to allow realtime output
        std::io::stdout().flush().unwrap();
    }
}

println!();

或者，创建自己的聊天机器人界面！查看 此示例（命令行界面）和 此示例（REST API）。