语言模型

本 crate 提供语言模型的一个统一接口。它支持流式文本、采样和嵌入。

使用示例（与 RPhi 实现crate一起使用）

use kalosm::language::*;

#[tokio::main]
async fn main() {
    let mut model = Llama::phi_3().await.unwrap();
    let prompt = "The capital of France is ";
    let mut result = model.stream_text(prompt).await.unwrap();

    print!("{prompt}");
    while let Some(token) = result.next().await {
        print!("{token}");
    }
}