RPhi

RPhi 是一个用于量化 Phi 1.5 语言模型的 Rust 实现。

Phi-1.5 是一个非常小但性能出色的语言模型，可以在您的本地机器上轻松运行。

此库使用来自 Candle 的 Quantized Mixformer 来运行 Phi-1.5。

用法

use rphi::prelude::*;
#[tokio::main]
async fn main() {
    let mut model = Phi::v2().await.unwrap();
    let prompt = "The capital of France is ";
    let mut result = model.stream_text(prompt).await.unwrap();

    print!("{prompt}");
    while let Some(token) = result.next().await {
        print!("{token}");
    }
}