26 个版本 (8 个重大更新)
0.13.0 | 2023 年 11 月 15 日 |
---|---|
0.12.3 | 2023 年 6 月 27 日 |
0.12.0 | 2023 年 5 月 31 日 |
#1017 在 科学
1MB
22K SLoC
llama-sys
llama-sys 是一组由 bindgen 生成的 llama.cpp 包装器。这个 crate 提供了对 llama.cpp 的低级接口,允许你在 Rust 项目中使用它。要使用 llama-sys,只需将以下内容添加到你的 Cargo.toml 文件中
[dependencies]
llama-sys = "0.1.0"
use llama_sys::\*;
请注意,llama-sys 提供的接口比 llm-chain-llama 更低级,可能更难使用。但是,如果你需要精细控制 llama.cpp,llama-sys 是最佳选择。