26 个版本 (8 个重大更新)

0.13.0 2023 年 11 月 15 日
0.12.3 2023 年 6 月 27 日
0.12.0 2023 年 5 月 31 日

#1017科学


用于 llm-chain-llama

MIT 许可证

1MB
22K SLoC

C 10K SLoC // 0.1% comments C++ 5K SLoC // 0.1% comments Rust 4.5K SLoC // 0.0% comments Python 1K SLoC // 0.1% comments CUDA 545 SLoC // 0.0% comments Shell 178 SLoC // 0.2% comments Zig 50 SLoC Batch 48 SLoC Swift 20 SLoC

llama-sys

llama-sys 是一组由 bindgen 生成的 llama.cpp 包装器。这个 crate 提供了对 llama.cpp 的低级接口,允许你在 Rust 项目中使用它。要使用 llama-sys,只需将以下内容添加到你的 Cargo.toml 文件中

[dependencies]
llama-sys = "0.1.0"
use llama_sys::\*;

请注意,llama-sys 提供的接口比 llm-chain-llama 更低级,可能更难使用。但是,如果你需要精细控制 llama.cpp,llama-sys 是最佳选择。

无运行时依赖