llama-cpp-rs-2

一个针对 Rust 的 llama.cpp 库的包装器。

信息

这是 utilityai.ca 上所有 LLM 项目的一部分，它与 llama.cpp 密切结合，尽可能忠实地模仿其 API，同时确保安全性以保持最新。

依赖项

此项目使用 bindgen 构建与 llama.cpp 的绑定。这意味着您需要在您的系统上安装 clang。

如果这成为您的问题，请打开一个 issue，我们可以考虑包含这些绑定。

有关更多信息，请参阅 bindgen。

免责声明

此 crate 不安全。有绝对的方法可以滥用 llama.cpp API 以创建 UB，如果您发现任何问题，请创建一个 issue。不要将此代码用于无法接受 UB 的任务。

这不是一个简单的库。在理想的世界里，将会有一个很好的抽象在 crate 之上，以提供易用的 API - 该 crate 与原始绑定相比的优势在于安全性（而且不多）以及没有其他优势。

我们通过提供大量的示例和良好的文档来弥补这一缺陷（我们希望如此）。测试正在进行中。

贡献

欢迎贡献。在开始工作之前，请先打开一个 issue，以处理非平凡的 PR。