rusty-ggml

GGML 绑定，旨在以惯用的 Rust 语法实现，而不是直接对应于 C/C++ 接口。

GG-what?

见

1. https://github.com/ggerganov/ggml/
2. https://github.com/KerfuffleV2/ggml-sys-bleedingedge ( https://crates.io/crates/ggml-sys-bleedingedge )

工作进展中

不适用于一般用途。请将其视为预-alpha 版本代码。

v0.0.8 注意：与最近的 GGML 变更保持同步已落后。它已编译且似乎正常工作，但可能存在我没有注意到的奇怪问题。

注意：在使用像 cublas、hipblas 这样的 GPU 功能时需要特别注意。有关更多信息，请参阅 ggml-sys-bleedingedge 仓库或 crate 文档。

示例用法：https://github.com/KerfuffleV2/smolrsrwkv/blob/189915ec68b28d057b440f75803d3d056e150733/smolrwkv/src/ggml/graph.rs

相关

有关您的令牌采样需求，请参阅 https://github.com/KerfuffleV2/llm-samplers ( https://crates.io/crates/llm-samplers )