#语言模型 #人工智能 #绑定 # #包装器 #接口 #llm

ggml

Semi-idiomatic Rust绑定库ggml(来自ggml-sys

5个版本

0.1.1 2023年5月8日
0.1.0-rc42023年5月8日
0.1.0-rc32023年5月7日
0.1.0-rc12023年5月4日

#878 in 机器学习

Download history 194/week @ 2024-03-11 90/week @ 2024-03-18 96/week @ 2024-03-25 145/week @ 2024-04-01 188/week @ 2024-04-08 100/week @ 2024-04-15 92/week @ 2024-04-22 89/week @ 2024-04-29 138/week @ 2024-05-06 88/week @ 2024-05-13 87/week @ 2024-05-20 94/week @ 2024-05-27 81/week @ 2024-06-03 87/week @ 2024-06-10 89/week @ 2024-06-17 100/week @ 2024-06-24

每月365次下载
13个crate中使用(通过llm-base

MIT许可证

3.5MB
26K SLoC

C 14K SLoC // 0.1% comments C++ 7K SLoC // 0.1% comments Rust 2.5K SLoC // 0.0% comments Python 768 SLoC // 0.3% comments CUDA 544 SLoC // 0.0% comments Shell 138 SLoC // 0.2% comments

ggml是对C库ggml的半语法包装。

它公开了一组操作(目前用于实现llm库)。请注意,它不公开完全符合语法的安全Rust接口;可能不安全的操作被标记为如此。

ggml在计算图上操作;直到执行Context::graph_compute之前,不会计算任何值。所有[Tensor]都是计算图中的节点,并且只能在计算完成后检索值。

依赖项