#llm #build #cpp #llama #binary #server #compile

llama_cpp_low

使用 cargo 从 llama.cpp 编译小型服务器二进制文件

16 个版本

0.3.13 2024 年 7 月 12 日
0.3.12 2024 年 7 月 12 日
0.3.7 2024 年 6 月 19 日
0.3.5 2024 年 5 月 9 日

#35#llama

Download history 428/week @ 2024-05-02 141/week @ 2024-05-09 10/week @ 2024-05-16 6/week @ 2024-05-23 178/week @ 2024-06-06 108/week @ 2024-06-13 55/week @ 2024-06-20 469/week @ 2024-06-27 132/week @ 2024-07-04 195/week @ 2024-07-11 3/week @ 2024-07-18 23/week @ 2024-07-25

542 每月下载量
用于 llm-daemon

MIT 许可证

7.5MB
152K SLoC

C++ 78K SLoC // 0.1% comments C 34K SLoC // 0.1% comments Python 14K SLoC // 0.1% comments CUDA 7.5K SLoC // 0.0% comments Metal Shading Language 5.5K SLoC // 0.0% comments GLSL 3.5K SLoC // 0.0% comments Objective-C 2.5K SLoC // 0.0% comments Shell 2.5K SLoC // 0.2% comments JavaScript 2.5K SLoC // 0.2% comments Swift 1K SLoC // 0.0% comments Kotlin 694 SLoC // 0.1% comments Gherkin (Cucumber) 524 SLoC // 0.1% comments Vim Script 135 SLoC // 0.1% comments RPM Specfile 109 SLoC // 0.2% comments Batch 78 SLoC // 0.2% comments Prolog 36 SLoC Rust 27 SLoC INI 7 SLoC

包含 (JAR 文件,60KB) gradle-wrapper.jar

llama-cpp-low

使用 cargo 构建 llama.cpp 服务器二进制文件的脚本

等等,你清醒吗?

我只是想有一个守护进程,以最小的外部依赖运行 LLM...

无运行时依赖