#llm #build #cpp #llama #binary #server #compile

llama_cpp_low

使用 cargo 从 llama.cpp 编译小型服务器二进制文件

16 个版本

0.3.13 2024 年 7 月 12 日
0.3.12 2024 年 7 月 12 日
0.3.7 2024 年 6 月 19 日
0.3.5 2024 年 5 月 9 日

#35#llama

Download history • Rust 包仓库 428/week @ 2024-05-02 • Rust 包仓库 141/week @ 2024-05-09 • Rust 包仓库 10/week @ 2024-05-16 • Rust 包仓库 6/week @ 2024-05-23 • Rust 包仓库 178/week @ 2024-06-06 • Rust 包仓库 108/week @ 2024-06-13 • Rust 包仓库 55/week @ 2024-06-20 • Rust 包仓库 469/week @ 2024-06-27 • Rust 包仓库 132/week @ 2024-07-04 • Rust 包仓库 195/week @ 2024-07-11 • Rust 包仓库 3/week @ 2024-07-18 • Rust 包仓库 23/week @ 2024-07-25 • Rust 包仓库

542 每月下载量
用于 llm-daemon

MIT 许可证

7.5MB
152K SLoC

C++ 78K SLoC // 0.1% comments • Rust 包仓库 C 34K SLoC // 0.1% comments • Rust 包仓库 Python 14K SLoC // 0.1% comments • Rust 包仓库 CUDA 7.5K SLoC // 0.0% comments • Rust 包仓库 Metal Shading Language 5.5K SLoC // 0.0% comments • Rust 包仓库 GLSL 3.5K SLoC // 0.0% comments • Rust 包仓库 Objective-C 2.5K SLoC // 0.0% comments • Rust 包仓库 Shell 2.5K SLoC // 0.2% comments • Rust 包仓库 JavaScript 2.5K SLoC // 0.2% comments • Rust 包仓库 Swift 1K SLoC // 0.0% comments • Rust 包仓库 Kotlin 694 SLoC // 0.1% comments • Rust 包仓库 Gherkin (Cucumber) 524 SLoC // 0.1% comments • Rust 包仓库 Vim Script 135 SLoC // 0.1% comments • Rust 包仓库 RPM Specfile 109 SLoC // 0.2% comments • Rust 包仓库 Batch 78 SLoC // 0.2% comments • Rust 包仓库 Prolog 36 SLoC • Rust 包仓库 Rust 27 SLoC • Rust 包仓库 INI 7 SLoC • Rust 包仓库

包含 (JAR 文件,60KB) gradle-wrapper.jar

llama-cpp-low

使用 cargo 构建 llama.cpp 服务器二进制文件的脚本

等等,你清醒吗?

我只是想有一个守护进程,以最小的外部依赖运行 LLM...

无运行时依赖