#inference #port #llama2 #multi-threading #faster #llama

app llama2_rs

llama2.c的Rust移植版本

1个不稳定版本

0.1.1 2023年7月25日
0.1.0 2023年7月25日

#673机器学习

MIT 许可证

20KB
415

用Rust实现的llama2!

这个版本是从https://github.com/karpathy/llama2.c派生出来的,用于多线程推理。

使用这个Rust移植版本进行推理比原始的llama2.c快3倍以上。

依赖项

~5MB
~100K SLoC