1个不稳定版本
0.1.1 | 2023年7月25日 |
---|---|
0.1.0 |
|
#673 在 机器学习 中
20KB
415 行
用Rust实现的llama2!
这个版本是从https://github.com/karpathy/llama2.c派生出来的,用于多线程推理。
使用这个Rust移植版本进行推理比原始的llama2.c快3倍以上。
依赖项
~5MB
~100K SLoC
0.1.1 | 2023年7月25日 |
---|---|
0.1.0 |
|
#673 在 机器学习 中
20KB
415 行
这个版本是从https://github.com/karpathy/llama2.c派生出来的,用于多线程推理。
使用这个Rust移植版本进行推理比原始的llama2.c快3倍以上。
~5MB
~100K SLoC