简单 Llama

Simple Llama 项目是一个库，它封装了基于 llama-cpp-2 框架的常用大模型提示。它的目标是通过提供一个简化的接口来管理和使用模型提示，从而简化与大模型的交互。这个库旨在提高开发者在使用各种应用程序中的大模型时的效率和易用性。

克隆仓库

git clone https://github.com/L-jasmine/simple_llama

下载 Llama 模型。

wget https://huggingface.co/second-state/Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q5_K_M.gguf

配置环境变量

本项目使用动态链接与 llama.cpp 连接，因此需要提前下载或编译 llama.cpp 动态链接库。

在运行项目之前，您需要配置环境变量以指定 Llama 库的位置和动态链接库的搜索路径。请按照以下步骤操作

export LLAMA_LIB={LLama_Dynamic_Library_Dir}
# export LD_LIBRARY_PATH={LLama_Dynamic_Library_Dir}

运行示例

使用以下命令运行示例程序

cargo run --example simple -- --model-path Meta-Llama-3-8B-Instruct-Q5_K_M.gguf --model-type llama3 --prompt-path static/prompt.example.toml

贡献

我们欢迎任何形式的贡献，包括错误报告、新功能建议和代码提交。

许可证

本项目采用 MIT 许可证。