xla-rs

使用 Rust 的 xla 编译器进行实验

可以从 elixir-nx/xla 仓库 下载 xla 库的预编译二进制文件。这些文件应提取到本仓库的根目录下，创建一个名为 xla_extension 的子目录，当前支持的版本是 0.5.1。

对于 Linux 平台，可以通过以下方式完成：

wget https://github.com/elixir-nx/xla/releases/download/v0.5.1/xla_extension-x86_64-linux-gnu-cpu.tar.gz
tar -xzvf xla_extension-x86_64-linux-gnu-cpu.tar.gz

如果 xla_extension 目录不在主项目目录中，可以通过 XLA_EXTENSION_DIR 环境变量指定路径。

使用 LLaMA 生成一些文本样本

可以使用 LLaMA 大型语言模型 来生成文本。在完成 此表单 并下载后，可以将模型权重转换为此软件包可以使用的格式。这需要一个具有 16GB 内存或当在 cpu 上运行时具有 32GB 内存（使用 -cpu 标志）的 GPU。

# Download the tokenizer config.
wget https://hugging-face.cn/hf-internal-testing/llama-tokenizer/raw/main/tokenizer.json -O llama-tokenizer.json

# Extract the pre-trained weights, this requires the transformers python library to be installed.
# This creates a npz file storing all the weights.
python examples/llama/convert_checkpoint.py ..../LLaMA/7B/consolidated.00.pth

# Run the example.
cargo run --example llama --release

使用 GPT2 生成一些文本样本

其中一个特色示例是 GPT2。为了运行它，应在运行示例之前先下载标记化配置文件以及权重。为此，请运行以下命令

# Download the vocab file.
wget https://openaipublic.blob.core.windows.net/gpt-2/encodings/main/vocab.bpe

# Extract the pre-trained weights, this requires the transformers python library to be installed.
# This creates a npz file storing all the weights.
python examples/nanogpt/get_weights.py

# Run the example.
cargo run --example nanogpt --release