candle

Rust 的极简主义 ML 框架

lib.rs:

Rust 的 ML 框架

use candle_core::{Tensor, DType, Device};

let a = Tensor::arange(0f32, 6f32, &Device::Cpu)?.reshape((2, 3))?;
let b = Tensor::arange(0f32, 12f32, &Device::Cpu)?.reshape((3, 4))?;

let c = a.matmul(&b)?;

功能

• 简单的语法（看起来和 PyTorch 一样）
• CPU 和 Cuda 后端（以及 M1 支持）
• 启用无服务器（CPU）小型快速部署
• 模型训练
• 分布式计算（NCCL）。
• 开箱即用的模型（Llama、Whisper、Falcon 等）

常见问题解答

• 为什么选择 Candle？

Candle 旨在减少二进制大小，以便通过使整个引擎小于 PyTorch 非常大的库体积来 启用无服务器。

并且简单地将 Python 从生产工作负载中移除。Python 真的会在更复杂的流程中增加开销，而 GIL 是一个臭名昭著的头痛来源。

Rust 很酷，HF 生态系统中的许多项目已经使用了 Rust 软件包 safetensors 和 tokenizers