#机器学习 #AI #CPU-GPU

ort

ONNX Runtime 1.18 的安全 Rust 封装 - 优化和加速机器学习推理和训练

35 个版本 (23 个稳定版)

2.0.0-rc.5 2024 年 8 月 18 日
2.0.0-rc.42024 年 7 月 7 日
2.0.0-rc.22024 年 4 月 27 日
2.0.0-rc.12024 年 3 月 28 日
1.13.1 2022 年 11 月 27 日

#1 in 机器学习

Download history 7120/week @ 2024-05-03 8995/week @ 2024-05-10 12089/week @ 2024-05-17 11169/week @ 2024-05-24 11930/week @ 2024-05-31 11700/week @ 2024-06-07 15350/week @ 2024-06-14 15195/week @ 2024-06-21 12920/week @ 2024-06-28 14803/week @ 2024-07-05 14152/week @ 2024-07-12 17755/week @ 2024-07-19 17036/week @ 2024-07-26 16743/week @ 2024-08-02 18702/week @ 2024-08-09 19199/week @ 2024-08-16

每月 75,253 次下载
用于 53 个crate (32 个直接使用)

MIT/Apache

600KB
12K SLoC


Coverage Results Crates.io Open Collective backers and sponsors
Crates.io ONNX Runtime

ort 是基于已停用的 onnxruntime-rs 的一个 (非官方) ONNX Runtime 1.19 Rust 封装。ONNX Runtime 加速了 CPU 和 GPU 上的 ML 推理和训练。

📖 文档

🤔 支持

💖 使用 ort 的项目

打开 PR 添加您的项目 🌟

  • Twitter 使用 ort 为数亿用户提供主页推荐。
  • Bloop 使用 ort 为其语义代码搜索功能提供动力。
  • edge-transformers 使用 ort 在边缘进行加速的 transformer 模型推理。
  • Ortex 使用 ort 在 Elixir 中提供安全的 ONNX Runtime 绑定。
  • Supabase 使用 ort 去除边缘函数的冷启动。
  • Lantern 使用 ort 在 Postgres 中提供嵌入模型推理。
  • Magika 使用 ort 进行内容类型检测。

🌠 赞助 ort


依赖关系

~2–12MB
~143K SLoC