边缘推理

EdgeInfer 通过在资源受限的设备（如Android、iOS或MCU）上运行小型AI模型（包括嵌入和OnnxModels），实现了边缘智能，用于实时决策。

架构

平台支持（按设计）

• Android，iOS
• Linux，Windows，Mac
• 树莓派，MCU

待办事项

• 推理包装器
  • Onnx Runtime
  • 分词器
• UniFFI，是一个用于在 Rust 中构建跨平台软件组件的工具包。
• 使用 tonic 的 GRPC 服务器
• 多操作系统支持
  • 桌面：Windows，Mac，Linux（x86，x64）
  • 移动：Android，iOS，Linux（ARM）
  • 嵌入式 Linux（ARM）。
• 灵活配置：通过命令行参数轻松配置，包括监听端口、批量大小、线程数等。

用例

• 搜索一切：随时随地搜索任何内容。
  • 模型：嵌入，如 Sentence-Transformers MiniLM
  • 额外：本地索引
• 可视化
  • 模型： Ultralytics YOLOv9
• 自动完成
  • 模型：嵌入与 ??
• 摘要

资源

示例

• 现代跨平台遥测： Glean

微控制器

ToSpike

• ESP32： esp-rs
• 经典树莓派
  • built-onnxruntime-for-raspberrypi-linux
  • 树莓派上的 ONNX Runtime 物联网部署

无法工作

• Arduino M0 Pro，闪存：256 KB，SRAM：32Kb
  • 官方： Arduino M0 Pro
  • Rust 的 cortex-m-quickstart
• 树莓派 Zero W，闪存：512 MB，SRAM：512 MB
  • 官方： 树莓派 Zero W
  • 使用 Rust 控制树莓派 Zero W 驱动器
  • 无法工作原因：见 inference_rpi

许可证

本项目采用 MIT 许可证，有关完整许可证文本，请参阅 LICENSE