边缘推理核心

EdgeInfer 通过在资源受限的设备（如Android、iOS或MCU）上运行小型AI模型（包括嵌入和OnnxModels），实现边缘智能，以支持实时决策。

使用方法

添加到你的 Cargo.toml

[dependencies]
edgeinfer = "0.1.1"

在你的 main.rs

let model = std::fs::read("model/model.onnx").unwrap();
let tokenizer_data = std::fs::read("model/tokenizer.json").unwrap();

let semantic = init_semantic(model, tokenizer_data).unwrap();
let embedding = semantic.embed("hello world").unwrap();
assert_eq!(embedding.len(), 128);