TF deploy / Rust

一个小巧的仅用于TensorFlow推理的执行器。

为什么？

TensorFlow是一个庞大的系统。它被设计为在大平台上训练NN模型时尽可能高效，并尽可能支持定制硬件。

执行推理，也就是运行训练好的模型有时需要在小型设备上进行，比如手机或单板计算机。为这些平台交叉编译TensorFlow可能是一个艰巨的任务，并且会产生巨大的库。

TFDeploy是一个兼容TensorFlow的推理库。它从常规protobuf格式加载TensorFlow冻结模型，并通过它运行数据。

状态

尽管TFDeploy远未支持任何任意模型，但它可以运行Google Inception v3或Snips热词模型，并且添加缺失的运算符也很容易。

路线图

一个重要的跨关注点：这个库必须尽可能容易地交叉编译到小型设备（想想30美元的板子）。

• 集成其他TF模型作为示例、测试和基准
  • https://github.com/ARM-software/ML-KWS-for-MCU
  • https://github.com/mozilla/DeepSpeech
• 研究Conv2D和膨胀卷积的替代实现
• 考虑拥有一个不模仿TF的操作符集合
  • 优化某些运算符组合（乘法后跟加法 -> GEMM实例）
  • 支持kaldi
• RNN

许可证

注意：目录protos/tensorflow中的文件是从TensorFlow项目复制的，并且不受以下许可声明的约束。

Apache 2.0/MIT

所有原始作品均根据以下任一许可发布：

• Apache License，版本2.0（LICENSE-APACHE或http://www.apache.org/licenses/LICENSE-2.0）
• MIT许可证（LICENSE-MIT或http://opensource.org/licenses/MIT）任选其一。

贡献

除非你明确声明，否则根据Apache-2.0许可证定义，任何有意提交以包含在作品中的贡献，均应按上述方式双许可，而不附加任何额外的条款或条件。