TensorRT-RS

⚠️ 此软件包目前仅支持 Linux ⚠️

Rust 库，用于创建和执行 TensorRT 引擎。

此库依赖于 tensorrt-sys，为 Rust 提供对底层 C++ TensorRT 库的绑定。有关先决依赖项的信息，请参阅 tensorrt-sys 的 README 文件。

状态

此软件包目前还处于早期开发阶段。对 TensorRT 功能的支持仅包括读取 .uff 格式模型文件、将该文件解析为 TensorRT 引擎并执行该引擎，以及将引擎的二进制版本序列化到磁盘所需的基本功能。目前不支持 TensorRT 插件，因此在尝试使用需要插件支持的模型时可能会出现问题。

项目即将推出的改进

• TensorRT 库版本选择的功能配置
• 支持 CUDA 流以进行异步执行
• 支持 TensorRT Onnx 解析器
• 支持 TensorRT C++ 库中的所有功能
  • 完全支持已绑定的类
  • 添加对加载自定义插件的支持
  • 添加对自定义层实现的支持

即将推出的功能不仅限于上述内容。任何功能请求都受到欢迎和赞赏！

示例

请参阅示例目录，了解如何加载 UFF 模型、创建引擎以及使用该引擎在图像上进行推理的基本示例。该示例使用在 Linux 上安装 TensorRT 时提供的 UFF MNIST 模型。

欢迎贡献！如有任何问题或改进，请随时联系，我将尽快回复您！