Lib.rs

› 关键词 #onnx #神经网络 #机器学习 #tensorflow #模型

推理

  1. aws-sdk-bedrockruntime

    AWS SDK for Amazon Bedrock Runtime

    v1.45.0 14K #aws-sdk #bedrock #model #amazon #inference #aws #run-time

  2. tract-nnef

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 21K #neural-network #tensorflow #inference #nnef #onnx #artificial-intelligence #self-contained

  3. aws-sdk-elasticinference

    AWS SDK for Amazon Elastic Inference

    v1.39.0 420 #aws-sdk #inference #elastic #amazon #accelerator #customer #client

  4. wonnx

    基于 wgpu 的 ONNX 运行时，旨在成为通用的 GPU 运行时，使用 Rust 编写

    v0.5.1 #inference #onnx #shape #run-time #web-gpu #wgpu #gpu-accelerated

  5. tract-hir

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 20K #neural-network #tensorflow #inference #onnx #artificial-intelligence #self-contained #tiny

  6. classi-cine

    基于文件名的交互式视频标签工具

    v0.1.4 #classification #bayes #tokenization #vlc #inference #tokenize #file-path

  7. nail

    对齐推理工具

    v0.2.0 #sequence-alignment #protein #biological #inference #m-mseqs2 #tool #find

  8. tract-pulse-opl

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 23K #neural-network #tensorflow #onnx #inference #artificial-intelligence #self-contained #tiny

  9. entab

    记录格式文件读取器

    v0.3.3 #parser #record-format #fasta #file-reader #tsv #inference #different

  10. kn-cuda-eval

    神经网络图的 CUDA 执行器

    v0.7.3 #cuda #neural-network #machine-learning #onnx #gpu #inference #graph

  11. tflite

    TensorFlow Lite 的 Rust 绑定

    v0.9.8 #tensorflow #bindings #lite #inference #flat-buffers #model #interpreter

  12. programinduction

    程序诱导和学习表示

    v0.9.0 #learning #context-free-grammar #genetic #bayesian #inference #language

  13. polytype

    一种Hindley-Milner多态类型系统

    v7.0.1 #type #language #unification #inference #typing

  14. tract-data

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 21K #neural-network #tensorflow #onnx #artificial-intelligence #inference #self-contained #tiny

  15. schlandals

    基于投影加权模型计数的概率推理

    v0.1.3 130 #probabilistic #model #weighted #counting #inference #projected #probability

  16. kn-graph

    一种神经网络推理图中间表示，附带相关工具

    v0.7.3 320 #graph #neural-network #onnx #cpu-gpu #machine-learning #cuda #inference

  17. llm

    受 llama.cpp 启发的大语言模型推理库生态系统

    v0.1.1 260 #language-model #llama #ggml #inference #ai #running #ecosystem

  18. kn-cuda-sys

    CUDA API 的封装器

    v0.7.3 130 #cuda #neural-network #onnx #inference #gpu #graph #machine-learning

  19. kn-runtime

    动态封装 CPU 和 GPU 推理

    v0.7.3 #cpu-gpu #neural-network #onnx #inference #cuda #run-time #graph

  20. genson-rs

    用 Rust 编写的极快 JSON Schema 推理引擎

    v0.2.0 #json-schema #json #schema #json-object #inference #generate-json #genson

  21. microflow

    一个强大且高效的 TinyML 推理引擎

    v0.1.3 #machine-learning #tinyml #inference #engine #model #robust #weight

  22. unionfind

    为构建类型推理引擎而设计的并查集库。可作为通用数据结构使用。

    v0.2.1 #find #union #data-structures #engine #building #general #inference

  23. pllm

    可移植的LLM

    v0.4.1 500 #llm #inference #portable #learning #llama2 #transformer #file

  24. wonnx-cli

    WONNX的CLI。WONNX是一个基于wgpu的ONNX运行时，旨在成为通用的GPU运行时，用Rust编写。

    v0.5.1 #machine-learning #inference #onnx #gpu #model #run-time #shape

  25. eggmine

    基于考生答案和成绩的学术多选题解决方案推理

    v3.4.1 100 #solution #inference #choice #multiple #candidate #testing #answers

  26. llm-neox

    为llm生态系统提供的GPT-NeoX

    v0.1.1 210 #language-model #llm #ecosystem #inference #ggml #artificial-intelligence #gpt-neo-x

  27. cervo

    游戏中的强化学习高级API

    v0.6.0 #reinforcement-learning #machine-learning #inference #game #rl

  28. tract-tflite

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 180 #tensorflow #inference #model #onnx #self-contained #flat-buffers #tensor

  29. orkhon

    机器学习推理框架和服务器运行时

    v0.2.3 #machine-learning #framework #inference #prediction #server-framework #async-api #ml-model

  30. asdi

    简化的Datalog实现（Rust语言）

    v0.2.5 #logic-programming #datalog #inference #simplistic #parser #model #variables

  31. wonnx-preprocessing

    WONNX的预处理工具包。WONNX是一个基于wgpu的ONNX运行时，旨在成为通用的GPU运行时，用Rust编写。

    v0.5.1 #preprocessor #onnx #inference #gpu-accelerated #run-time #wonnx #shape

  32. mlua-tract

    tract的Lua绑定，tract是一个小型、简洁、自包含的基于Rust的Tensorflow和ONNX推理运行时

    v0.1.2 #lua-bindings #lua #tensorflow #onnx #inference #api-bindings

  33. tree-sitter-inference

    tree-sitter的推理语法

    v0.0.21 400 #tree-sitter #inference #parser #incremental #parsing

  34. stonnx

    在ONNX模型上运行推理

    v0.1.3 #onnx #model #inference #di

  35. llm-base

    llm的基础；为模型实现提供通用结构。不推荐最终用户使用。

    v0.1.1 270 #model #llm #ggml #language-model #ml-model #inference #llama

  36. modus_ponens

    开发前向链推理引擎

    v0.11.5 #rules #peg #engine #json #grammar #query-language #inference

  37. tract-nnef-resources

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 120 #neural-network #tensorflow #onnx #nnef #inference #self-contained #artificial-intelligence

  38. mangle-analysis

    Mangle，一种逻辑编程语言

    v0.1.1 150 #logic-programming #programming-language #inference #mangle #analysis #name #resolution

  39. fashion-clip-rs

    支持多语言嵌入的完整（gRPC服务和库）Rust推理。这个版本利用Rust的力量同时为GRPC服务和独立库提供……

    v0.1.5 #embedding #text-image #onnx #fashion #inference #grpc-api #clip-multilingual

  40. cervo-cli

    游戏中的强化学习高级API

    v0.6.0 #machine-learning #inference #machinelearning

  41. cervo-runtime

    用于游戏的多种模型多智能体RL运行时

    v0.6.0 #machine-learning #inference #game

  42. tract-api

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 160 #tensorflow #neural-network #onnx #inference #api #tiny #tract

  43. tract-rs

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 140 #neural-network #tensorflow #inference #onnx #tiny #self-contained #artificial-intelligence

  44. llm-bloom

    BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）为llm生态系统提供

    v0.1.1 250 #language-model #multilingual #llm #llama #inference #ecosystem #bloom

  45. llm-gpt2

    GPT-2为llm生态系统提供

    v0.1.1 210 #language-model #llm #gpt-2 #inference #llama #ecosystem #running

  46. llm-gptj

    GPT-J for the llm ecosystem

    v0.1.1 190 #language-model #llm #ecosystem #inference #gpt-j #ggml #running

  47. llm-llama

    LLaMA (Large Language Model Meta AI) for the llm ecosystem

    v0.1.1 220 #language-model #llama #llm #ggml #artificial-intelligence #inference #ecosystem

  48. non0

    支持类型推断和一等const支持的编译时检查非零整数

    v0.1.0 #non-zero #const #inference #compile-time #checked #integer #first-class

  49. cervo-asset

    使用ONNX或NNEF模型为Cervo提供统一的资产类型

    v0.6.0 #machine-learning #inference #ml-model #machinelearning

  50. tfdeploy

    小巧、简洁、自包含的TensorFlow推理

    v0.0.10 #tensorflow #neural-network #inference #tiny #self-contained #model #no-nonsense

  51. triton-rs

    Rust绑定到Triton推理服务器

    v0.2.0 #triton #inference #bindings #server

  52. cervo-onnx

    扩展cervo以支持tract-onnx的ONNX

    v0.6.0 #onnx #machine-learning #inference

  53. cervo-nnef

    扩展cervo以支持tract-nnef的nnef

    v0.6.0 #machine-learning #nnef #inference #agent #game

  54. dahl-salso

    SALSO算法是一种基于分区损失函数获取聚类估计的有效贪婪搜索过程。该算法针对许多损失函数进行了实现，包括……

    v0.6.6 #loss #clustering #monte-carlo #algorithm #weight #inference #bayesian

  55. tract-proxy-sys

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 130 #neural-network #tensorflow #onnx #artificial-intelligence #inference #self-contained #tiny

  56. tin

    静态结构化类型可嵌入编程语言

    v0.3.0 #编程语言 #静态类型 #即时编译 #推理 #可嵌入 #即时编译器

  57. llm-cli

    用于在支持的的大型语言模型上运行推理的命令行界面。由 llm 库提供支持。

    v0.1.1 170 #语言模型 #llm #llama #推理 #ggml #运行 #人工智能

  58. 剧透

    CTranslate2 的高级 Rust 绑定

    v0.1.1 #文本翻译 #绑定 #c-translate2 #高级 #模型 #推理 #引擎

  59. llama_cpp_rs

    LLAMA.CPP 推理的 Rust 绑定

    v0.3.0 #机器学习 #C++ 绑定 #llama #推理 #llama-cpp #API 绑定

  60. tract-core

    小型、简洁、自包含的 TensorFlow 和 ONNX 推理

    v0.21.6 21K #tensorflow #神经网络 #onnx #模型 #推理 #自包含 #人工智能

  61. wysk

    一种静态类型函数式语言，具有类型推理、临时多态和可扩展的运算符语法。受 Rust、ML 和 Haskell 影响。

    v0.1.0 #静态类型 #haskell #函数式 #ml #可扩展 #推理 #多态

  62. strict_result

    添加了一个 Result::strict()? 函数，以帮助进行类型推理

    v1.2.0 #严格 #推理 #帮助 #运算符

  63. ai_kit

    经典 AI 算法的集合，具有方便的接口

    v0.1.0 #ai #推理 #规划 #约束 #回溯 #约束

  64. 推理

    管理机器学习推理过程

    v0.3.0 #triton #机器学习 #ml #grpc-server #api-bindings

  65. ask-bayes

    贝叶斯推理的 CLI 工具

    v0.2.1 #推理 #贝叶斯 #贝叶斯定理 #理性 #命令行工具 #cli

  66. llama2_rs

    llama2.c 的移植

    v0.1.1 #推理 #移植 #llama2 #多线程 #更快 #llama

  67. cervo-core

    游戏中的强化学习高级API

    v0.6.0 #机器学习 #推理 #资源 #游戏

  68. compiled-nn

    神经网络推理的即时编译器

    v0.12.0 180 #推理 #神经网络 #jit #编译器 #神经网络

  69. huggingface_inference_rs

    此包是hugging face推理API的一个小型包装器。

    v0.5.0 #hugging-face #inference #api #wrapper #questions #emotions #classification

  70. rust-flatten-json

    一个用于扁平化JSON和进行JSON类型推断的轻量级Rust库。

    v0.2.0 #json #inference #flat #nested #tiny #flattening #type

    71. 尝试使用DuckDuckGo进行搜索。

  71. hlist

    具有类型引导搜索的异构列表。

    v0.1.2 #list #heterogeneous #search #inference #find #indexing #type

  72. triton-sys

    到Triton推理服务器的内部Rust绑定。查看triton-rs以获取高级API。

    v0.2.0 #triton #inference #bindings #server #high #level #triton-rs

  73. gpt-model

    用于GPT-2大型语言模型的纯Rust推理包装器。

    v0.1.0 #model #inference #gpt-2 #wrapper #encoder #vocabulary #openai

  74. epilog

    一组用于推理逻辑的Prolog类似工具。

    v0.1.0 #logic #inference #collection #prolog-like

  75. infers-jsonschema

    从输入数据推断JSON Schema。

    v0.1.0 #json-schema #inference #input #data #infer #detect #array

  76. triton-client

    一个用于与NVIDIA Triton推理服务器交互的客户端。

    v0.2.0 #triton #nvidia #inference #deep-learning #grpc-client

  77. inference_graph

    通过使每个节点仅引用其自身的输入来构建异步任务图。

    v0.1.0 #graph #graph-node #inference #dag #async-task

  78. compiled-nn-bindings

    神经网络推理的即时编译器

    v0.12.0 100 #neural-network #jit-compiler #inference #networking

  79. type_eq

    用于类型约束和推断的轻量级工具。

    v0.1.2 #inference #equality #type

  80. specs-visitor

    访问使用specs库的ECS中的实体。

    v0.3.0 #specs #ecs #entities #jit #language #jit-compiler #inference

  81. ors

    onnxruntime的Rust绑定。

    v0.0.12 110 #机器学习 #ONNX运行时 #推理 #绑定 #会话 #不创建

  82. 推理核心

    Feakin是一个架构设计和视觉协作工具。这是Feakin的解析器。

    v0.1.0 #ONNX #模型 #推理 #边缘

  83. moz_genai

    推理工具包

    v0.2.0 #推理 #总结 #构建 #文本 #工具包 #执行 #candle

  84. holmes

    推理系统

    v0.1.0 #系统 #推理 #多逻辑 #集成 #分析 #引擎

  85. microflow-macros

    MicroFlow推理引擎的宏crate，即MicroFlow编译器

    v0.1.1 #tinyml #模型 #操作符 #编译器 #推理 #微流 #引擎

  86. enfer_core

    Feakin是一个架构设计和视觉协作工具。这是Feakin的解析器。

    v0.1.2 #模型 #边缘 #ONNX #推理

  87. talos

    用于统计建模和贝叶斯推理的实验性crate

    v0.1.0 #统计 #实验 #建模 #贝叶斯 #推理

  88. modus_ponens_derive

    开发前向链推理引擎

    v0.1.3 #链式 #推理 #前向 #modus-ponens #引擎 #开发 #文档

  89. hindley-milner

    Rust中的类型系统

    v0.1.0 #系统 #推理 #实现

  90. onnx-shape-inference

    ONNX形状推理绑定

    v1.1.0 #onnx #shape #inference #绑定

  91. chronologer

    LLM训练、调整和推理过程的指标时间记录器

    v0.0.1 #指标 #推理 #调整 #训练 #过程 #llm