Lib.rs

› 关键词 #hugging-face #tensor #nlp #tokenizer #llm #cli #ai #pytorch

#huggingface

tokenizers

今天最常用的分词器，重点关注性能和通用性

v0.20.0 90K #nlp #tokenizer #huggingface #bpe #word-piece #unicode-normalization #tokenize
safetensors

用于读取和写入safetensors的函数，旨在比其PyTorch版本更安全。格式是8字节，是一个无大小int，是JSON头的大小，JSON…

v0.4.4 105K #tensor #tensorflow #pytorch #tensors #huggingface #filesize #file-read
hf-hub

crates旨在简化与huggingface的交互。它旨在与huggingface_hub python包兼容…

v0.3.2 53K #huggingface #machine-learning #hub #python-packages #hf
rustyface

使用Rust编写的Huggingface下载CLI工具

v0.1.1 220 #huggingface #downloader #command-line #hugging-face #command-line-tool #cli
gradio

Rust客户端

v0.2.3 280 #client #huggingface #file #api #file-upload #prediction #cli
llmvm-outsource

一个llmvm后端，它将文本和聊天生成请求发送到已知的托管语言模型提供商

v1.3.0 #openai #hugging-face #huggingface #language-model #text-generation #ai #llm
candle_embed

使用Candle进行文本嵌入。快速且可配置。使用来自Hugging Face的任何模型。CUDA或CPU驱动。

v0.1.4 220 #embedding #cuda #vector #hugging-face #huggingface #search #embeddings
coze

一个egui应用程序，用于与本地开源LLM交互

v0.1.7 #model #egui #local #llm #huggingface #offline #prompt
llmvm-outsource-lib

llmvm的后端服务

v1.3.0 #language-model #text-generation #openai #ai #huggingface #llm #back-end
aleph-alpha-tokenizer

基于词元分词的快速实现

v0.3.1 #tokenizer #nlp #huggingface #aleph #alpha #rustic

尝试使用DuckDuckGo进行搜索。