Lib.rs

› 关键字 #parser #tokenize #utilities #token #nlp #lexer #machine-learning #data

##分词

classi-cine

一个基于文件名的交互式视频标签工具

v0.1.4 #classification #bayes #tokenization #vlc #inference #tokenize #file-path
tokenizer-lib

Rust 中构建解析器的分词工具

v1.6.0 210 #tokenization #parser #utilities #utils
sponge

一个强大的 Rust 模块，用于将 Rust 转换为汇编语言

v0.2.1 #assembly #tokens #convert #generation #low-level #tokenization #module
quote-data

Rust 的分词库

v1.0.0 110 #quote #tokenization #data
pikkr

Rust 中直接提取值而不执行分词的 JSON 解析器

v0.16.0 #json-parser #json #simd #tokenization #values #performing
derive-finite-automaton

生成有限自动机的过程宏

v0.2.0 150 #tokenization #parser #proc-macro #macro-derive #utils #generate
gtokenizers

侧重于区域集合数据的基因组数据分词

v0.0.18 #genomic #data #bioinformatics #region #machine-learning #tokenization #set
tuck5

一种实际的词法分析器/解析器生成器

v0.2.0 #lexer #parser-generator #parser #tokenization #parse #lex
rten-text

文本分词和其他机器学习预/后处理函数

v0.13.0 150 #tokenization #machine-learning #hugging-face #processing #tokenize #bert #input
divvunspell-bin

适用于 ZHFST/BHFST 拼写检查器的拼写检查器，支持大小写处理和分词支持

v1.0.0 #spell-checking #case #tokenization #zhfst-bhfst #box #spellers
wordpieces

将标记分割成词元

v0.6.1 #piece #word #tokenization #wordpiece #nlp #tokenize
blex

轻量级词法分析框架

v0.2.2 #token #tokenizer #tokenization #lexer #lex
divvunspell

为ZHFST/BHFST拼写器提供的拼写检查库，支持大小写处理和词法分析

v1.0.0-beta.3 #spell-checking #case #tokenization #zhfst-bhfst #spellers #hfst-ospell
vtext

使用Rust的NLP

v0.2.0 #nlp #tokenization #python-bindings #levenshtein #machine-learning #tf-idf #tokenize
sentence

对英语句子进行词法分析，用于TTS应用

v0.0.2 #english #tts #tokenization #language #tokens #numbers #lookup
babel

通用自然语言处理crate，用于修剪、词法分析和词形还原

v0.1.1 #nlp #processing #lemmatization #tokenization #natural #language #icons
libtqsm

支持约300种语言的句子分割器

v0.6.1 #ml #tokenization #nlp #text
iroha

Rust 的分词库

v0.1.7 #tokenization #quote #enums #derive #foo-bar #implemented #macro-derive
colorblast

支持多种编程语言、标记语言和其他格式的语法高亮库

v0.0.3 #syntax-highlighting #syntax-highlighter #syntax #highlighting #highlighter #tokenization #parser
strizer

用于文本词法分析的最小化、快速库

v0.1.0 #tokenization #text #stream-tokenizer #string-tokenizer #ci
text-scanner

一个基于UTF-8字符的、零拷贝的文本和代码扫描库

v0.0.3 #lexer #tokenization #token #streaming #streaming-parser #parser #format
any-lexer

各种编程语言和格式的词法分析器

v0.0.3 #lexer #tokenization #token #streaming #streaming-parser #parser #programming-language

使用DuckDuckGo进行搜索。搜索.