Lib.rs

› 科学 › 机器学习
#tokenizer #tokenize #text-tokenizer

text-tokenizer

自定义文本分词器

作者：merl-twin

5个版本

0.5.3 2024年8月7日
0.5.2 2024年8月5日
0.5.1 2024年7月30日
0.5.0 2024年7月26日
0.4.1 2023年12月20日

#184 在 机器学习

Download history 188/week @ 2024-07-24 153/week @ 2024-07-31 149/week @ 2024-08-07

每月490 次下载

MIT 许可协议

400KB
5K SLoC

自定义文本分词器

依赖项

~1MB
~19K SLoC