Lib.rs

›
#tokenizer #castle #tokenize

castle_tokenizer

由 Albert Marashi 维护。

50 个版本 (16 个重大更新)

0.20.2 2022年12月30日
0.19.0 2022年9月28日
0.9.4 2022年7月5日

#2 在 #castle 中排名

每月下载量 34
在 5 个 crate (4 直接使用) 中使用

MIT 许可证

25KB
649 代码行

Castle Tokenizer: 分词器

依赖项

~3.5–5.5MB
~100K SLoC