Lib.rs

› 算法 | 编码
#tokenizer #nlp #bpe

tokeneer

另一个分词库

由 杨德瑞 编写

1 个不稳定版本

0.0.1 2024年8月11日
0.0.0 2024年8月7日

#9 in #bpe

Download history 123/week @ 2024-08-04 141/week @ 2024-08-11

264 每月下载量

MIT 许可证

34KB
857 代码行

Tokeneer

CI Latest version Documentation license GitHub repo size GitHub code size in bytes

GitHub Issues GitHub Pull Requests GitHub contributors GitHub commit activity

另一个分词库。

依赖项

~2.4–3.5MB
~61K SLoC