Lib.rs

› 科学 › 机器学习
#tokenizer #version #python

bytepiece

Rust版本的bytepiece分词器

由 SunDoge 编写

2个不稳定版本

0.2.0 2023年9月26日
0.1.0 2023年9月21日

#625 in 机器学习

Apache-2.0

12KB
230 代码行

bytepiece

依赖项

~4.5–6.5MB
~120K SLoC