Lib.rs

› 科学 › 机器学习
#multi-threaded #llm #pair #byte #tokenization #bpe #encoding

quicktok

所有者： krzysztofwos.

1 个不稳定版本

0.1.1 2024年2月26日

#519 在 机器学习

MIT 许可证

17KB
365 代码行

LLM 标记化 Byte Pair Encoding (BPE) 的最小、快速、多线程实现

依赖项

~9–19MB
~268K SLoC