Lib.rs

›
#tokenize #specification

tokenize

Rust 中 Tokenize 规范的实现

作者 sanana

3 个版本 (有破坏性更新)

0.3.0 2022年1月16日
0.2.0 2022年1月14日
0.1.0 2022年1月8日

#36 in #tokenize

Download history 22/week @ 2024-04-12 28/week @ 2024-04-19 48/week @ 2024-04-26 14/week @ 2024-05-03 4/week @ 2024-05-10 4/week @ 2024-05-24 16/week @ 2024-05-31 5/week @ 2024-06-07 17/week @ 2024-06-14 11/week @ 2024-06-21 10/week @ 2024-06-28 45/week @ 2024-07-05 13/week @ 2024-07-12 63/week @ 2024-07-19 82/week @ 2024-07-26

每月下载量203次

BSD-3-Clause

10KB
132 代码行

Rust 分词库

License

许可证

本实现采用 BSD-3-Clause 许可证。

lib.rs:

Rust 分词库

在 rust 中实现 Tokenize 规范

依赖

~5.5MB
~76K SLoC