Lib.rs

›
#tokenize #specification

tokenize

Rust 中 Tokenize 规范的实现

作者 sanana

3 个版本 (有破坏性更新)

0.3.0 2022年1月16日
0.2.0 2022年1月14日
0.1.0 2022年1月8日

#36 in #tokenize

Download history · Rust 包仓库 22/week @ 2024-04-12 · Rust 包仓库 28/week @ 2024-04-19 · Rust 包仓库 48/week @ 2024-04-26 · Rust 包仓库 14/week @ 2024-05-03 · Rust 包仓库 4/week @ 2024-05-10 · Rust 包仓库 4/week @ 2024-05-24 · Rust 包仓库 16/week @ 2024-05-31 · Rust 包仓库 5/week @ 2024-06-07 · Rust 包仓库 17/week @ 2024-06-14 · Rust 包仓库 11/week @ 2024-06-21 · Rust 包仓库 10/week @ 2024-06-28 · Rust 包仓库 45/week @ 2024-07-05 · Rust 包仓库 13/week @ 2024-07-12 · Rust 包仓库 63/week @ 2024-07-19 · Rust 包仓库 82/week @ 2024-07-26 · Rust 包仓库

每月下载量203次

BSD-3-Clause

10KB
132 代码行

Rust 分词库

License

许可证

本实现采用 BSD-3-Clause 许可证。

lib.rs:

Rust 分词库

在 rust 中实现 Tokenize 规范

依赖

~5.5MB
~76K SLoC