#regex #tokenizers #token #retoken

retoken-macros

使用正则表达式构建 &str 分词器

3个版本

0.1.2 2023年9月28日
0.1.1 2023年9月23日
0.1.0 2023年9月20日

#7 in #分词器

每月25次下载
用于 retoken

MIT 许可证

20KB
520

Retoken

使用正则表达式和标记流构建 &str 分词器,以便在处理 &str 数据时获得类似 proc-macro2 / syn 的体验。

依赖项

~0.6–1.1MB
~25K SLoC