#regex #token-stream #str #proc-macro #tokenizer #syn

retoken

使用正则表达式构建 &str 令牌化器

6 个版本

0.1.5 2023 年 9 月 28 日
0.1.4 2023 年 9 月 23 日

#840Rust 模式

每月 40 次下载

MIT 许可证

9KB
211

Retoken

使用正则表达式和令牌流构建 &str 令牌化器,以在处理 &str 数据时获得类似 proc-macro2 / syn 的体验。

依赖项

~2.8–4.5MB
~79K SLoC