Lib.rs

› 文本处理 › Ellie-Engine
#ellie #language #tokenizer #position #file #items #list

无std ellie_tokenizer

Ellie语言标记器

由 Ahmetcan Aksu，Behemehal 编写

6个版本

0.7.3 2024年7月3日
0.6.2 2023年11月8日
0.6.0 2023年9月23日
0.5.1 2023年7月31日

第1346个 文本处理

Download history • Rust 包仓库 18/week @ 2024-04-14 • Rust 包仓库 13/week @ 2024-04-21 • Rust 包仓库 3/week @ 2024-04-28 • Rust 包仓库 6/week @ 2024-05-05 • Rust 包仓库 4/week @ 2024-05-12 • Rust 包仓库 12/week @ 2024-05-19 • Rust 包仓库 5/week @ 2024-05-26 • Rust 包仓库 10/week @ 2024-06-02 • Rust 包仓库 7/week @ 2024-06-09 • Rust 包仓库 3/week @ 2024-06-16 • Rust 包仓库 8/week @ 2024-06-23 • Rust 包仓库 139/week @ 2024-06-30 • Rust 包仓库 13/week @ 2024-07-07 • Rust 包仓库 10/week @ 2024-07-14 • Rust 包仓库 51/week @ 2024-07-28 • Rust 包仓库

每月下载量91次
用于 4 个仓库（直接使用3个）

GPL-2.0 许可证

460KB
11K SLoC

Ellie-Tokenizer

标记器是管道的第一阶段。它接收文本并返回一个项目和它们位置的列表。

lib.rs:

Ellie Tokenizer 这是Ellie语言的代码标记器。

版权（c）2020 Behemehal。有关详细信息，请参阅许可证文件

依赖项

~3–5MB
~94K SLoC