JavaScript 词法分析器

JavaScript 词法分析器实现了按照 ECMAScript 9 定义的 JavaScript 的高性能词法分析器。

词法分析器的输出及其描述可以在 文档 中找到

安装

添加到 cargo.toml

[dependencies]
javascript_lexer = "0.1"

示例

通过运行

extern crate javascript_lexer;

use javascript_lexer::Lexer;

fn main() {
    Lexer::parse_tokens("javascript");
}

lib.rs:

词法分析器模块消耗文本输入并生成线性流 tokens。

tokens 定义在 token