power-tokenizer

这是一个既是命令行工具又是库。

对字符序列进行标记。基于ECMAScript。

安装

假设您已安装cargo/rustup。

cargo install power-tokenizer

运行

power-tokenizer "const one_plus_one = 1 + 1"

预期输出

Const
Identifier(
    [
        'o',
        'n',
        'e',
        '_',
        'p',
        'l',
        'u',
        's',
        '_',
        'o',
        'n',
        'e',
    ],
)
Assign
Identifier(
    [
        '1',
    ],
)
Plus
Identifier(
    [
        '1',
    ],
)
EndOfFile