malk-lexer

一个用于编写解析器的首次扫描时的Unicode词法分析器。

此库导出的主要功能是 lex，它接受一个 &str 和一个有效符号表，并将它们转换为令牌树。

词法分析器识别的令牌类型有

• 标识符：以 XID_Start 字符开始，后跟一系列 XID_Continue 字符的字符串。
• 空白：任何空白字符序列。
• 括号：任何括号字符，以及相应的闭合括号和作为子树的中间令牌。
• 符号：出现在 lex 提供的符号表中的任何字符串
• 字符串：用 " 或 ' 括起来的字符串，可能包含转义字符。

欢迎提交补丁！