lrlex

lrlex 是 lex / flex 的部分替代品。它接受一个输入字符串，并根据 .l 文件将其分割成 词素。不幸的是，许多现实世界的语言都有一些超出 lrlex 能力范围的边缘情况。然而，当它适用时，它是一种非常方便的表示词法分析的方法。

lrlex 还有一个简单的命令行界面，允许您检查您的词法规则是否按预期工作

$ cat C.java
class C {
    int x = 0;
}
$ cargo run --lrlex java.l /tmp/C.java
    Finished dev [unoptimized + debuginfo] target(s) in 0.18s
     Running `target/debug/lrlex ../grammars/java7/java.l /tmp/C.java`
CLASS class
IDENTIFIER C
LBRACE {
INT int
IDENTIFIER x
EQ =
INTEGER_LITERAL 0
SEMICOLON ;
RBRACE }

lib.rs:

lrlex 是 lex / flex 的部分替代品。它接受一个 .l 文件并将其静态编译成 Rust 代码。生成的 [LRNonStreamingLexerDef] 可以接受一个输入字符串，并从中实例化一个 [LRNonStreamingLexer]。这提供了一个迭代器，可以生成该输入的 lrpar::Lexeme 序列，以及回答有关 cfgrammar::Span 的基本查询（例如提取子字符串，计算行和列号）。