Logos

创建极其快速的词法分析器。

Logos有两个目标

• 使创建词法分析器变得简单，这样您可以专注于更复杂的问题。
• 使生成的词法分析器比您手动编写的任何东西都要快。

为了实现这些目标，Logos

• 将所有标记定义合并为一个单个的确定性有限自动机。
• 将分支优化为查找表或跳转表。
• 防止在标记定义内部回溯。
• 展开循环，并将读取批量处理以最小化边界检查。
• 在编译时完成所有这些繁重的工作。

示例

 use logos::Logos;

 #[derive(Logos, Debug, PartialEq)]
 #[logos(skip r"[ \t\n\f]+")] // Ignore this regex pattern between tokens
 enum Token {
     // Tokens can be literal strings, of any length.
     #[token("fast")]
     Fast,

     #[token(".")]
     Period,

     // Or regular expressions.
     #[regex("[a-zA-Z]+")]
     Text,
 }

 fn main() {
     let mut lex = Token::lexer("Create ridiculously fast Lexers.");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 0..6);
     assert_eq!(lex.slice(), "Create");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 7..19);
     assert_eq!(lex.slice(), "ridiculously");

     assert_eq!(lex.next(), Some(Ok(Token::Fast)));
     assert_eq!(lex.span(), 20..24);
     assert_eq!(lex.slice(), "fast");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.slice(), "Lexers");
     assert_eq!(lex.span(), 25..31);

     assert_eq!(lex.next(), Some(Ok(Token::Period)));
     assert_eq!(lex.span(), 31..32);
     assert_eq!(lex.slice(), ".");

     assert_eq!(lex.next(), None);
 }

有关更多示例和文档，请参阅Logos手册或crate文档。

有多快？

极其快速！

test identifiers                       ... bench:         647 ns/iter (+/- 27) = 1204 MB/s
test keywords_operators_and_punctators ... bench:       2,054 ns/iter (+/- 78) = 1037 MB/s
test strings                           ... bench:         553 ns/iter (+/- 34) = 1575 MB/s

致谢

• Pedrors为Logos标志。

谢谢

Logos完全是一项劳动成果。如果您觉得它有用，请考虑给我一些咖啡。 ☕

如果您想为Logos做出贡献，请考虑阅读贡献指南。

许可

此代码根据MIT许可和Apache许可（版本2.0）的条款分发，选择对您适用的。

有关详细信息，请参阅LICENSE-APACHE和LICENSE-MIT。