Logos

创建极其快速的词法分析器。

Logos 有两个目标

• 让创建词法分析器变得简单，这样你就可以专注于更复杂的问题。
• 让生成的词法分析器比你自己编写的任何东西都要快。

为了实现这些目标，Logos

• 将所有令牌定义合并为一个单一的 确定性有限状态机。
• 将分支优化为 查找表 或 跳转表。
• 防止在令牌定义内部发生 回溯。
• 展开循环，并批量读取以最小化边界检查。
• 在编译时完成所有这些繁重的工作。

示例

 use logos::Logos;

 #[derive(Logos, Debug, PartialEq)]
 #[logos(skip r"[ \t\n\f]+")] // Ignore this regex pattern between tokens
 enum Token {
     // Tokens can be literal strings, of any length.
     #[token("fast")]
     Fast,

     #[token(".")]
     Period,

     // Or regular expressions.
     #[regex("[a-zA-Z]+")]
     Text,
 }

 fn main() {
     let mut lex = Token::lexer("Create ridiculously fast Lexers.");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 0..6);
     assert_eq!(lex.slice(), "Create");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 7..19);
     assert_eq!(lex.slice(), "ridiculously");

     assert_eq!(lex.next(), Some(Ok(Token::Fast)));
     assert_eq!(lex.span(), 20..24);
     assert_eq!(lex.slice(), "fast");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.slice(), "Lexers");
     assert_eq!(lex.span(), 25..31);

     assert_eq!(lex.next(), Some(Ok(Token::Period)));
     assert_eq!(lex.span(), 31..32);
     assert_eq!(lex.slice(), ".");

     assert_eq!(lex.next(), None);
 }

有关更多示例和文档，请参阅 Logos 手册 或 crate 文档。

有多快？

极其快速！

test identifiers                       ... bench:         647 ns/iter (+/- 27) = 1204 MB/s
test keywords_operators_and_punctators ... bench:       2,054 ns/iter (+/- 78) = 1037 MB/s
test strings                           ... bench:         553 ns/iter (+/- 34) = 1575 MB/s

致谢

• Pedrors 提供的 Logos 徽标。

谢谢

Logos 是一个非常用心的项目。如果您觉得它有用，请考虑 为我买杯咖啡。☕

如果您想为 Logos 做贡献，请考虑阅读 贡献指南。

许可证

此代码根据 MIT 许可证和 Apache 许可证（版本 2.0）的条款分发，您可以选择适用于您的许可证。

有关详细信息，请参阅 LICENSE-APACHE 和 LICENSE-MIT。