警告：从v0.14版本开始，Logos在logos2下发布，请参阅#365。然而，库的名称仍然是logos，因此您只需在Cargo.toml中更改依赖项以使用最新版本。

Logos

创建极其快速的词法分析器。

Logos有两个目标

• 使创建词法分析器变得容易，这样您就可以专注于更复杂的问题。
• 使生成的词法分析器比您手动编写的任何东西都要快。

为了实现这些目标，Logos

• 将所有标记定义组合成一个单一的确定性状态机。
• 将分支优化成查找表或跳转表。
• 防止在标记定义中发生回溯。
• 展开循环，并批量读取以最小化边界检查。
• 在编译时完成所有这些繁重的工作。

示例

 use logos::Logos;

 #[derive(Logos, Debug, PartialEq)]
 #[logos(skip r"[ \t\n\f]+")] // Ignore this regex pattern between tokens
 enum Token {
     // Tokens can be literal strings, of any length.
     #[token("fast")]
     Fast,

     #[token(".")]
     Period,

     // Or regular expressions.
     #[regex("[a-zA-Z]+")]
     Text,
 }

 fn main() {
     let mut lex = Token::lexer("Create ridiculously fast Lexers.");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 0..6);
     assert_eq!(lex.slice(), "Create");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 7..19);
     assert_eq!(lex.slice(), "ridiculously");

     assert_eq!(lex.next(), Some(Ok(Token::Fast)));
     assert_eq!(lex.span(), 20..24);
     assert_eq!(lex.slice(), "fast");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.slice(), "Lexers");
     assert_eq!(lex.span(), 25..31);

     assert_eq!(lex.next(), Some(Ok(Token::Period)));
     assert_eq!(lex.span(), 31..32);
     assert_eq!(lex.slice(), ".");

     assert_eq!(lex.next(), None);
 }

有关更多示例和文档，请参阅Logos 手册或crate 文档。

有多快？

极其快速！

test identifiers                       ... bench:         647 ns/iter (+/- 27) = 1204 MB/s
test keywords_operators_and_punctators ... bench:       2,054 ns/iter (+/- 78) = 1037 MB/s
test strings                           ... bench:         553 ns/iter (+/- 34) = 1575 MB/s

致谢

• Pedrors 为 Logos 标志。

谢谢

Logos 非常是爱的工作。如果您觉得它有用，请考虑给我一些咖啡。☕

如果您想为Logos做出贡献，请考虑阅读贡献指南。

许可协议

本代码同时遵循MIT许可证和Apache许可证（版本2.0）的条款，请选择适合您的方式。

详情请参阅LICENSE-APACHE和LICENSE-MIT。