警告：从v0.14版本开始，Logos以logos2的形式发布，见#365。然而，库的名称仍然是logos，因此您只需在Cargo.toml中更改依赖项以使用最新版本。

Logos

创建超快的词法分析器。

Logos有两个目标

• 使创建词法分析器变得简单，以便您可以专注于更复杂的问题。
• 使生成的词法分析器比您手动编写的任何东西都快。

为了实现这些目标，Logos

• 将所有令牌定义合并为单个确定性有限自动机。
• 将分支优化为查找表或跳转表。
• 防止在令牌定义内部进行回溯。
• 展开循环，并批量读取以最小化边界检查。
• 在编译时完成所有这些繁重的工作。

示例

 use logos::Logos;

 #[derive(Logos, Debug, PartialEq)]
 #[logos(skip r"[ \t\n\f]+")] // Ignore this regex pattern between tokens
 enum Token {
     // Tokens can be literal strings, of any length.
     #[token("fast")]
     Fast,

     #[token(".")]
     Period,

     // Or regular expressions.
     #[regex("[a-zA-Z]+")]
     Text,
 }

 fn main() {
     let mut lex = Token::lexer("Create ridiculously fast Lexers.");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 0..6);
     assert_eq!(lex.slice(), "Create");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 7..19);
     assert_eq!(lex.slice(), "ridiculously");

     assert_eq!(lex.next(), Some(Ok(Token::Fast)));
     assert_eq!(lex.span(), 20..24);
     assert_eq!(lex.slice(), "fast");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.slice(), "Lexers");
     assert_eq!(lex.span(), 25..31);

     assert_eq!(lex.next(), Some(Ok(Token::Period)));
     assert_eq!(lex.span(), 31..32);
     assert_eq!(lex.slice(), ".");

     assert_eq!(lex.next(), None);
 }

有关更多示例和文档，请参阅Logos 手册或crate 文档。

有多快？

超快！

test identifiers                       ... bench:         647 ns/iter (+/- 27) = 1204 MB/s
test keywords_operators_and_punctators ... bench:       2,054 ns/iter (+/- 78) = 1037 MB/s
test strings                           ... bench:         553 ns/iter (+/- 34) = 1575 MB/s

致谢

• Pedrors 为 Logos 标志。

谢谢

Logos 是一个非常用心的项目。如果您觉得它有用，请考虑给我一些咖啡。 ☕

如果您想为 Logos 做贡献，请考虑阅读贡献指南。

许可证

此代码根据 MIT 许可证和 Apache 许可证（版本 2.0）的条款进行分发，选择对您适用。

有关详细信息，请参阅LICENSE-APACHE和LICENSE-MIT。