警告：从 v0.14 版本开始，Logos 在 logos2 下发布，见 #365。但是库的名称仍然是 logos，所以您只需更改 Cargo.toml 中的依赖项即可使用最新版本。

Logos

创建极其快速的词法分析器。

Logos 有两个目标

• 使其易于创建词法分析器，以便您可以专注于更复杂的问题。
• 使生成的词法分析器比您手动编写的任何东西都要快。

为了实现这些目标，Logos

• 将所有令牌定义合并为单个 确定有限状态机。
• 将分支优化为 查找表 或 跳转表。
• 防止在令牌定义中发生 回溯。
• 展开循环，并批量读取以最小化边界检查。
• 在编译时完成所有这些繁重的工作。

示例

 use logos::Logos;

 #[derive(Logos, Debug, PartialEq)]
 #[logos(skip r"[ \t\n\f]+")] // Ignore this regex pattern between tokens
 enum Token {
     // Tokens can be literal strings, of any length.
     #[token("fast")]
     Fast,

     #[token(".")]
     Period,

     // Or regular expressions.
     #[regex("[a-zA-Z]+")]
     Text,
 }

 fn main() {
     let mut lex = Token::lexer("Create ridiculously fast Lexers.");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 0..6);
     assert_eq!(lex.slice(), "Create");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.span(), 7..19);
     assert_eq!(lex.slice(), "ridiculously");

     assert_eq!(lex.next(), Some(Ok(Token::Fast)));
     assert_eq!(lex.span(), 20..24);
     assert_eq!(lex.slice(), "fast");

     assert_eq!(lex.next(), Some(Ok(Token::Text)));
     assert_eq!(lex.slice(), "Lexers");
     assert_eq!(lex.span(), 25..31);

     assert_eq!(lex.next(), Some(Ok(Token::Period)));
     assert_eq!(lex.span(), 31..32);
     assert_eq!(lex.slice(), ".");

     assert_eq!(lex.next(), None);
 }

有关更多示例和文档，请参阅 Logos 手册 或 crate 文档。

有多快？

极其快速！

test identifiers                       ... bench:         647 ns/iter (+/- 27) = 1204 MB/s
test keywords_operators_and_punctators ... bench:       2,054 ns/iter (+/- 78) = 1037 MB/s
test strings                           ... bench:         553 ns/iter (+/- 34) = 1575 MB/s

致谢

• Pedrors 为 Logos 标志。

谢谢

Logos 是一项充满爱的劳动成果。如果您觉得它很有用，请考虑 为我点一杯咖啡。 ☕

如果您想为 Logos 贡献，请考虑阅读 贡献指南。

许可证

此代码根据 MIT 许可证和 Apache 许可证（版本 2.0）的条款分发，您可以选择适合您的任何一种。

请参阅LICENSE-APACHE和LICENSE-MIT获取详细信息。