pest. 精美的解析器

pest是一个用Rust编写的通用解析器，重点在于可访问性、正确性和性能。它使用解析表达式文法（或PEG）作为输入，这些文法在精神上类似于正则表达式，但提供了解析复杂语言所需的高级表达能力。

入门

开始使用pest进行解析的推荐方法是阅读官方的手册。

其他有用资源

• 在docs.rs上的API参考
• 在我们的fiddle上玩语法并与他人分享
• 在GitHub Discussions上找到之前常见问题的答案或提问
• 在Gitter或Discord上留下反馈、提问或打招呼

示例

以下是一个用于表示所有标识符都不以数字开头的字母数字标识符列表的语法示例

alpha = { 'a'..'z' | 'A'..'Z' }
digit = { '0'..'9' }

ident = { !digit ~ (alpha | digit)+ }

ident_list = _{ ident ~ (" " ~ ident)* }
          // ^
          // ident_list rule is silent which means it produces no tokens

语法保存在单独的.pest文件中，这些文件永远不会与过程代码混合。这导致了一种始终是最新的语言形式化，易于阅读和维护。

有意义的错误报告

根据语法定义，解析器还包括自动错误报告。对于上面的示例，输入"123"将导致

thread 'main' panicked at ' --> 1:1
  |
1 | 123
  | ^---
  |
  = unexpected digit', src/main.rs:12

而"ab *"将导致

thread 'main' panicked at ' --> 1:1
  |
1 | ab *
  |    ^---
  |
  = expected ident', src/main.rs:12

这些错误消息可以从它们的默认 Display 实现中获取，例如 panic!("{}", parser_result.unwrap_err()) 或 println!("{}", e)。

对偶 API

语法可以用来自动推导一个 Parser 实现。解析返回一个嵌套标记对迭代器

use pest_derive::Parser;
use pest::Parser;

#[derive(Parser)]
#[grammar = "ident.pest"]
struct IdentParser;

fn main() {
    let pairs = IdentParser::parse(Rule::ident_list, "a1 b2").unwrap_or_else(|e| panic!("{}", e));

    // Because ident_list is silent, the iterator will contain idents
    for pair in pairs {
        // A pair is a combination of the rule which matched and a span of input
        println!("Rule:    {:?}", pair.as_rule());
        println!("Span:    {:?}", pair.as_span());
        println!("Text:    {}", pair.as_str());

        // A pair can be converted to an iterator of the tokens which make it up:
        for inner_pair in pair.into_inner() {
            match inner_pair.as_rule() {
                Rule::alpha => println!("Letter:  {}", inner_pair.as_str()),
                Rule::digit => println!("Digit:   {}", inner_pair.as_str()),
                _ => unreachable!()
            };
        }
    }
}

这会产生以下输出

Rule:    ident
Span:    Span { start: 0, end: 2 }
Text:    a1
Letter:  a
Digit:   1
Rule:    ident
Span:    Span { start: 3, end: 5 }
Text:    b2
Letter:  b
Digit:   2

在单个文件中定义多个解析器

当前的自动 Parser 推导将产生一个 Rule 枚举，如果在单个文件中定义多个此类结构体，将会有命名冲突。解决这个问题的可能方法是将每个解析器结构体放入单独的命名空间

mod a {
    #[derive(Parser)]
    #[grammar = "a.pest"]
    pub struct ParserA;
}
mod b {
    #[derive(Parser)]
    #[grammar = "b.pest"]
    pub struct ParserB;
}

其他功能

• 优先级提升
• 输入处理
• 自定义错误
• 在稳定 Rust 上运行

使用 pest 的项目

你可以在 awesome-pest 存储库中找到更多项目和生态系统工具。

• pest_meta (自举)
• AshPaper
• 大脑
• 蝉
• comrak
• elastic-rs
• graphql-parser
• handlebars-rust
• hexdino
• Huia
• insta
• jql
• json5-rs
• mt940
• Myoxine
• py_literal
• rouler
• RuSh
• rs_pbrt
• stache
• tera
• ui_gen
• ukhasnet-parser
• ZoKrates
• 向量
• 自动纠正
• yaml-peg
• 量子比特
• caith (一个骰子投掷存储库)
• 旋律
• json5-nodes
• prisma

最低支持的 Rust 版本 (MSRV)

此库应始终与默认功能在 Rust 1.61.0 上编译。

no_std 支持

pest 和 pest_derive 存储库可以在没有 Rust 标准库的情况下构建，并针对嵌入式环境。要这样做，您需要禁用它们的默认功能。在您的 Cargo.toml 中，您可以如下指定

[dependencies]
# ...
pest = { version = "2", default-features = false }
pest_derive = { version = "2", default-features = false }

如果您想在 pest 存储库的工作区中构建这些存储库，您可以将 --no-default-features 标志传递给 cargo 并使用 --package (-p) 标志指定这些存储库。例如

$ cargo build --target thumbv7em-none-eabihf --no-default-features -p pest
$ cargo bootstrap
$ cargo build --target thumbv7em-none-eabihf --no-default-features -p pest_derive

特别感谢

向 Marius Minea 教授表示特别的敬意，他的指导和 pest 的所有贡献者，其中一些是我的朋友。