为 Rust 提供的 robots.txt 解析器和适用性检查器

使用方法

将其添加到您的 Cargo.toml

[dependencies]
robots-parser = "0.10"

示例

从 URL 解析和检查

use robots::RobotsParser;
use url::Url;

fn main() {
    let parsed = RobotsParser::parse_url(Url::new("https://www.google.com/robots.txt"))?;
    assert!(parsed.can_fetch("*", "https://www.google.com/search/about"));
}

从文件解析和检查

use robots::RobotsParser;

fn main() {
    let parsed = RobotsParser::parse_path("~/test-robots.txt"))?;
    assert!(parsed.can_fetch("*", "http://test.com/can_fetch"));
}

从 &str 解析和检查

use robots::RobotsParser;

fn main() {
    let parsed = RobotsParser::parse_path("Disallow: /test"))?;
    assert!(!parsed.can_fetch("*", "http://test.com/test"));
}

许可证

此作品根据 Apache 和 MIT 许可证发布。许可证的副本包含在 LICENSE-APACHE 和 LICENSE-MIT 文件中。