robotparser-rs

用于 Rust 的 robots.txt 解析器。

安装

将其添加到您的 Cargo.toml

[dependencies]
robotparser = "0.11"

示例

use robotparser::http::RobotsTxtClient;
use robotparser::service::RobotsTxtService;
use reqwest::Client;
use url::Url;

fn main() {
    let client = Client::new();
    let robots_txt_url = Url::parse("https://pythonlang.cn/robots.txt").unwrap();
    let robots_txt = client.fetch_robots_txt(robots_txt_url.origin()).unwrap().get_result();
    let fetch_url = Url::parse("https://pythonlang.cn/robots.txt").unwrap();
    assert!(robots_txt.can_fetch("*", &fetch_url));
}

许可证

本作品采用 MIT 许可证发布。许可证副本可在 LICENSE 文件中找到。