元数据抓取器

元数据抓取器是一个用于抓取网站元数据的实用程序；对于生成链接预览等任务很有用。它基于 ureq 构建。

行为

元数据抓取器首先查找网站的 Open Graph Protocol (OGP) 元数据，如果没有找到，则查找标准 HTML 元数据。如果没有找到元数据，则对于缺失的字段返回 None。此模块还尊重网站的 robots.txt 文件。

使用方法

use meta_fetcher::fetch_metadata;

// Grab the metadata for some URL
let meta = fetch_metadata("http://example.com").unwrap();

assert_eq!(meta.title, Some("Example Title".to_string()));
assert_eq!(meta.description, Some("Example Description".to_string()));
assert_eq!(meta.image, Some("Image URL".to_string()));

运行测试

Makefile 指定了两种测试类型。 make test-ci 与运行 cargo test --features 相同，将运行所有不需要网络活动的测试。 cargo test --features 与运行 cargo test --features 相同，将运行所有测试，包括需要网络连接的测试。

许可证

MIT