1 个不稳定版本
0.1.0 | 2023年8月15日 |
---|
#12 在 #crawl
13KB
223 行
httpdir
此库提供了一种迭代器,可以爬取通过HTTP URL索引可用的文件列表。
lib.rs
:
此库提供了一种迭代器,可以爬取通过HTTP URL索引可用的文件列表。
以下是一个使用示例
use url::Url;
let url = Url::parse("http://127.0.0.1/logs/").unwrap();
let files: Vec<Url> = httpdir::list(url)?;
或者使用迭代器
for file in httpdir::Crawler::new().walk(url) {
let file: Url = file?;
}
依赖项
~5–21MB
~269K SLoC