#index #http #crawl #url #list #page

httpdir

爬取页面HTTP索引

1 个不稳定版本

0.1.0 2023年8月15日

#12#crawl

Apache-2.0

13KB
223

httpdir

此库提供了一种迭代器,可以爬取通过HTTP URL索引可用的文件列表。


lib.rs:

此库提供了一种迭代器,可以爬取通过HTTP URL索引可用的文件列表。

以下是一个使用示例

use url::Url;
let url = Url::parse("http://127.0.0.1/logs/").unwrap();
let files: Vec<Url> = httpdir::list(url)?;

或者使用迭代器

for file in httpdir::Crawler::new().walk(url) {
   let file: Url = file?;
}

依赖项

~5–21MB
~269K SLoC