网站地图网页抓取器

网站地图网页抓取器 (sws) 是一个简单、灵活且高效的网页抓取工具。

它由一个用 Rust 编写的 CLI 组成，用于爬取网页并执行 Lua JIT 脚本以抓取它们，然后将结果输出到 CSV 文件。

sws crawl --script examples/fandom_mmh7.lua -o result.csv

有关更多详细信息，请参阅 文档。

lib.rs:

SlotMap支持的 ID-tree。

ego-tree 的移植版本，但使用 Rc 而不是带生命周期的引用，且不使用 unsafe。