网站地图网页抓取器

网站地图网页抓取器（sws）是一个简单、灵活且性能良好的网页抓取工具。

它由一个用 Rust 编写的 CLI 组成，用于爬取网页并执行 Lua JIT 脚本来抓取它们，然后将结果输出到 CSV 文件。

sws crawl --script examples/fandom_mmh7.lua -o result.csv

有关更多详细信息，请查看 文档。

lib.rs:

一个利用 sws_crawler::Scrapable 实现的库，它使用 sws_scraper CSS 选择器并在 Lua 中可脚本化。