Spider Worker

用于去中心化爬虫提升的工作者。

依赖

此项目依赖于spider crate.

使用

工作者默认在端口3030上启动，html收集的刮削器在端口3031上。

SPIDER_WORKER_PORT=3030 SPIDER_WORKER_SCRAPER_PORT=3031cargo run

特性标志

1. scrape - 当需要html时，使用标志运行实例。需要客户端上的spider特性标志匹配才能启动。这也将实例启动在端口3031上。
2. full_resources - 启动基本工作者以收集链接和刮削器。
3. tls - 启用tls支持，使用环境变量SPIDER_WORKER_CERT_PATH用于.pem文件和SPIDER_WORKER_KEY_PATH用于您的.rsa文件。默认为/cert.pem和/key.rsa。

端口

默认情况下，实例在端口3030上运行，使用SPIDER_WORKER_PORT调整端口。当启用时，刮削器在端口3031上运行，使用SPIDER_WORKER_SCRAPER_PORT调整端口。