#网络爬虫 #网络

app wrake

从给定的 URL 收集链接

4 个版本 (2 个破坏性更新)

0.3.0 2021年11月27日
0.2.0 2021年11月25日
0.1.1 2021年11月24日
0.1.0 2021年11月23日

#网络爬虫 中排名第 37

MIT/Apache

13KB
214

wrake 0.3.0

Collect links from the given URL

USAGE:
    wrake [OPTIONS] --url <string>

OPTIONS:
    -a, --user-agent <string>    User agent header [default: wrake]
    -d, --depth <integer>        Recursion depth [default: 2]
    -h, --help                   Print help information
    -i, --insecure-proxy         Accept invalid certificates for proxy
    -n, --no-domain-filter       Do not restrict recursion to original domain
    -p, --proxy <string>         Proxy through which to send requests
    -u, --url <string>           Target URL
    -V, --version                Print version information

依赖项

~10–24MB
~380K SLoC