crab

crab 是用 Rust 编写的命令行网络爬虫工具

功能

• 支持 CSS 选择器
• 显示标签或属性值的内容
• 以树形结构显示 DOM 结构
• 支持 HTTP/POST

计划中的功能

• 支持 JSON

如何安装 crab

• 使用 crates.io

cargo install crab

• 从源码

cargo install --path /path/to/crab/repo/

• 或从发布部分下载 zip 或 tar.gz

如何使用

• 打印 DOM 的树

$ crab <url>

• 打印特定标签的 DOM 的树

$ crab <url> get <css-selector>

• 额外选项

-n, --no-colors                show DOM without colors
-r, --row                      print row content of tag
-a, --attribute <ATTRIBUTE>    which html attribute.
-l, --limit <LIMIT>            how meny result.