16 个版本 (破坏性)
使用旧的 Rust 2015
| 0.13.1 | 2018年12月1日 |
|---|---|
| 0.13.0 | 2018年10月15日 |
| 0.12.1 | 2017年6月18日 |
| 0.11.0 | 2017年3月12日 |
| 0.4.0 | 2016年6月7日 |
#1485 在 数据库接口
每月下载量 46
18KB
424 行
Maman
Maman 是一个 Rust 网络爬虫，将页面保存到 Redis。
页面通过使用 Sidekiq 作业格式 发送到列表 <MAMAN_ENV>:queue:maman
{
"class": "Maman",
"jid": "b4a577edbccf1d805744efa9",
"retry": true,
"created_at": 1461789979, "enqueued_at": 1461789979,
"args": {
"document":"<html><body><a href='#' /><a href='/new' /></html>",
"urls": ["https://example.net/new"],
"headers": {"content-type": "text/html"},
"url": "https://example.net/"
}
}
依赖项
安装
使用 cargo
cargo install maman
使用 make
PREFIX=~/.local make install
用法
maman URL [LIMIT] [MIME_TYPES]
LIMIT 必须是整数或 0 是默认值，表示无限制。
环境变量
默认值
- MAMAN_ENV=development
- REDIS_URL="redis://127.0.0.1/"
其他
- RUST_LOG=maman=info
许可证
MIT 许可证
版权 (c) 2016-2018 Laurent Arnoud [email protected]
依赖项
~22–32MB
~579K SLoC