3个版本
0.1.2 | 2023年11月25日 |
---|---|
0.1.1 | 2023年11月24日 |
0.1.0 | 2023年11月24日 |
#1455 in Web编程
16KB
223 代码行
OLX爬虫
概述
OLX爬虫是一个用于从OLX(www.olx.bg)提取产品信息的Rust库。它提供在指定价格范围内搜索产品和通过URL获取单个物品详细信息的功能。此外,还包括一个可选的命令行工具,以便方便使用。
功能
- 搜索功能:根据查询和可选的价格范围在OLX上搜索产品。
- 物品详情:使用OLX URL检索物品的详细信息。
- 分页支持:搜索功能支持分页,允许用户检索多页的结果。
- 错误处理:库在搜索和物品检索过程中优雅地处理错误。
安装
将以下内容添加到您的Cargo.toml
文件中
[dependencies]
olx-scraper = "0.1"
用法
库
use olx_scraper::search;
search::new("laptop", Some("elektronika/kompyutri/laptopi"), Some("500".to_string()), Some("1000".to_string()), Some("5"));
// Process the 'items' vector as needed
命令行工具
olx-scraper search -q <query> [-m <min_price>] [-x <max_price>] [-p <end_page>] [ -c <category>]
- : 搜索查询。
- <min_price> (可选):最低价格过滤器。
- <max_price> (可选):最高价格过滤器。
- <end_page> (可选):搜索结束的页面。
- (可选):您要搜索的物品类别
olx-scraper get --url <item_url>
- <item_url>: OLX上物品的URL。
示例
在类别笔记本电脑中搜索价格在$500到$1000之间的笔记本电脑
olx-scraper search -q laptop -m 500 -x 1000 -c elektronika/kompyutri/laptopi
获取特定物品的详细信息
olx-scraper get --url https://www.olx.bg/item/example-item
依赖项
~7–22MB
~315K SLoC