#search #details #information #product #scraper #extracting #individual

bin+lib olx

一个用于从OLX(www.olx.bg)提取产品信息的Rust库。

3个版本

0.1.2 2023年11月25日
0.1.1 2023年11月24日
0.1.0 2023年11月24日

#1455 in Web编程

GPL-3.0许可协议

16KB
223 代码行

OLX爬虫

概述

OLX爬虫是一个用于从OLX(www.olx.bg)提取产品信息的Rust库。它提供在指定价格范围内搜索产品和通过URL获取单个物品详细信息的功能。此外,还包括一个可选的命令行工具,以便方便使用。

功能

  • 搜索功能:根据查询和可选的价格范围在OLX上搜索产品。
  • 物品详情:使用OLX URL检索物品的详细信息。
  • 分页支持:搜索功能支持分页,允许用户检索多页的结果。
  • 错误处理:库在搜索和物品检索过程中优雅地处理错误。

安装

将以下内容添加到您的Cargo.toml文件中

[dependencies]
olx-scraper = "0.1"

用法

use olx_scraper::search;

search::new("laptop", Some("elektronika/kompyutri/laptopi"), Some("500".to_string()), Some("1000".to_string()), Some("5"));
// Process the 'items' vector as needed

命令行工具

olx-scraper search -q <query> [-m <min_price>] [-x <max_price>] [-p <end_page>] [ -c <category>]
  • : 搜索查询。
  • <min_price> (可选):最低价格过滤器。
  • <max_price> (可选):最高价格过滤器。
  • <end_page> (可选):搜索结束的页面。
  • (可选):您要搜索的物品类别
olx-scraper get --url <item_url>
  • <item_url>: OLX上物品的URL。

示例

在类别笔记本电脑中搜索价格在$500到$1000之间的笔记本电脑

olx-scraper search -q laptop -m 500 -x 1000 -c elektronika/kompyutri/laptopi

获取特定物品的详细信息

olx-scraper get --url https://www.olx.bg/item/example-item

依赖项

~7–22MB
~315K SLoC