Lib.rs

› 关键字 #web-scraping #website #html #search #data #api-key #content #text-format

#scrape

  1. prometheus-parse

    Prometheus文本格式的解析器

    v0.2.5 167K #prometheus #parser #text-format #scrape

  2. visdom

    一个HTML文档语法和操作库，使用类似jQuery的API，易于进行网页抓取和解析HTML

    v1.0.1 150 #html #web-scraping #html-parser #selector #scrape #query #jquery

  3. article_scraper

    从网页抓取文章内容。由fivefilters全文订阅配置和mozilla可读性提供支持。

    v2.1.0 120 #web-scraping #full-text #readability #article #scrape

  4. flipkart_scraper

    抓取Flipkart产品详情

    v0.2.9 290 #product #flipkart #details #scrape #price #rating #information

  5. firecrawl_rs

    Firecrawl API的Rust SDK

    v0.1.1 #crawl #api #data #api-key #firecrawl #sdk #scrape

  6. readability

    将arc90的可读性项目移植到Rust

    v0.3.0 2.0K #port #content #arc90 #webpage #primary #readable #scrape

  7. firecrawl

    Firecrawl API的Rust SDK

    v0.1.0 #crawl #sdk #api #data #api-key #scrape #website

  8. soda_clix

    v0.1.4 #scrape #识别和刮削媒体资源文件

  9. only_scraper

    仅抓取网页

    v0.1.2 #web-scraping #web-page #external #minimalist #direct #approach #scrape

  10. serpapi

    将搜索数据集成到您的Ruby应用程序中。此库是SerpApi的官方包装器。SerpApi支持Google、Google Maps、Google Shopping、Baidu、Yandex、Yahoo、eBay、应用商店等。

    v1.0.0 #search-engine #google-search #search #google #scrape #google-maps #api-bindings

  11. waper

    用于抓取HTML网站的命令行工具

    v0.1.4 #html #website #sqlite #scrape #allowlist #save #cli-tool

  12. serpapi-search-rust

    通过 SerpApi.com 获取 Google、Bing、Baidu、Ebay、Yahoo、Yandex、家得宝、Naver、Apple、youtube 搜索结果

    v0.1.1 46K #search-engine #google-search #search #scrape #google #serp #api-bindings

  13. web-scraper

    用于从网站获取 HTML 并抓取其中内容的工具

    v0.1.0 #web-scraping #html #content #website #tags #scrape #div

  14. ytmdl

    从 YouTube 下载专辑，并自动使用 Discogs 的元数据填充

    v0.3.4 #download #youtube #automatic #album #metadata #scrape #discogs

  15. iocutil

    针对恶意软件研究人员的 IoC 工具

    v0.1.3 #malware #hash #io-c #utilities #researchers #url #scrape

  16. quick_crawler

    QuickCrawler 是一个 Rust 库，提供完全异步、声明式的网络爬虫，内置了域特定请求速率限制

    v0.1.2 #web-crawler #request #rate-limiting #declarative #async #completely

  17. #scrape

    rust-recipe

    v0.2.0 #recipe #website #scrape #blocking #scraping #async

  18. scraper-main

    核心框架 xpath 解析

    v0.3.1 #xpath #web-scraping #data #website #parser #document #scrape

  19. nitter-scraper

    抓取 Nitter 网站的工具

    v0.2.3 #nitter #website #scrape

  20. webscrapingapi

    通过使用旋转代理防止封禁，允许从网站抓取的 API。此 SDK 为 Rust 使 API 在任何项目中实施变得更加容易。

    v0.1.0 #web-scraping #scraping #proxy #scrapingapi #api-key

    21. 尝试使用 DuckDuckGo 进行搜索。搜索.

  21. image_scrapper

    从网站抓取图像，同时跳过重复的图像

    v0.3.2 #image #website #duplicate #scrape #skip #ones

  22. htable2csv

    将 HTML 表格转换为 .csv 文件

    v0.1.2 #table #html #csv #scrape #html-parser #cli #page

  23. fs_scraper

    用于 FjalorShqip 的抓取工具

    v0.1.1 #web-scraping #json #query #fjalorshqip #fjalor-shqip #search #scrape

  24. trillium-prometheus

    用于Prometheus度量抓取的Trillium处理器

    v0.1.0 1.1K #prometheus-metrics #trillium #handler #scrape #text-format #requests #responds

  25. readability-fork

    'readability' crate的临时分支，依赖项已更新

    v0.2.2 #readability #port #content #extractor #fork #scrape #product

  26. prom_text_format_parser

    解析并打印Prometheus曝光文本格式

    v0.1.0 #text-format #prometheus #exposition #metrics #print #label #scrape

  27. links_js

    从javascript中抓取链接 🧬

    v0.1.0 #javascript #links #html #find #🧬 #scrape

  28. links_html

    从html中抓取链接 🧬

    v0.1.0 #html #links #javascript #scrape #find #🧬

  29. blog-replay

    将博客存档重新播放到Atom订阅源

    v0.1.5 #atom-feed #blog #archive #replay #scrape

  30. canadian_news_scraper

    提供API抓取3个加拿大新闻网站并返回数据

    v0.1.6 #news #scrape #sites #scraper #cbc #canadian #ca

  31. wadachi

    抓取GitHub活动

    v0.1.0-beta.0 #github #activities #scrape

  32. urls2disk

    将url下载到磁盘的http客户端，可选地转换为PDF

    v0.1.1 #pdf #http #http-client #scrape #scraping

  33. scwape

    通过CSS选择器抓取网络

    v0.1.5 #scrape #cli #search

  34. sv_menu_scraper

    允许您抓取如"https://bkw-bern.sv-restaurant.ch/de/menuplan/"这样的sv_restaurant菜单网站

    v0.2.1 #menu #website #scrape #sv-restaurant #bkw-bern #ch-de-menuplan

  35. stock-scrape

    股票抓取器

    v0.1.0 #stock #scraper #scrape #finance #yahoo #download #add

  36. scraper-macros

    #[derive(Scraper)]的宏实现

    v0.2.0 #xpath #scraper #macro-derive #scrape #website #url #struct

  37. googlescrape

    抓取谷歌结果

    v0.3.1 #google #google-search #search #scrape #results

  38. rightscrape

    从stdin读取rightmove搜索URL，输出rightmove结果URL

    v0.2.0 #url #rightmove #read #emit #stdin #scrape #searh

  39. stork_http

    基于HTML的网页爬取的第一方stork实现

    v0.0.3 #stork #http #web-scraping #filter #links #scrape #html-based

  40. mangadex-scraper

    从mangadex.org抓取漫画

    v0.5.2 #manga #off #org #manga-dex #scrape #download #chapter