#web-scraping

  1. scraper

    使用CSS选择器进行HTML解析和查询

    v0.20.0 266K #html-parser #css-selectors #html-css #web-scraping #html #css #selector
  2. pandoras_pot

    蜜罐设计,旨在向粗鲁的网络爬虫发送大量数据

    v0.6.3 500 #web-scraping #http #web #robots-txt #honeypot #markov-chain #crawler
  3. visdom

    一个HTML文档语法和操作库,使用类似jQuery的API,易于进行网络爬虫和解析HTML

    v1.0.1 150 #html #web-scraping #html-parser #selector #scrape #query #jquery
  4. skyscraper

    HTML网络爬虫的XPath

    v0.7.0-beta.2 #xpath #html-parser #web-scraping #html-text #expression #text-document
  5. spider-cloud-cli

    用于网络爬虫和爬取的Spider Cloud CLI

    v0.1.2 370 #web-crawler #spider #web-scraping #crawler #web-indexer
  6. article_scraper

    从网络上抓取文章内容。由fivefilters全文订阅配置和mozilla可读性提供支持。

    v2.1.0 120 #web-scraping #full-text #readability #article #scrape
  7. html_parser

    通用HTML/XHTML解析器

    v0.7.0 17K #html #parser #dom #pest #json #html-xml #web-scraping
  8. select

    从HTML文档中提取有用数据,适合网络爬虫

    v0.6.0 19K #web-scraping #html #extract #data #document #suitable #node
  9. spider_worker

    最快的网络爬虫作为工作进程或代理

    v2.0.9 4.2K #web-crawler #web-scraping #spider #crawler #spider-cli
  10. scout-worker

    ScoutLang的工作框架

    v0.7.2 230 #web-scraping #web-crawling #scraping #crawling #programming-language
  11. spider-client

    Spider Cloud客户端

    v0.1.17 750 #web-crawler #spider #web-scraping #crawler #web-indexer #language-model #api-key
  12. robotxt

    支持 crawl-delay、sitemap 和通用匹配扩展的 Robots.txt(或URL排除)协议

    v0.6.1 390 #web-crawler #web-scraping #crawler #web #web-framework #scraper #framework
  13. coma

    专为爬取网站设计的轻量级命令行工具

    v0.2.2 390 #web-scraping #scraping #crawler #command-line-tool #web-discovery #networking
  14. spider_cli

    用Rust编写的最快的Web爬虫CLI

    v2.0.9 4.3K #web-crawler #crawler #spider #web-scraping #command-line #web-page
  15. titans

    闪电般的快速爬取器

    v0.4.3 #web-scraping #youtube #scraper #youtube-downloader #cli #web-scraper
  16. scoutlang

    一种网络爬虫编程语言

    v0.7.7 #web-scraping #web-crawling #programming-language #web-crawler #scraping
  17. wdict

    通过爬取网页或爬取本地文件创建字典

    v0.1.16 #web-scraping #dictionary #word-list #web-crawler #webpage #local #reconnaissance
  18. accessibility-scraper

    使用CSS绑定样式到元素的HTML解析和查询的轻量级命令行工具

    v0.0.14 170 #css-selectors #html-parser #html-css #web-scraping #html #css #selector
  19. crawly

    Rust编写的轻量级异步网络爬虫,优化了并发爬取同时尊重 robots.txt 规则

    v0.1.9 500 #robots-txt #web-crawler #web-scraping #concurrency #optimized #rules #respecting
  20. scrapelect

    scrapelect解释器,一种CSS风格的网络爬取域语言

    v0.3.2 480 #web-scraping #web-page #css #css-selectors #extract #data #structured
  21. sitescraper

    用Rust爬取网站!

    v0.2.1 #web-scraping #html-parser #parser #scraping-tool #webscrape
  22. reqwest-scraper

    与 reqwest 集成的网页抓取

    v0.3.2 140 #web-scraping #json-response #reqwest #css-selectors #html #integration #extract
  23. scout-parser

    一种网络爬虫编程语言

    v0.7.2 390 #web-scraping #web-crawling #scraping #crawling #programming-language
  24. seaward

    在网站上搜索链接或指定单词的爬虫

    v1.0.3 #web-crawler #web-scraping #web-page #rustcrawler #cli
  25. scout-json

    ScoutLang AST 的 JSON 表示

    v0.7.2 350 #web-scraping #programming-language #web-crawling #scraping #crawling
  26. bvdl

    从 Bazaarvoice 抓取产品信息

    v0.1.0 #json #bazaarvoice #web-scraping #product #scraper #information #deployment
  27. scout-lexer

    一种网络爬虫编程语言

    v0.7.2 390 #web-scraping #web-crawling #web-crawler #programming-language #scraping
  28. scout-interpreter

    一种网络爬虫编程语言

    v0.7.2 360 #web-scraping #web-crawling #web-crawler #programming-language #scraping
  29. suckit

    吸取互联网

    v0.2.0 #recursion #web-scraping #website #multi-threading #download #ip #disk
  30. ugc-scraper

    ugcleague.com 的抓取器

    v0.4.1 420 #web-scraping #com #ugcleague #home #steam-id #ugc #api
  31. scrapyard

    自动网页抓取器和 RSS 生成器库

    v0.3.1 #web-scraping #rss #feed #automatic #scraper #web
  32. only_scraper

    仅抓取网页

    v0.1.2 #web-scraping #web-page #external #minimalist #direct #approach #scrape
  33. rusaint

    SSU u-saint 客户端

    v0.6.1 170 #u-saint #scraping #parser #web-scraping #ssu
  34. mlscraper-rust

    自动从 HTML 文档中抓取结构化数据

    v0.1.2 #html-css #css-selectors #web-scraping #html #css #scraping #selector
  35. simplygo

    Rust 的 SDK

    v0.2.0 220 #web-scraping #html #site #data #sdk #parser #login
  36. dlsite

    客户端

    v0.1.8 160 #product #web-scraping #information #circle #client #html #review
  37. htmler

    使用CSS选择器进行HTML解析和查询

    v0.1.1 #html-css #html-parser #css-selectors #html #css #selector #web-scraping
  38. rustysozluk

    Eksi Sozluk API 包装器

    v0.2.0 #entries #csv #web-scraping #fetch #user #sozluk #eksi
  39. recursive_scraper

    常频递归 CLI 网页爬虫,支持爬取 HTML、图片和其他文件,具有频率、过滤、文件目录等选项

    v0.6.2 #web-scraping #recursion #scraper #web #web-crawler #crawler #spider
  40. easy-scraper

    专注于简单易用的 HTML 爬取库

    v0.2.0 150 #html #scraping #pattern #pattern-matching #web-scraping #dom #intuitive
  41. jsdom

    用于网络爬取的 JavaScript DOM 解析器

    v0.0.11-alpha.1 #web-scraping #dom #scraping #javascript #crawler #parser #extract
  42. voyager

    网页爬虫和爬取器

    v0.2.1 120 #state-machine #web-crawler #scraping #html #web-scraping #model #extract
  43. wappu

    为 Rust 设计的快速网络爬取库,用于导航和从网站中提取数据。非常适合数据挖掘、内容聚合和网络自动化任务。

    v0.3.0 #web-scraping #html-parser #http-client #http-request #css-selectors #data #extract
  44. crabler

    Crabs 网络爬取器

    v0.1.28 #web-scraping #html #scraper #web #html-css #css #web-crawler
  45. stream_crawler

    爬取网页并提取 URL 和端点

    v0.1.1 #url #web-scraping #crawler #scraping #endpoint #web #html-content
  46. unhtml

    一个神奇的HTML解析器

    v0.8.0 100 #html-parser #html #html-string #parser #web-scraping
  47. globescraper

    Globe Explorer AI引擎的Scraper库

    v0.3.2 140 #web-scraping #explorer #engine #location #learning #discovery #ai
  48. web-scraper

    用于从网站获取HTML并抓取其中的内容

    v0.1.0 #web-scraping #html #content #website #tags #scrape #div
  49. nu_plugin_selector

    使用CSS选择器进行网络抓取

    v0.44.0 350 #web-scraping #css-selectors #selector
  50. repo_icons

    获取任何GitHub仓库的图标

    v0.3.3 #logo #favicon #github-api #web-scraping #website #scraper #cli
  51. story-dl

    故事网络抓取

    v0.6.0 #web-scraping #story #download #stories #epub #sites #tags
  52. dyer

    专为可靠、灵活和快速的基于请求-响应的服务而设计,包括数据处理、网络爬取等,提供一些友好、灵活、全面的功能,而不牺牲速度

    v3.3.2 100 #web-crawling #data-processing #web-scraping #web-framework #spider #async-io #thread-pool
  53. rezvrh_scraper

    Bakalari爬虫

    v0.1.6 #web-scraping #class #bakalari
  54. sf6rs

    与各种街头霸王6数据格式接口

    v0.3.5 #scraper #web-scraping #framedata #streetfighter #sf6
  55. fast_scraper

    使用CSS选择器进行HTML解析和查询

    v0.14.5 #html-parser #html-css #css-selectors #web-scraping #html #css #selector
  56. scr

    最简单的网站解析器和文件加载器

    v1.0.2 #web-scraping #parser #loader #file #site
  57. frangipani

    适用于Rust的抓取框架

    v0.3.1 #web-crawler #crawler #web-scraping #scraper #scraping #robots-txt #continuous-crawler
  58. no_browser

    基于reqwest的轻量级无头'网络浏览器'

    v0.3.0 #html-css #html #css #testing #html-parser #http-request #web-scraping
  59. 尝试使用DuckDuckGo进行搜索。

  60. html-extractor

    从HTML中提取数据

    v1.0.0 #web-scraping #scraping #html #web #extracting #data #extractor
  61. stud_ip_scraper

    Stud.IP交互的闪电般快速🚀库

    v0.2.0 #web-scraping #scraper #stud-ip
  62. waxy

    社区驱动的搜索引擎的网页爬虫

    v0.2.0 #web-crawler #crawler #search-engine #web-scraping #community #driven #general
  63. etwin_scraper_tools

    scraper提供的辅助函数

    v0.12.3 170 #web-scraping #etwin #helper #functions
  64. scraper-main

    核心框架xpath解析

    v0.3.1 #xpath #web-scraping #data #website #parser #document #scrape
  65. html-ast

    构建并生成合法的HTML字符串

    v0.1.0 #html #html-parser #html-string #generate-html #css-selectors #higher-level #web-scraping
  66. apify-client

    Apify API的强类型包装器

    v0.2.0 #web-scraping #apify #api-client #web-automation #api-bindings
  67. wco-rs

    从Wcostream播放卡通和动漫

    v0.1.2 #web-scraping #anime #scraper #cli #wcostream
  68. browse

    快速爬虫框架

    v0.1.0 #web-scraping #crawler #scraper #async #spider
  69. aliexpress-scraper

    使用requests的aliexpress爬虫

    v0.1.4 #web-scraping #aliexpress #product #requests #detail
  70. crabler-tokio

    Crabs的Web爬虫 - tokio版本

    v0.1.29 #web-scraping #scraper #web #html #css #web-crawler
  71. get_user_agent

    用于在Windows、Mac、Linux、Android和iOS平台上提取所有浏览器最新用户代理的简单易用的Rust CLI程序和库

    v0.1.1 #user-agent #web-scraping #scraping #browser-identity
  72. webscrapingapi

    允许在旋转代理的帮助下抓取网站,防止被禁止。此Rust SDK使API的使用更容易在任何项目中实现。

    v0.1.0 #web-scraping #scraping #proxy #scrape #scrapingapi #api-key
  73. sws-lua

    可使用Lua脚本化的爬虫

    v0.1.0 #web-scraping #lua #lua-script #web-crawler #csv #scriptable #sws
  74. fs_scraper

    FjalorShqip 的爬虫

    v0.1.1 #web-scraping #json #query #fjalorshqip #fjalor-shqip #search #scrape
  75. sws-tree

    基于 Slotmap 的 ID 树

    v1.0.0 #web-scraping #csv #sws #id-tree #pages #web-page #script
  76. diffbot

    Diffbot API 的客户端库

    v1.0.0 #web-scraping #client #api-client #api #token
  77. sws-crawler

    具有可插拔爬取逻辑的网页爬虫

    v0.1.0 #web-scraping #web-crawler #web-page #logic #sws #lua #sitemap
  78. web-scraper-flows

    flows.network 的网页爬虫集成

    v0.1.0 #web-scraping #flows #networking #page #text #flow #content
  79. gar-crawl

    具有简洁构建器的多层次 HTML 爬虫

    v0.1.16 #high-level #web-scraping #web-crawler #boilerplate #propagator #crawl #html
  80. crusty-core

    创建快速的、可配置的网页爬虫

    v0.82.0 #crawler #web-crawler #multi-threaded #async #spider #rust #web-scraping
  81. scrapman

    一个高级声明式网页爬取框架

    v0.1.1 #web-scraping #declarative #high-level #framework
  82. sws-scraper

    使用CSS选择器进行HTML解析和查询

    v0.2.4 #html-parser #web-scraping #css-selectors #sws #querying #sitemap #reference
  83. crab

    CIL 爬取工具

    v0.2.2 #scraping #tool #web-scraping #command-line #dom #content #cil
  84. apify

    SDK 是一个可以在 Apify 平台或独立运行的网络爬取和自动化框架

    v0.1.1 #web-scraping #web-automation #api-bindings
  85. line-stickers-scraper

    使用 Rust 编写的可执行程序,用于从 URL 爬取和保存 LINE 贴纸 PNG

    v0.1.1 #png #line #sticker #save #url #web-scraping #executable
  86. reqwest-scraper-macros

    与 reqwest 集成的网页抓取

    v0.3.2 140 #web-scraping #reqwest #integration #response #html #macro #css-selectors