#proxy #scraper #tokio #command-line-tool #asynchronous-programming #rust

bin+lib proxy-scraper

用于抓取代理信息的 Rust 命令行工具

2 个不稳定版本

0.2.0 2024 年 5 月 3 日
0.1.0 2024 年 1 月 10 日

#464 in 异步

MIT 许可证

31KB
429

Proxy Scraper

License Downloads Version Docs

Proxy Scraper 是一个 Rust 命令行工具和库,允许用户从 URL 中抓取代理信息。

功能

  • 抓取:从指定的 URL 抓取代理信息。
  • 代理类型:目前支持多种代理类型,包括 MTProxy、Shadowsocks、VMess、VLess、Trojan、Hysteria 和 TUIC,并具有扩展到其他类型的灵活性。
  • 异步:使用 Tokio 运行时进行异步编程,以提高性能。

支持的代理

  • MTProxy:一种特定的代理类型。
  • Shadowsocks:一种旨在提供加密和安全的代理协议。
  • VMess:一种加密通信协议。
  • VLess:与 VMess 类似但开销更小的协议。
  • Trojan:一种将流量伪装成 HTTPS 的协议。
  • Hysteria:一种具有高速数据传输能力的协议。
  • TUIC:一种加密通信协议。

库使用方法

Proxy Scraper 还可以作为 Rust 项目的库使用。它提供了一组模块和函数,用于以编程方式抓取代理信息。

// Example usage of the Proxy Scraper library
use proxy_scraper::*;

fn main() {
    let source = "<TEXT INCLUDING PROXY LINKS>";
    
    let proxy_list = mtproxy::MTProxy::scrape(source);

    println!("{:#?}", proxy_list);
}

使用方法

安装

  1. 确保您已安装 Rust 和 Cargo。如果没有,请按照 Rust 安装说明 进行操作。

  2. 克隆仓库

    git clone https://github.com/zolagonano/proxy-scraper.git
    
  3. 导航到项目目录

    cd proxy-scraper
    
  4. 构建项目

    cargo build --release
    

命令行使用

使用所需参数运行构建的可执行文件

./target/release/proxy-scraper --source <PROXY_SOURCE_URL> --proxy_type <PROXY_TYPE>
  • <PROXY_SOURCE_URL>:包含代理信息的 URL。
  • <PROXY_TYPE>:要抓取的代理类型(默认:"mtproxy")。

示例

./target/release/proxy-scraper --source https://example.com/proxies --proxy_type mtproxy

配置

该工具使用 argh 进行命令行参数解析。可用的选项有

  • --source:指定代理信息的 URL 源。
  • --proxy_type:指定要抓取的代理类型(默认:"mtproxy")。

依赖项

  • reqwest:用于发送请求的 HTTP 客户端。
  • tokio:Rust 的异步运行时。
  • argh:一个简单的参数解析库。

从源码构建

要从源码构建项目,请按照以下步骤操作

  1. 克隆仓库

    git clone https://github.com/your_username/proxy-scraper.git
    
  2. 导航到项目目录

    cd proxy-scraper
    
  3. 构建项目

    cargo build --release
    

支持

如果您觉得我的作品对您有帮助,并希望支持我,请考虑进行捐赠。您的捐助将有助于确保这些项目的持续维护和改进。

支持

许可证

本项目采用 MIT 许可证授权 - 有关详细信息,请参阅LICENSE文件。

依赖项

~8–24MB
~328K SLoC