od-get

一个用于递归爬取和从公开目录下载数据的Rust工具

• 支持正则表达式过滤
  • 排除文件模式
  • 包含文件模式
  • 排除文件夹模式
  • 包含文件夹模式
• 可定制输出
  • 目标目录
  • 详细程度
  • 生成Metadata-JSON文件
  • 日志文件/动态终端输出
• 可定制限制
  • 递归深度限制
  • 文件数量限制
  • 文件数量偏移（跳过 n 个文件）
• 多线程（使用 rayon）
• 错误时恢复（避免重新下载文件）
• 多层递归
• 禁用下载（仅爬取到JSON）

(进行中，递归的一层工作)

许可证 & 版权

版权（c）2021 Bernd-L。保留所有权利。

od-get是自由软件：您可以按照自由软件基金会发布的GNU Affero通用公共许可证的条款重新分发和/或修改它，许可证版本为3，或者（根据您的选择）任何更高版本。

od-get按照自由软件基金会发布的GNU Affero通用公共许可证的条款分发，希望它有用，但没有任何保证；甚至没有关于适销性或特定用途的暗示保证。有关更多详细信息，请参阅GNU Affero通用公共许可证。

您应该已收到与od-get一起提供的GNU Affero通用公共许可证副本。如果没有，请参阅https://www.gnu.org/licenses/。

本项目（包括其源代码和文档）根据GNU Affero通用公共许可证的条款发布。