tiny-data

使用 reqwest 和 tokio 构建 computer vision datasets 的基于 rust 的命令行工具。

您可以通过运行以下命令获取可用选项的列表

>> tiny-data -h
Usage: tiny-data [OPTIONS]

Options:
  -t, --topics <TOPICS>...   Space-delimited list of image classes
  -n, --nsamples <NSAMPLES>  number of images to download per-class [default: 20]
  -d, --dir <DIR>            name of directory to save to [default: images]
  -h, --help                 Print help

示例

>> tiny-data --topics bats wombats -n 10 --dir images
>> tree images
images
├── bats
│   ├── 0.jpeg
│   ├── 1.jpeg
│   ├── 2.jpeg
│   ├── 3.jpeg
│   ├── 4.jpeg
│   ├── 5.jpeg
│   ├── 6.jpeg
│   ├── 7.jpeg
│   ├── 8.jpeg
│   └── 9.jpeg
└── wombats
    ├── 0.jpeg
    ├── 1.jpeg
    ├── 2.jpeg
    ├── 3.jpeg
    ├── 4.jpeg
    ├── 5.jpeg
    ├── 6.jpeg
    ├── 7.jpeg
    ├── 8.jpeg
    └── 9.jpeg

安装

要开始使用 tiny-data，您需要启用 Google 的 Custom Search API 并将变量 SEARCH_ENGINE_ID 和 CUSTOM_SEARCH_API_KEY 导出到您的环境中。

注意：Google 限制每天请求数量为 100，这本质上限制了您可下载的图片数量。

您可以通过运行以下命令从 crates.io 下载软件包

cargo install tiny-data

您可以通过运行以下命令从 pypi 下载软件包的 Python 绑定，并使用 CLIP 进行下载后的过滤，具有额外的功能

pip install tinydata[ml]