#meilisearch #import #dataset #json-array #csv #cli-tool #batch

app meilisearch-importer

通过批量发送数据集将大量数据导入 Meilisearch 的工具

2 个版本

0.2.1 2024 年 3 月 26 日
0.2.0 2024 年 3 月 26 日

#519命令行实用工具

每月 21 次下载

MIT 许可证

19KB
343 代码行

Meilisearch 导入器

导入大量 CSV、NSJSON 或 JSON(对象数组)到 Meilisearch 的最有效 CLI 工具。

此工具已与从数十万到数千万文档的多个数据集进行了测试。在这种情况下,进度条非常实用。

功能

  • 将数百万文档上传到 Meilisearch。
  • 错误时自动重试。
  • 显示上传进度以及到达时间(ETA)。
  • 在云端和自托管实例上运行。

安装

您可以在发布页面上下载此工具的最新版本。

示例用法

发送文档到云端

在云端创建项目并发送您的文档非常简单。

如果您不能通过拖放直接从网站发送数据集,此工具非常适合您。您可以通过运行以下命令来发送它们

meilisearch-importer \
    --url 'https://ms-************.sfo.meilisearch.io'
    --index crunchbase \
    --primary-key uuid \
    --api-key 'D2jkS***************' \
    --files ./dataset/organizations.csv

发送文档到本地实例

当您想在本地上测试 Meilisearch 时,此工具也很有用。必须定义的唯一参数是 URL、索引名称和您的数据集。

但是,您也可以增加批量大小以使 meilisearch 索引更快。

meilisearch-importer \
    --url 'https://127.0.0.1:7700'
    --index movies \
    --files movies.json \
    --batch-size 100MB

依赖关系

~7–16MB
~207K SLoC