#apache-arrow #mongo-db #read #write #connector #collection #batch

mongodb-arrow-connector

MongoDB到Apache Arrow的数据读写连接器

7个版本 (破坏性更新)

0.7.0 2022年4月21日
0.6.0 2022年3月25日
0.5.0 2021年12月29日
0.4.0 2021年10月14日
0.1.0 2020年4月5日

#2806 in 数据库接口

Apache-2.0

33KB
645

MongoDB Apache Arrow Connector

一个Rust库,用于从MongoDB读取和写入Apache Arrow批次。

Apache 2.0许可。

动机

我们目前正在编写这个库,因为需要将MongoDB数据读取到数据框中。

功能

  • 从集合读取到批次
  • 从批次写入到集合
  • 推断集合模式
  • 投影谓词下推
  • 过滤谓词下推
  • 数据类型
    • MongoDB支持的原始类型
    • 列表类型
    • 嵌套结构(bson::Document
    • 任意二进制数据

lib.rs:

MongoDB到Apache Arrow连接器

这个crate允许使用Apache Arrow格式读取和写入MongoDB数据。数据以RecordBatch的形式从MongoDB数据库读取,并将Apache Arrow RecordBatch写入到集合中。

依赖关系

~28–41MB
~748K SLoC