Lib.rs

arrow

Apache Arrow

object_store

一种通用的对象存储接口，用于统一与AWS S3、Google Cloud Storage、Azure Blob Storage和本地文件交互

parquet

Rust中的Apache Parquet实现

polars

基于Apache Arrow的DataFrame库

datafusion

使用Apache Arrow作为内存模型的内存查询引擎

datafusion-expr

数据融合查询引擎的逻辑计划和表达式表示

arrow-odbc

从/到ODBC数据源读取/写入Apache Arrow数组

lance

一种列式数据格式，比Parquet随机访问快100倍

arrow-ipc

支持Arrow IPC格式

narrow

Apache Arrow

arrow-cast

Apache Arrow 的铸核和工具

datafusion-proto

DataFusion 逻辑计划表达式的 Protobuf 序列化

arrow-array

Apache Arrow 的数组抽象

datafusion-physical-expr

DataFusion 查询引擎的物理表达式实现

datafusion-server

使用 Arrow 和其他大型数据集作为数据源的基于会话的查询的 Web 服务器库

arrow-buffer

Apache Arrow 的缓冲区抽象

arrow-schema

定义 arrow 数组的逻辑类型

arrow-digest

Apache Arrow 的稳定哈希值

arrow-ord

arrow 数组的排序内核

arrow-format

Apache Arrow 规范的非官方 flatbuffers 和 tonic 代码

arrow-arith

Arrow 算术内核

arrow-select

Arrow数组的选择核

datafusion-execution

DataFusion查询引擎的执行配置支持

arrow-data

Apache Arrow的数组数据抽象

arrow-csv

支持将CSV格式解析为Arrow格式以及从Arrow格式解析CSV

arrow-json

支持将JSON格式解析为Arrow格式以及从Arrow格式解析JSON

datafusion-functions-array

DataFusion查询引擎的数组函数包

datafusion-optimizer

DataFusion查询优化器

datafusion-python

Apache DataFusion DataFrame和SQL查询引擎

datafusion-functions

DataFusion查询引擎的函数包

lance-datagen

一种列式数据格式，比Parquet随机访问快100倍

ballista

分布式计算

arrow-flight

Apache Arrow Flight

arrow-string

箭头数组字符串内核

datafusion-physical-plan

数据融合查询引擎的物理（执行计划）实现

myval

轻量级Apache Arrow数据框

connector_arrow

将数据从数据库加载到Apache Arrow，最快的方式

orc-rust

使用Apache Arrow内存格式实现的Apache ORC文件格式

datafusion-substrait

DataFusion Substrait生产者和消费者

evolution

🦖 将固定长度数据文件进化为Apache Parquet，完全并行化！

dora-record

dora的目标是成为一个低延迟、可组合和分布式的数据流

re_arrow2

在安全Rust中实现的Apache Arrow规范的非官方实现

ar_row

对箭头数组的行导向访问

arrow-row

Arrow行格式

datafusion-common

DataFusion查询引擎的常用功能

lance-datafusion

其他lance模块用于简化与datafusion工作的内部实用工具

duckdb-server

Mosaic的DuckDB服务器

arrow-integration-test

支持Apache Arrow JSON测试数据格式

arrow-udf

arrow-rs的用户自定义函数框架

datafusion-cli

DataFusion查询引擎的命令行客户端

fsst

FSST字符串压缩

datafusion-catalog

pyo3-arrow

pyo3的Arrow集成

arrow-udf-js

Arrow UDFs的JavaScript运行时

datafusion-physical-optimizer

数据融合物理优化器

tpctools

生成和转换 TPC-H 和 TPC-DS 数据集

arrow-avro

支持将 Avro 格式解析为 Arrow 格式

valu3

通用的序列化/反序列化/类型框架

ballista-executor

Ballista 分布式计算 - 执行器

arrow-tools

包

lance-linalg

一种列式数据格式，比Parquet随机访问快100倍

datafusion-physical-expr-common

数据融合查询引擎物理表达式的通用功能

lance-arrow

Lance 的 Arrow 扩展

lance-testing

一种列式数据格式，比Parquet随机访问快100倍

datafusion-functions-nested

数据融合查询引擎嵌套类型函数包

datafusion-common-runtime

DataFusion查询引擎的通用运行时功能

lance-jni

Lance列式格式的JNI绑定

ballista-cli

Ballista分布式查询引擎的命令行客户端

lance-index

Lance索引实现

csv2parquet

将CSV文件转换为Parquet

re_data_store

基于Apache Arrow的Rerun日志数据的内存时间序列数据库

lance-io

Lance的I/O工具

polars-arrow-format

Apache Arrow 规范的非官方 flatbuffers 和 tonic 代码

lance-file

Lance文件格式

lance-table

Lance表格格式

arrow-udf-python

Arrow UDF的Python运行时

lance-encoding

Lance文件格式的编码和解码器

json2parquet

将JSON文件转换为Parquet

csv2arrow

将CSV文件转换为Arrow

ballista-scheduler

Ballista分布式计算 - 调度器

foreign_vec

在安全Rust中实现的Apache Arrow规范的非官方实现

json2arrow

将JSON文件转换为Arrow

lance-encoding-datafusion

依赖datafusion的Lance文件格式编码和解码器

ballista-cache

Ballista缓存

strawboat

基于Apache Arrow的本地存储格式

arrow-udf-wasm

Arrow UDF的WebAssembly运行时

oxbow

在R、Python等中读取专门的生物信息学文件格式作为数据帧

arrow-flightsql-odbc

一个Apache Arrow Flight SQL服务器，它通过ODBC代理请求

datafusion-row

基于原始字节的 DataFusion 查询引擎行

gmt_dos-clients_arrow

GMT DOS Arrow 客户端

pyspark-arrow-rs

推导宏，用于将一些辅助函数添加到 Rust 结构体中，以便在 PySpark 的 mapInArrow 中使用

re_arrow_store

基于Apache Arrow的Rerun日志数据的内存时间序列数据库

prost-arrow

从 prost 生成的 protobuf 消息推导 Apache Arrow 数组构建器

lance-core

Lance 列式格式 -- 核心库

pgpq

将 Apache Arrow RecordBatch 编码为 PostgreSQL 的本地二进制格式

dfq

一个 CLI 工具，用于在多种数据源上运行 SQL 查询

datafusion-jit

为 DataFusion 查询引擎提供即时 (JIT) 编译支持

valu3-parquet

为 valu3 提供 Parquet 和 Arrow 编码和解码

datafusion-data-access

通用数据访问层，目前主要基于对象存储接口

convergence-arrow

Apache Arrow 和 PostgreSQL 线协议桥接工具

gandiva_rust_udf

gandiva rust udfs

arrow2

在安全Rust中实现的Apache Arrow规范的非官方实现

ballista-core

Ballista 分布式计算

arrow_util

Apache Arrow 工具

lance-test-macros

一种列式数据格式，比Parquet随机访问快100倍

mongodb-arrow-connector

MongoDB 连接器，用于在 Apache Arrow 之间读取和写入数据

datafusion-bigtable

Apache Arrow Datafusion 的 Bigtable 数据源

polars_arrow_rvsry99dx

Apache Arrow

katniss-pb2arrow

工作进展中

alloy-rs

使用任何支持 C 的语言与 Apache Arrow ffi 交互的静态 Rust 库

narrow-derive

Apache Arrow

iron-arrow

Apache Arrow

peppi-arrow

peppi 的支持包

ar_row_derive

使用 ar_row 从行式访问到 Arrow 数组的过程宏

parquet2arrow

将 Parquet 文件转换为 Apache Arrow 文件的命令行工具 (CLI)