#postgresql #parquet #command-line-tool #data-processing

app postquet

PostQuet:使用这个基于Rust的高性能命令行工具,无缝地将PostgreSQL表/查询流式传输到Parquet文件

1 个不稳定版本

0.1.0 2023年4月9日

#45#parquet

Apache-2.0

61KB
195 代码行

Build and Test

状态: 开发中

logo

PostQuet:PostgreSQL到Parquet的流式传输导出器

PostQuet是一个由Rust编写的强大且高效的命令行工具,允许您无缝地将PostgreSQL表流式传输到Parquet文件。专为数据工程师、分析师和开发者设计,此工具简化了将PostgreSQL数据转换为广泛使用的列式存储格式Parquet的过程。

主要功能

  • 流式数据转换:PostQuet允许在PostgreSQL和Parquet之间进行数据流,减少内存开销,并支持大型数据集的处理。
  • 高性能:利用Rust的速度和安全性能,PostQuet提供出色的性能,同时确保数据转换的可靠性。
  • 异步处理:该工具利用异步处理技术以优化效率并最小化数据转换任务的时间。
  • 支持复杂数据类型和表结构:PostQuet处理各种数据类型和表结构,确保与各种PostgreSQL数据库的兼容性。
  • 用户友好的命令行界面:具有直观的CLI,PostQuet使用户能够轻松地将PostgreSQL表导出为Parquet文件,无论其技术专长如何。

使用PostQuet,您可以快速轻松地将您的PostgreSQL数据转换为Parquet格式,解锁数据分析和处理的新可能性。

依赖项

~33–45MB
~897K SLoC