Lib.rs

› 关键词 #arrow #apache-arrow #command-line-tool #csv #parquet-file #postgresql

#parquet

  1. parquet

    Rust 中的 Apache Parquet 实现

    v52.2.0 738K #apache-arrow #arrow #hadoop #brotli #array #compression #default

  2. arrow-schema

    定义箭头数组的逻辑类型

    v52.2.0 1.2M #arrow #apache-arrow #columnar-format #logical #parquet #types #arrays

  3. parquet2json

    将 Parquet 以行分隔 JSON 流式传输的命令行工具

    v4.0.0 1.2K #parquet #json #command-line-tool #json-format #file-format #streaming #line-delimited

  4. odbc2parquet

    查询 ODBC 数据源并将结果存储在 Parquet 文件中

    v6.0.0 500 #parquet-file #parquet #odbc #command-line-tool #sql

  5. parquet2

    安全实现 parquet IO

    v0.17.2 15K #parquet #analytics #page #read #read-write #iterator #parallelism

  6. dms-cdc-operator-client

    基于 Rust 的客户端，用于比较 Amazon RDS 数据库中一系列表的当前状态与存储在 Amazon S3 上的 Parquet 文件中的数据，特别适用于变更数据捕获（CDC）场景

    v0.1.17 440 #amazon-s3 #s3 #parquet #cdc #postgresql #polars #database-migrations

  7. tass

    表格数据的分页器

    v0.10.1 160 #tabular #pager #csv #parquet #table #values #numbers

  8. datafusion-python

    Apache DataFusion DataFrame 和 SQL 查询引擎

    v40.1.0 #sql-query #query-engine #python-bindings #data-fusion #dataframe #apache-arrow #parquet

  9. ushcn

    美国历史气候学网络数据下载器

    v0.2.2 300 #data-processing #historical #download #parquet #networking #parquet-file #daily

  10. parquet-format-safe

    安全的 Parquet 和 Thrift 读写器（同步和异步）

    v0.2.4 90K #parquet #thrift #reader-writer #read #byte #write #async-read

  11. pg2parquet

    用于将PostgreSQL表或查询导出为Parquet文件的命令行工具

    v0.1.1 #postgresql #parquet-file #parquet #postgres #command-line #command-line-tool

  12. tonbo

    Rust语言中的嵌入式持久化KV数据库

    v0.1.0 200 #kv #arrow #parquet #schema #datafusion #database #component

  13. parquetry-gen

    Parquet代码生成器

    v0.10.0 #parquet #schema #optional #generator #generation #arrow #run-time

  14. dora-record

    dora的目标是成为一个低延迟、可组合和分布式的数据流

    v0.3.5 #low-latency #data-flow #apache-arrow #distributed #recording #composable #parquet

  15. pqrs

    Apache Parquet命令行工具和实用程序

    v0.3.2 190 #parquet #arrow #command-line-utilities #command-line-tool

  16. dply

    受dplyr语法启发的命令行数据处理工具

    v0.3.2 #parquet #csv #data #command-line #parquet-file #json #command-line-tool

  17. parquetry-sort

    Parquet代码生成器的运行时排序库

    v0.10.0 470 #parquet #serialization #run-time #generation #arrow #generate #sorting

  18. parquetry

    Parquet代码生成器的运行时库

    v0.10.0 #parquet #serialization #generation #run-time #arrow #generator #generated

  19. csvs_convert

    一些Datapackage转换

    v0.8.13 1.0K #csv #conversion #datapackage #parquet #python #xlsx #postgresql

  20. bdt

    查看、查询、转换和比较流行数据格式（CSV、Parquet、JSON、Avro）的文件

    v0.18.0 #parquet-file #parquet #file-format #csv #avro #json #convert-file

  21. dms-cdc-operator

    基于Rust的实用程序，用于比较Amazon RDS数据库中一系列表的当前状态与存储在Amazon S3上的Parquet文件的存储数据，特别适用于变更数据捕获（CDC）场景

    v0.1.17 500 #amazon-s3 #postgresql #s3 #parquet #cdc #database-table #database-migrations

  22. polars-parquet

    Apache Parquet I/O operations for Polars

    v0.42.0 63K #parquet #io #polars #dataframe #apache #arrow #operations

  23. tpctools

    生成和转换 TPC-H 和 TPC-DS 数据集

    v0.7.0 #tpc-ds #tpc-h #apache-arrow #parquet #sets #generate #parallel

  24. parquet_opendal

    Apache OpenDAL 的 parquet 集成

    v0.1.1 100 #opendal #parquet #apache #integration #io #data

  25. cc2p

    将 CSV 转换为 parquet 文件格式

    v0.2.13 220 #csv #parquet-file #parquet #file-format #data-processing #format-conversion #cli

  26. deepbiop-fq

    针对 Fastq 格式的深度学习预处理库

    v0.1.10 600 #deep-learning #fastq #data-processing #parquet #arrow

  27. sqlite2parquet

    从 sqlite 数据库生成 parquet 文件

    v0.10.2 2.2K #sqlite #parquet #database #generate #lets

  28. smooth-json

    将 serde_json Value 变体扁平化成 serde_json 对象的实用工具，适用于列式或表式使用

    v0.2.6 #json #parquet #smoothing #flatten #json-format #unnest #data-structures

  29. warc-parquet

    将 WARC 转换为 Parquet

    v0.6.1 1.0K #parquet #warc #arrow #binary-file

  30. sbbf-rs

    分块布隆过滤器实现

    v0.2.8 190 #bloom-filter #split #block #detection #systems #parquet #spec

  31. csv2parquet

    将 CSV 文件转换为 Parquet

    v0.18.1 240 #csv #parquet #convert #arrow #apache-arrow #schema #arrow-tools

  32. parquet-format

    Apache Parquet 格式 - thrift 定义和生成的 Rust 文件

    v4.0.0 12K #parquet #hadoop #file-format #thrift #apache #generated #version

  33. parquet2lance

    将 Parquet 文件转换为 lance

    v0.4.4 140 #parquet #lance #object-store #authentication

  34. jlcpcb-to-parquet

    将 JLCPCB 零件库转换为 Parquet

    v0.4.2 #parquet #parts #jlcpcb #convert

  35. json2parquet

    将 JSON 文件转换为 Parquet

    v0.18.1 #convert-json #parquet #arrow #apache-arrow #arrow-tools #domoritz

  36. parquet-format-async-temp

    包含 thrift 库 + parquet 定义，编译支持异步读写的临时 crate

    v0.3.1 850 #parquet #read-write #async-read #thrift #async-write #hadoop #byte

  37. gmt_dos-clients_arrow

    GMT DOS Arrow 客户端

    v2.1.0 #telescope #arrow #apache-arrow #logger #data #parquet #client

  38. sbbf-rs-safe

    分块布隆过滤器实现

    v0.3.2 180 #bloom-filter #split #block #parquet

  39. sqlfuzz

    从任何本地的 Parquet、CSV、JSON 或 Avro 数据集中生成随机（有时是有效！）查询

    v0.3.0 #fuzzer #sql #random #parquet #generate #queries #csv

  40. amadeus-parquet

    Apache Parquet 在 Rust 中的实现

    v0.4.3 #parquet #amadeus #hadoop #arrow #data

  41. xpq

    分析 Parquet 文件的命令行工具

    v0.2.1 #parquet #cli-command #command #command-line #cli #command-line-tool

  42. valu3-parquet

    valu3 的 Parquet 和 Arrow 编码/解码

    v0.4.5 #apache-arrow #parquet #arrow #valu3 #apache #codec #generic

    43. 尝试使用 DuckDuckGo 搜索 搜索。

  43. xpq2

    分析 Parquet 文件的命令行工具

    v0.2.2 #parquet #command-line #cli #command #command-line-tool

  44. pack-it

    Parquet 表的打包器

    v0.2.2 #table #packer #parquet #opinionated #interface #getting #away

  45. cryo_cli

    cryo 是将区块链数据提取到 parquet、csv 或 json 的最简单方式

    v0.3.2 600 #parquet #csv #blockchain #input #data #extract #easiest

  46. cryo_freeze

    cryo 是将区块链数据提取到 parquet、csv 或 json 的最简单方式

    v0.3.2 550 #data #extract #parquet #blockchain #csv #dataframe #easiest

  47. parquet_derive

    为Apache Parquet的Rust实现推导宏

    v52.2.0 11K #parquet #apache #reader #derive #chrono #generate #writers

  48. parqbench

    使用egui查看构建的Parquet文件

    v0.2.0 #parquet #viewing #egui #built #metadata #query #format

  49. katniss-ingestor

    进行中(WIP)

    v0.0.3 #ingestor #parquet #katniss-ingestor

  50. postquet

    使用这款基于Rust的高性能命令行工具，无缝地将PostgreSQL表/查询流式传输到Parquet文件

    v0.1.0 #postgresql #parquet #command-line-tool #data-processing

  51. libquerier

    让每个人都能查询一些Parquet

    v0.1.1 #everyone #parquet #query

  52. read_parquet

    在命令行中打印Parquet数据框

    v0.1.0 #parquet #dataframe #command-line

  53. cryo_python

    cryo python 是基于rust cryo库构建的Python库

    v0.3.2 #python #cryo #top #built #dataframe #parquet #details

  54. parquet-cat

    一个命令行工具，用于在S3上探索Parquet文件，支持文件夹

    v0.1.1 #s3 #parquet #cat #command-line-tool

  55. amadeus-parquet-derive

    Apache Parquet Derive Macro实现

    v0.1.1 #parquet #amadeus #data #hadoop #arrow #macro-derive

  56. cryo_to_df

    用于定义数据集的过程宏

    v0.3.2 550 #cryo #dataset #procedural #proc-macro #dataframe #parquet #easiest

  57. nu_plugin_from_parquet

    添加Parquet支持的nu插件

    v0.0.0 #parquet #nu #nushell #nushell-plugin #parse #data #add