#avro #arrow #kafka

ruhvro

快速、多线程的无模式Avro编码消息反序列化

2个版本

0.2.1 2024年8月25日
0.2.0 2024年8月24日

613编码

Download history 100/week @ 2024-08-18

每月100次下载

MIT许可证

110KB
2.5K SLoC

Ruhvro

此库提供反序列化Avro编码数据数组的函数,并返回一个Arrow记录批次向量,并将Arrow记录批次序列化为Avro编码的字节。

用法

use ruhvro::{deserialize, serialize};
use arrow::record_batch::RecordBatch;

fn main() {
    let raw_schema = r#"
             {
                 "type": "record",
                 "name": "test",
                 "fields": [
                     {"name": "a", "type": "long", "default": 42},
                     {"name": "b",
                         "type": ["null", "string"],
                         "default": null
             }
                 ]
             }
         "#;

    let parsed_schema = ruhvro::deserialize::parse_schema(&raw_schema).unwrap();
    // create a record
    let mut record = apache_avro::types::Record::new(&parsed_schema).unwrap();
    record.put("a", 27i64);
    record.put("b", None::<String>);
    // and serialize it using the plain avro library
    let serialized = apache_avro::to_avro_datum(&parsed_schema, record).unwrap();
    
    // deserialization
     let deserialized = ruhvro::deserialize::per_datum_deserialize(&vec![&serialized[..]], &parsed_schema);
     println!("{:?}", deserialized);
    
     // serialize the record batch
     let serialized = ruhvro::serialize::serialize_record_batch(deserialized, &parsed_schema, 1);
     println!("{:?}", serialized);
}

依赖关系

~20–28MB
~426K SLoC