2个版本
新 0.2.1 | 2024年8月25日 |
---|---|
0.2.0 | 2024年8月24日 |
613 在 编码
每月100次下载
110KB
2.5K SLoC
Ruhvro
此库提供反序列化Avro编码数据数组的函数,并返回一个Arrow记录批次向量,并将Arrow记录批次序列化为Avro编码的字节。
用法
use ruhvro::{deserialize, serialize};
use arrow::record_batch::RecordBatch;
fn main() {
let raw_schema = r#"
{
"type": "record",
"name": "test",
"fields": [
{"name": "a", "type": "long", "default": 42},
{"name": "b",
"type": ["null", "string"],
"default": null
}
]
}
"#;
let parsed_schema = ruhvro::deserialize::parse_schema(&raw_schema).unwrap();
// create a record
let mut record = apache_avro::types::Record::new(&parsed_schema).unwrap();
record.put("a", 27i64);
record.put("b", None::<String>);
// and serialize it using the plain avro library
let serialized = apache_avro::to_avro_datum(&parsed_schema, record).unwrap();
// deserialization
let deserialized = ruhvro::deserialize::per_datum_deserialize(&vec![&serialized[..]], &parsed_schema);
println!("{:?}", deserialized);
// serialize the record batch
let serialized = ruhvro::serialize::serialize_record_batch(deserialized, &parsed_schema, 1);
println!("{:?}", serialized);
}
依赖关系
~20–28MB
~426K SLoC