示例

use serde_columnar::{columnar, from_bytes, to_vec};

#[columnar(vec, ser, de)]                // this struct can be a row of vec-like container
struct RowStruct {
    name: String,
    #[columnar(strategy = "DeltaRle")]   // this field will be encoded by `DeltaRle`
    id: u64,
    #[columnar(strategy = "Rle")]        // this field will be encoded by `Rle`
    gender: String,
    #[columnar(strategy = "BoolRle")]    // this field will be encoded by `BoolRle`
    married: bool
    #[columnar(optional, index = 0)]     // This field is optional, which means that this field can be added in this version or deleted in a future version
    future: String
}

#[columnar(ser, de)]                    // derive `Serialize` and `Deserialize`
struct TableStruct<'a> {
    #[columnar(class = "vec")]          // this field is a vec-like table container
    pub data: Vec<RowStruct>,
    #[columnar(borrow)]                 // the same as `#[serde(borrow)]`
    pub text: Cow<'a, str>
    #[columnar(skip)]                   // the same as `#[serde(skip)]`
    pub ignore: u8
    #[columnar(optional, index = 0)]    // table container also supports optional field
    pub other_data: u64

}

let table = TableStruct::new(...);
let bytes = serde_columnar::to_vec(&table).unwrap();
let table_from_bytes = serde_columnar::from_bytes::<TableStruct>(&bytes).unwrap();

您可以在 examples 和 tests 中找到更多 serde_columnar 的示例。

可迭代

当我们在压缩编码中使用列模式时，有一个前提是字段是可迭代的。因此，在反序列化时，我们可以完全借用编码的字节以迭代器的形式获取所有数据，而无需直接分配所有数据的内存。这种实现也可以完全通过宏来完成。

在反序列化时使用iter模式，你只需要做3件事

1. 使用iterable标记所有行结构体
2. 使用iter="..."标记行容器的字段
3. 使用serde_columnar::iter_from_bytes进行反序列化

#[columnar(vec, ser, de, iterable)]
struct Row{
  #[columnar(strategy="Rle")]
  rle: String
  #[columnar(strategy="DeltaRle")]
  delta_rle: u64
  other: u8
}

#[columnar(ser, de)]
struct Table{
  #[columnar(class="vec", iter="Row")]
  vec: Vec<Row>,
  other: u8
}

let table = Table::new(...);
let bytes = serde_columnar::to_vec(&table).unwrap();
let table_iter = serde_columnar::iter_from_bytes::<Table>(&bytes).unwrap();

致谢

• serde：Rust的序列化框架。
• postcard：Postcard是一个专注于no_std的Serde序列化和反序列化器。我们使用它作为序列化和反序列化器，以便提供VLE和ZigZag编码。
• Automerge：Automerge是一个优秀的CRDT框架，我们重用了其中的RLE编码相关代码。