substrait-rs

Rust crate for Substrait: 关系代数跨语言序列化。

文档

• 文档 (发行版)
• 文档 (主分支)

lib.rs:

Substrait: 关系代数跨语言序列化

序列化和反序列化

此crate提供生成类型以序列化和反序列化Substrait数据。

Protobuf

通过[prost]模块在[proto]模块中提供Protobuf序列化和反序列化。

示例

序列化和反序列化一个计划

use prost::Message;
use substrait::proto::Plan;

let plan = Plan::default();

// Serialize the plan
let encoded = plan.encode_to_vec();

// Deserialize the buffer to a Plan
let decoded = Plan::decode(encoded.as_slice())?;

assert_eq!(plan, decoded);

Serde支持

通过serde功能生成的serde实现与Protobuf JSON映射匹配，通过pbjson。

示例

使用serde功能反序列化计划版本

use substrait::proto::Version;

let version_json = r#"{
  "minorNumber": 21
}"#;

let version = serde_json::from_str::<Version>(version_json)?;
assert_eq!(
  version,
  Version {
    minor_number: 21,
    ..Default::default()
  }
);

文本

Substrait定义了扩展的YAML模式。在[text]模块中，通过typify提供支持序列化和反序列化的类型。

示例

读取一个简单的扩展

use substrait::text::simple_extensions::SimpleExtensions;

let simple_extension_yaml = r#"
%YAML 1.2
---
scalar_functions:
  -
    name: "add"
    description: "Add two values."
    impls:
      - args:
         - name: x
           value: i8
         - name: y
           value: i8
        options:
          overflow:
            values: [ SILENT, SATURATE, ERROR ]
        return: i8
"#;

let simple_extension = serde_yaml::from_str::<SimpleExtensions>(simple_extension_yaml)?;

assert_eq!(simple_extension.scalar_functions.len(), 1);
assert_eq!(simple_extension.scalar_functions[0].name, "add");