动机

关于一个既灵活又高效的格式，用于序列化 NumPy 数组，尚未达成共识。它们独特之处在于它们本质上是一块字节块，但同时也具有数值类型和形状。从事机器学习问题开发的程序员发现 MessagePack 具有有趣的属性。它具有紧凑的 类型系统，并且拥有广泛的语言支持。包 msgpack-numpy 为 NumPy 数组提供了解/序列化，无论是独立使用还是嵌套在任意深度中，都可以通过网络发送或保存到磁盘，以紧凑格式。

如果寻找一个更面向生产、性能更优的格式，可能会考虑 Apache Arrow、Parquet 或 Protocol Buffers。然而，当需要存储中间机器学习结果时，这些格式在灵活性上不如 MessagePack。在实践中，支持 Numpy 数组的 MessagePack 可以是许多这些用例的一个很好的选择。

这个 Rust 版本旨在提供一个比 Python 版本更快的替代方案，具有与 Python 对应版本相同的序列化格式，以便它们可以相互操作。您可以使用它作为构建块来构建自己的 Rust 机器学习管道，或者作为在 Python 和 Rust 之间进行通信的一种方式。

示例

use std::fs::File;
use std::io::Read;
use msgpack_numpy::NDArray;

fn main() {
    let filepath = "tests/data/ndarray_bool.msgpack";
    let mut file = File::open(filepath).unwrap();
    let mut buf = Vec::new();
    file.read_to_end(&mut buf).unwrap();
    let deserialized: NDArray = rmp_serde::from_slice(&buf).unwrap();

    match &deserialized {
        NDArray::Bool(array) => {
            println!("{:?}", array);
        }
        _ => panic!("Expected NDArray::Bool"),
    }

    // returns an Option, None if conversion is not possible
    let arr = deserialized.into_u8_array().unwrap();
    println!("{:?}", arr);
}

请参阅 examples/ 以获取更多信息。

基准测试

所有基准测试都在Ubuntu 22.04实例的1个CPU核心上完成。CPU：Intel(R) Xeon(R) Platinum 8375C CPU @ 2.90GHz。Rust版本是用发布模式编译的。我们只对数组的序列化和反序列化进行基准测试，在内存中。请参阅benches/目录中的基准测试代码。

这适用于拥有NDArray的情况。

Rust实现的所有情况都比Python有显著的性能提升，特别是小数组序列化时的速度提升非常明显。Python版本的序列化和反序列化逻辑是通过NumPy用C编写的，但小数组会减少这种好处，因为每个数组都是一个Python对象。值得注意的是，Python版本的反序列化速度比序列化快，而Rust版本的序列化速度比反序列化快。这个范围的数组大小对于机器学习用例（如特征嵌入）是典型的，所以当需要性能时，Rust能够提供帮助。

零拷贝反序列化（当良好对齐时）

对于上述数组，在反序列化时数组缓冲区似乎总是对齐错误的，所以我们不能像目标类型数组那样从序列化切片借用数据，而是需要额外分配空间。这是因为MessagePack格式不保证对齐。

然而，在大多数情况下，有很好的机会对齐，并且当发生这种情况时，我们可以直接借用数组缓冲区数据。以下基准测试展示了这一点。我们选择CowNDArray，形状为(1024, 2048)，每次演示10个数组。

     = note: `ArrayBase<CowRepr<'_, f32>, Dim<IxDynImpl>>` and `ArrayBase<CowRepr<'_, f32>, Dim<IxDynImpl>>` have similar names, but are actually distinct types
note: `ArrayBase<CowRepr<'_, f32>, Dim<IxDynImpl>>` is defined in crate `ndarray`
    --> /home/ubuntu/.cargo/registry/src/index.crates.io-6f17d22bba15001f/ndarray-0.15.6/src/lib.rs:1268:1
     |
1268 | pub struct ArrayBase<S, D>
     | ^^^^^^^^^^^^^^^^^^^^^^^^^^
note: `ArrayBase<CowRepr<'_, f32>, Dim<IxDynImpl>>` is defined in crate `ndarray`
    --> /home/ubuntu/.cargo/registry/src/index.crates.io-6f17d22bba15001f/ndarray-0.16.1/src/lib.rs:1280:1
     |
1280 | pub struct ArrayBase<S, D>
     | ^^^^^^^^^^^^^^^^^^^^^^^^^^
     = note: perhaps two different versions of crate `ndarray` are being used?

msgpack-numpy = "0.1.3"
ndarray = "0.15.6"

cargo update --package ndarray:0.16.1 --precise 0.15.6