nasbench

将 google-research/nasbench 转换为 Rust 版本。

动机

当然，这个 crate 的主要目的是让 NASBench 数据集在 Rust 中可用。此外，另一个目标是减少数据集加载时间。通过使用紧凑的二进制数据格式，这个 crate 可以显著减少加载时间。例如，在我的笔记本电脑上，google-research/nasbench 加载完整数据集需要大约 200 秒。相比之下，这个 crate 只需要几秒钟就能完成加载。

示例

首先，你必须将 NASBench 数据集转换为以下格式

$ wget https://storage.googleapis.com/nasbench/nasbench_full.tfrecord
$ nasbench nasbench_full.tfrecord nasbench_full.bin
$ ls -lh
-rw-rw-rw- 1 foo foo 328M May 12 16:47 nasbench_full.bin
-rw-rw-rw- 1 foo foo 2.0G May 12 16:45 nasbench_full.tfrecord

然后，你可以查询与模型（ops 和 adjacency）相关的评估指标

$ nasbench query nasbench_full.bin \
                 --adjacency 0100110001000000010010000010000001000000010000000 \
                 --ops input conv3x3-bn-relu maxpool3x3 conv3x3-bn-relu \
                       conv3x3-bn-relu conv1x1-bn-relu output
EvaluationMetrics {
    training_time: 1769.1279296875,
    training_accuracy: 1.0,
    validation_accuracy: 0.9241786599159241,
    test_accuracy: 0.9211738705635071
}

对应于上述命令的 Rust 代码

use nasbench::{AdjacencyMatrix, ModelSpec, NasBench, Op};

// Loads the dataset.
let nasbench = NasBench::new("nasbench_full.bin")?;

// Queries a model.
let ops = vec![Op::Input, Op::Conv3x3, Op::MaxPool3x3, Op::Conv3x3,
               Op::Conv3x3, Op::Conv1x1, Op::Output];
let adjacency = "0100110001000000010010000010000001000000010000000".parse()?;
let model_spec = ModelSpec::new(ops, adjacency)?;
println!("{:?}", nasbench.models().get(&model_spec));

限制

google-research/nasbench 提供 NASBench.evaluate() 方法从头开始训练和评估模型，但这个 crate 不提供。

参考文献

• NAS-Bench-101: 向可复制的神经网络架构搜索迈进