tpe

此 crate 提供了一种使用 TPE（树结构帕尔岑估计器）的超参数优化算法。

示例

最小化二次函数的结果

一个优化简单二次函数的示例，该函数有一个数值参数和一个分类参数。

use rand::SeedableRng as _;

let choices = [1, 10, 100];
let mut optim0 =
    tpe::TpeOptimizer::new(tpe::parzen_estimator(), tpe::range(-5.0, 5.0)?);
let mut optim1 =
    tpe::TpeOptimizer::new(tpe::histogram_estimator(), tpe::categorical_range(choices.len())?);

fn objective(x: f64, y: i32) -> f64 {
    x.powi(2) + y as f64
}

let mut best_value = std::f64::INFINITY;
let mut rng = rand::rngs::StdRng::from_seed(Default::default());
for _ in 0..100 {
   let x = optim0.ask(&mut rng)?;
   let y = optim1.ask(&mut rng)?;

   let v = objective(x, choices[y as usize]);
   optim0.tell(x, v)?;
   optim1.tell(y, v)?;
   best_value = best_value.min(v);
}

assert_eq!(best_value, 1.000098470725203);

kurobako 基准测试

有一个示例 examples/tpe-solver.rs 实现了 kurobako 解算器接口，因此您可以使用以下方式运行基准测试

$ PROBLEMS=$(kurobako problem-suite sigopt auc)
$ SOLVERS="$(kurobako solver command -- cargo run --release --example tpe-solver) $(kurobako solver optuna)"
$ kurobako studies --solvers $SOLVERS --problems $PROBLEMS --repeats 30 --budget 80 | kurobako run > result.json
$ cat result.json | kurobako report > report.md

上述命令的结果（report.md）显示在此处此处。

参考文献

请参阅以下关于 TPE 详细信息的论文

• 超参数优化算法
• 构建模型搜索的科学：在数百维视觉架构中进行超参数优化