#neuro-evolution #neat #genome #population #topologies #augmenting #logging

oxineat

A Rust 实现,用于增强拓扑结构神经演化的算法

7 个版本

0.3.2 2021年11月1日
0.3.1 2021年10月27日
0.2.1 2021年9月25日
0.1.1 2021年8月27日

#6 in #neat


2 个包中使用 (通过 oxineat-nn)

MIT 许可证

57KB
807

OxiNEAT

根据 2002 年论文 实现 增强拓扑结构神经演化 (NEAT)

它设计为高度可配置,允许通过 Genome 特性定义任意的基因组结构。还支持代际种群日志记录。提供基于神经网络的基因组表示,如原始算法中所述,通过 OxiNEAT-NN 包提供。

此包被实现为使用 Rust 的学习练习,以及我自己的实验工具。欢迎提出批评和建议。

这仍然是一个非常正在进行中的项目,因此接口和实现可能在将来发生变化。

示例使用:使用 OxiNEAT-NN 进行的 XOR 函数逼近进化

use oxineat::{Population, PopulationConfig};
use oxineat_nn::{
    genomics::{ActivationType, GeneticConfig, NNGenome},
    networks::FunctionApproximatorNetwork,
};
use serde_json;
use std::num::NonZeroUsize;

// Allowed error margin for neural net answers.
const ERROR_MARGIN: f32 = 0.3;

fn evaluate_xor(genome: &NNGenome) -> f32 {
    let mut network = FunctionApproximatorNetwork::from::<1>(genome);

    let values = [
        ([1.0, 0.0, 0.0], 0.0),
        ([1.0, 0.0, 1.0], 1.0),
        ([1.0, 1.0, 0.0], 1.0),
        ([1.0, 1.0, 1.0], 0.0),
    ];

    let mut errors = [0.0, 0.0, 0.0, 0.0];
    for (i, (input, output)) in values.iter().enumerate() {
        errors[i] = (network.evaluate_at(input)[0] - output).abs();
        if errors[i] < ERROR_MARGIN {
            errors[i] = 0.0;
        }
    }

    (4.0 - errors.iter().copied().sum::<f32>()).powf(2.0)
}

fn main() {
    let genetic_config = GeneticConfig {
        input_count: NonZeroUsize::new(3).unwrap(),
        output_count: NonZeroUsize::new(1).unwrap(),
        activation_types: vec![ActivationType::Sigmoid],
        output_activation_types: vec![ActivationType::Sigmoid],
        child_mutation_chance: 0.65,
        mate_by_averaging_chance: 0.4,
        suppression_reset_chance: 1.0,
        initial_expression_chance: 1.0,
        weight_bound: 5.0,
        weight_reset_chance: 0.2,
        weight_nudge_chance: 0.9,
        weight_mutation_power: 2.5,
        node_addition_mutation_chance: 0.03,
        gene_addition_mutation_chance: 0.05,
        max_gene_addition_mutation_attempts: 20,
        recursion_chance: 0.0,
        excess_gene_factor: 1.0,
        disjoint_gene_factor: 1.0,
        common_weight_factor: 0.4,
        ..GeneticConfig::zero()
    };

    let population_config = PopulationConfig {
        size: NonZeroUsize::new(150).unwrap(),
        distance_threshold: 3.0,
        elitism: 1,
        survival_threshold: 0.2,
        sexual_reproduction_chance: 0.6,
        adoption_rate: 1.0,
        interspecies_mating_chance: 0.001,
        stagnation_threshold: NonZeroUsize::new(15).unwrap(),
        stagnation_penalty: 1.0,
    };

    let mut population = Population::new(population_config, genetic_config);
    for _ in 0..100 {
        population.evaluate_fitness(evaluate_xor);
        if (population.champion().fitness() - 16.0).abs() < f32::EPSILON {
            println!("Solution found!: {}", serde_json::to_string(&population.champion()).unwrap());
            break;
        }
        if let Err(e) = population.evolve() {
            eprintln!("{}", e);
            break;
        }
    }
}

许可证

根据 MIT 许可证 许可。

依赖项

~0.8–1.6MB
~34K SLoC