RSRL (api)

强化学习应该是 快速、安全 且 易于使用 的。

概述

rsrl 提供了在可扩展框架中用于强化学习（RL）实验的泛型构造，并实现了现有方法的高效实现，以实现快速原型设计。

安装

[dependencies]
rsrl = "0.8"

注意，rsrl 启用了其依赖项 ndarray 的 blas 功能，因此如果您正在构建二进制文件，则需要指定与 ndarray 兼容的 BLAS 后端。例如，您可以添加以下依赖项

blas-src = { version = "0.2.0", default-features = false, features = ["openblas"] }
openblas-src = { version = "0.6.0", default-features = false, features = ["cblas", "system"] }

有关更多信息，请参阅 ndarray 的 README。

用法

下面的代码展示了如何使用 rsrl 来评估一个使用傅里叶基投影的线性函数逼近器的 QLearning 代理，以解决经典的山地车问题。

有关更多信息，请参阅 examples/。

let env = MountainCar::default();
let n_actions = env.action_space().card().into();

let mut rng = StdRng::seed_from_u64(0);
let (mut ql, policy) = {
    let basis = Fourier::from_space(5, env.state_space()).with_bias();
    let q_func = make_shared(LFA::vector(basis, SGD(0.001), n_actions));
    let policy = Greedy::new(q_func.clone());

    (QLearning {
        q_func,
        gamma: 0.9,
    }, policy)
};

for e in 0..200 {
    // Episode loop:
    let mut j = 0;
    let mut env = MountainCar::default();
    let mut action = policy.sample(&mut rng, env.emit().state());

    for i in 0.. {
        // Trajectory loop:
        j = i;

        let t = env.transition(action);

        ql.handle(&t).ok();
        action = policy.sample(&mut rng, t.to.state());

        if t.terminated() {
            break;
        }
    }

    println!("Batch {}: {} steps...", e + 1, j + 1);
}

let traj = MountainCar::default().rollout(|s| policy.mode(s), Some(500));

println!("OOS: {} states...", traj.n_states());

贡献

欢迎提交拉取请求。对于重大更改，请先提交一个问题来讨论您想更改的内容。

请确保适当更新测试，并遵循 angularjs 提交信息约定（见 此处）。

许可证

MIT