Lib.rs

MiniBoosts用于研究

有时，人们想要记录提升过程中的每个步骤。您可以使用Logger结构将日志输出到.csv文件，同时打印出如下状态

有关详细信息，请参阅研究功能部分。

如何使用

文档

将以下内容写入Cargo.toml。

miniboosts = { version = "0.3.3" }

如果您想使用extended功能，启用该标志

miniboosts = { version = "0.3.3", features = ["extended"] }

以下是一个示例代码

use miniboosts::prelude::*;


fn main() {
    // Set file name
    let file = "/path/to/input/data.csv";

    // Read the CSV file
    // The column named `class` corresponds to the labels (targets).
    let sample = SampleReader::new()
        .file(file)
        .has_header(true)
        .target_feature("class")
        .read()
        .unwrap();


    // Set tolerance parameter as `0.01`.
    let tol: f64 = 0.01;


    // Initialize Booster
    let mut booster = AdaBoost::init(&sample)
        .tolerance(tol); // Set the tolerance parameter.


    // Construct `DecisionTree` Weak Learner from `DecisionTreeBuilder`.
    let weak_learner = DecisionTreeBuilder::new(&sample)
        .max_depth(3) // Specify the max depth (default is 2)
        .criterion(Criterion::Twoing) // Choose the split rule.
        .build(); // Build `DecisionTree`.


    // Run the boosting algorithm
    // Each booster returns a combined hypothesis.
    let f = booster.run(&weak_learner);


    // Get the batch prediction for all examples in `data`.
    let predictions = f.predict_all(&sample);


    // You can predict the `i`th instance.
    let i = 0_usize;
    let prediction = f.predict(&sample, i);

    // You can convert the hypothesis `f` to `String`.
    let s = serde_json::to_string(&f);
}

如果您使用提升进行软边缘优化，初始化提升器如下

let n_sample = sample.shape().0; // Get the number of training examples
let nu = n_sample as f64 * 0.2; // Set the upper-bound of the number of outliers.
let lpboost = LPBoost::init(&sample)
    .tolerance(tol)
    .nu(nu); // Set a capping parameter.

请注意，上限参数必须满足1 <= nu && nu <= n_sample。

研究功能

此crate可以输出每个步骤中此类值的CSV文件。

以下是一个示例

use miniboosts::prelude::*;
use miniboosts::{
    Logger,
    LoggerBuilder,
    SoftMarginObjective,
};


// Define a loss function
fn zero_one_loss<H>(sample: &Sample, f: &H) -> f64
    where H: Classifier
{
    let n_sample = sample.shape().0 as f64;

    let target = sample.target();

    f.predict_all(sample)
        .into_iter()
        .zip(target.into_iter())
        .map(|(fx, &y)| if fx != y as i64 { 1.0 } else { 0.0 })
        .sum::<f64>()
        / n_sample
}


fn main() {
    // Read the training data
    let path = "/path/to/train/data.csv";
    let train = SampleReader::new()
        .file(path)
        .has_header(true)
        .target_feature("class")
        .read()
        .unwrap();

    // Set some parameters used later.
    let n_sample = train.shape().0 as f64;
    let nu = 0.01 * n_sample;


    // Read the test data
    let path = "/path/to/test/data.csv";
    let test = SampleReader::new()
        .file(path)
        .has_header(true)
        .target_feature("class")
        .read()
        .unwrap();


    let booster = LPBoost::init(&train)
        .tolerance(0.01)
        .nu(nu);

    let weak_learner = DecisionTreeBuilder::new(&train)
        .max_depth(2)
        .criterion(Criterion::Entropy)
        .build();

    // Set the objective function.
    // One can use your own function by implementing ObjectiveFunction trait.
    let objective = SoftMarginObjective::new(nu);

    let mut logger = LoggerBuilder::new()
        .booster(booster)
        .weak_learner(tree)
        .train_sample(&train)
        .test_sample(&test)
        .objective_function(objective)
        .loss_function(zero_one_loss)
        .time_limit_as_secs(120) // Terminate after 120 seconds
        .print_every(10)         // Print log every 10 rounds.
        .build();

    // Each line of `lpboost.csv` contains the following four information:
    // Objective value, Train loss, Test loss, Time per iteration
    // The returned value `f` is the combined hypothesis.
    let f = logger.run("logfile.csv")
        .expect("Failed to logging");
}

其他

• 目前，此crate主要支持用于二元分类的提升算法。
• 一些提升算法使用Gurobi优化器，因此您必须获取许可证才能使用此库。如果您有许可证，可以通过在Cargo.toml中指定features = ["extended"]来使用这些提升算法（提升器）。如果您在没有Gurobi许可证的情况下尝试使用扩展功能，则编译会失败。
• 可以通过实现Research特质来记录您的算法。
• 运行cargo doc -F extended --open以查看更多信息。
• GraphSepBoost仅支持其论文中第4.2引理所示的数据聚合规则。

未来工作

• 提升器

  • AnyBoost
  • SparsiBoost
  • LogitBoost
  • AdaBoost.L
  • 分支程序

• 弱学习器

  • 词袋
  • TF-IDF
  • RBF-Net

• 其他

  • 并行化
  • LP/QP求解器（此工作允许您在不许可证的情况下使用extended功能）。