Fuzzcheck

Fuzzcheck 是一个模块化、结构感知和反馈驱动的 Rust 函数模糊测试引擎。

给定一个函数 test: (T) -> bool，您可以使用 fuzzcheck 找到一个类型为 T 的值，该值会导致测试失败或崩溃。

该工具 fuzzcheck-view 可用于可视化 fuzzcheck 生成的每个/所有测试用例的代码覆盖率。尽管如此，它仍然只是一个原型。

请按照 fuzzcheck.neocities.org 上的指南 开始使用或阅读 docs.rs 上的文档。

设置

需要 Linux 或 macOS。 Windows 支持正在计划中，但我需要帮助。

还需要 Rust nightly。您可以使用以下命令安装它：

rustup toolchain install nightly

虽然不是必需的，但安装 cargo-fuzzcheck 可执行文件将使运行 fuzzcheck 更加容易。

cargo install cargo-fuzzcheck

在您的 Cargo.toml 文件中，将 fuzzcheck 添加为 dev-dependency

[dev-dependencies]
fuzzcheck = "0.12"

然后，我们需要一种序列化值的方法。默认情况下，fuzzcheck 使用 serde_json 来实现此目的（但可以更改）。这意味着我们的数据类型应该实现 serde 的 traits。在 Cargo.toml 中添加以下内容：

[dependencies]
serde = { version = "1.0", features = ["derive"] }

使用方法

以下是使用模糊测试的示例。注意

1. 与fuzzcheck相关的所有代码都基于#[cfg(test)]条件编译，因为我们不希望在常规构建中携带fuzzcheck依赖
2. 模糊测试的宏需要#![cfg_attr(test, feature(no_coverage))]
3. 使用derive(fuzzcheck::DefaultMutator)可以使自定义类型可模糊测试

#![cfg_attr(fuzzing, feature(no_coverage))]
use serde::{Deserialize, Serialize};

#[cfg_attr(fuzzing, derive(fuzzcheck::DefaultMutator))]
#[derive(Clone, Serialize, Deserialize)]
struct SampleStruct<T, U> {
    x: T,
    y: U,
}

#[cfg_attr(fuzzing, derive(fuzzcheck::DefaultMutator))]
#[derive(Clone, Serialize, Deserialize)]
enum SampleEnum {
    A(u16),
    B,
    C { x: bool, y: bool },
}

fn should_not_crash(xs: &[SampleStruct<u8, SampleEnum>]) {
    if xs.len() > 3
        && xs[0].x == 100
        && matches!(xs[0].y, SampleEnum::C { x: false, y: true })
        && xs[1].x == 55
        && matches!(xs[1].y, SampleEnum::C { x: true, y: false })
        && xs[2].x == 87
        && matches!(xs[2].y, SampleEnum::C { x: false, y: false })
        && xs[3].x == 24
        && matches!(xs[3].y, SampleEnum::C { x: true, y: true })
    {
        panic!()
    }
}

// fuzz tests reside along your other tests and have the #[test] attribute
#[cfg(all(fuzzing, test))]
mod tests {
    #[test]
    fn test_function_shouldn_t_crash() {
        let result = fuzzcheck::fuzz_test(super::should_not_crash) // the test function to fuzz
            .default_mutator() // the mutator to generate values of &[SampleStruct<u8, SampleEnum>]
            .serde_serializer() // save the test cases to the file system using serde
            .default_sensor_and_pool() // gather observations using the default sensor (i.e. recording code coverage)
            .arguments_from_cargo_fuzzcheck() // take arguments from the cargo-fuzzcheck command line tool
            .stop_after_first_test_failure(true) // stop the fuzzer as soon as a test failure is found
            .launch();
        assert!(!result.found_test_failure);
    }
}

现在我们可以使用cargo-fuzzcheck来启动测试，使用Rust nightly版本

rustup override set nightly
# the argument is the *exact* path to the test function
cargo fuzzcheck tests::test_function_shouldn_t_crash

这会启动一个循环，直到找到失败的测试为止。在我的机器上大约进行了50ms的模糊测试后，打印出以下行

Failing test case found. Saving at "fuzz/tests::test_function_shouldn_t_crash/artifacts/59886edc1de2dcc1.json"

文件59886edc1de2dcc1.json包含导致测试失败的JSON编码输入。

[
  {
    "x": 100,
    "y": {
      "C": {
        "x": false,
        "y": true
      }
    }
  },
  {
    "x": 55,
    "y": {
      "C": {
        "x": true,
        "y": false
      }
    }
  },
  ..
]

最小化失败的测试输入

Fuzzcheck还可以用来最小化一个失败的测试的大输入。如果失败是可以恢复的（即它不是段错误/堆栈溢出），并且模糊器没有被指示在第一次失败后停止，那么失败的测试案例将自动最小化。否则，您可以使用minify命令。

假设您有一个包含您想要最小化的输入的文件crash.json。使用minify命令和--input-file选项启动带有cargo fuzzcheck <模糊测试的确切名称>

cargo fuzzcheck "tests::test_function_shouldn_t_crash" --command minify --input-file "crash.json"