必要主义

运行移除语句和方法调用的测试，以帮助识别损坏的测试

必要主义目前支持Anchor (TS)、Foundry、Go、Hardhat (TS)和Rust。

关于必要主义的论文（《Test Harness Mutilation》）将在Mutation 2024上发表。( 论文，幻灯片，预印本)

内容

• 安装
• 概述
• 用法
• 详细信息
• 配置文件
• 局限性
• 语义版本控制策略
• 目标
• 非目标
• 参考文献
• 许可证

安装

系统要求

在您的系统上安装pkg-config和sqlite3开发文件，例如，在Ubuntu上

sudo apt install pkg-config libsqlite3-dev

从crates.io安装Necessist

cargo install necessist

从github.com安装Necessist

cargo install --git https://github.com/trailofbits/necessist --branch release

概述

Necessist会迭代地从测试中移除语句和方法调用，然后运行它们。如果一个测试在移除语句或方法调用后仍然通过，这可能表明测试存在问题。或者更糟糕的是，它可能表明正在测试的代码存在问题。

示例

此示例来自rust-openssl。测试verify_untrusted_callback_override_ok检查失败的证书验证是否可以通过回调来覆盖。但如果回调从未被调用（例如，因为连接失败），测试仍然会通过。必要主义通过显示测试在调用set_verify_callback的情况下仍然通过，揭示了这一事实。

#[test]
fn verify_untrusted_callback_override_ok() {
    let server = Server::builder().build();

    let mut client = server.client();
    client
        .ctx()
        .set_verify_callback(SslVerifyMode::PEER, |_, x509| { //
            assert!(x509.current_cert().is_some());           // Test passes without this call
            true                                              // to `set_verify_callback`.
        });                                                   //

    client.connect();
}

在此发现之后，测试中添加了一个标志，以记录回调是否被调用。该标志必须被设置，才能使测试成功。

#[test]
fn verify_untrusted_callback_override_ok() {
    static CALLED_BACK: AtomicBool = AtomicBool::new(false);  // Added

    let server = Server::builder().build();

    let mut client = server.client();
    client
        .ctx()
        .set_verify_callback(SslVerifyMode::PEER, |_, x509| {
            CALLED_BACK.store(true, Ordering::SeqCst);        // Added
            assert!(x509.current_cert().is_some());
            true
        });

    client.connect();
    assert!(CALLED_BACK.load(Ordering::SeqCst));              // Added
}

与传统的突变测试比较

可能的理论基础

{ Q[(x - 1)/x] ^ x >= 1 }
x -= 1;
{ Q }

Usage: necessist [OPTIONS] [TEST_FILES]... [-- <ARGS>...]

Arguments:
  [TEST_FILES]...  Test files to mutilate (optional)
  [ARGS]...        Additional arguments to pass to each test command

Options:
      --allow <WARNING>        Silence <WARNING>; `--allow all` silences all warnings
      --default-config         Create a default necessist.toml file in the project's root directory
      --deny <WARNING>         Treat <WARNING> as an error; `--deny all` treats all warnings as errors
      --dump                   Dump sqlite database contents to the console
      --dump-candidates        Dump removal candidates and exit (for debugging)
      --framework <FRAMEWORK>  Assume testing framework is <FRAMEWORK> [possible values: anchor, auto, foundry, go, hardhat, rust]
      --no-dry-run             Do not perform dry runs
      --no-sqlite              Do not output to an sqlite database
      --quiet                  Do not output to the console
      --reset                  Discard sqlite database contents
      --resume                 Resume from the sqlite database
      --root <ROOT>            Root directory of the project under test
      --timeout <TIMEOUT>      Maximum number of seconds to run any test; 60 is the default, 0 means no timeout
      --verbose                Show test outcomes besides `passed`
  -h, --help                   Print help
  -V, --version                Print version

operator.connect(roles.oracleNode).signer.sendTransaction({
    to: operator.address,
    data,
}),