incr_stats

使用 Rust 的快速、可扩展、增量描述性统计

incr_stats 提供以下特性：时间优化和内存优化的可扩展描述性统计

• 增量更新（也称为 streaming）意味着不存储源数据
• 在请求时计算统计数据几乎是瞬时的
• 比非增量等效项更快，同时需要远少于存储空间
• 允许快速更新已计算的统计数据
• 特别适合内存占用低的程序或数据集过大无法存储的应用程序，例如连续数据生成
• 提供包括偏度和峰度的描述性统计
• 提供总体和样本统计
• 防止因 NaN 和 Inf 造成的错误
• 进行了广泛的准确性测试
• 与 R 和 Octave 验证
• 为每个统计量提供了额外的优化批量函数
• 为每个统计量提供了等效的教科书批量函数
• 速度基准比较了增量计算和批量计算

包含的统计数据

incr_stats 统计包提供了以下描述性统计

• count()
• min()
• max()
• sum()
• mean()
• population_variance()
• sample_variance()
• population_standarddeviation()
• sample_standarddeviation()
• population_skewness()
• sample_skewness()
• population_kurtosis()
• sample_kurtosis()

示例

incr_stats 统计包在 f64 数据上运行，易于使用。

增量/流式处理

无需存储整个数据流即可计算其描述性统计。

use incr_stats::incr::Stats;

let mut s = Stats::new();

// Update the stats as data becomes available, without storing it.
s.update(1.2)?;
s.update(0.2)?;
// ...

// Calculate the descriptive statistics as needed.
println!("The skewness is {:.4}", s.sample_skewness()?);
println!("The kurtosis is {:.4}", s.sample_kurtosis()?);

一些计算是通过每个 update() 来进行的，因此它们比简单地存储值要慢。然而，生成所需的统计信息只需要进行很少的计算，所以例如 sample_kurtosis()，与传统在整个数组上操作的传统算法相比几乎是瞬时的。

还提供了一个 array_update() 函数，以便可以对一组值执行增量更新。

incr_stats 包含了其他两个相同计算的版本，用于比较。通常，增量版本是最快的，但它们都产生相同的结果。

此示例在 examples/incr_example.ps 中，可以使用以下命令运行：$ cargo run --example incr_example。

记忆化

此版本需要存储的数据，但进行了优化并提供相同的精度。描述性统计之间相互依赖，例如偏度依赖于方差，方差依赖于均值。此版本确保在请求任何统计信息时仅执行所需的最小计算。此外，后续请求不会重复已完成的计算。

use incr_stats::vec::Stats;

let a = vec![1.2, -1.0, 2.3, 10.0, -3.0, 3.2, 0.33, 0.23, 0.23, 1.0];
let mut s = Stats::new(&a)?;

println!("The skewness is {:.4}", d.sample_skewness()?);
println!("The kurtosis is {:.4}", d.sample_kurtosis()?);

此示例在 examples/vec_example.ps 中，可以使用以下命令运行：$ cargo run --example vec_example。

批处理

最后，第三个版本使用传统的、教科书中的计算方法。这些计算没有其他开销。它们主要包含在比较和测试中，但在只需要一个或两个统计信息时，对于存储的数据可能是最快的。

use incr_stats::batch;

let a = vec![1.2, -1.0, 2.3, 10.0, -3.0, 3.2, 0.33, 0.23, 0.23, 1.0];

println!("The skewness is {:.4}", batch::sample_skewness(&a)?);
println!("The kurtosis is {:.4}", batch::sample_kurtosis(&a)?);

此示例在 examples/batch_example.ps 中，可以使用以下命令运行：$ cargo run --example batch_example。

如何选择？

首先选择 incr 统计，除非你的用途符合下面描述的优化。

incr，增量统计

incr 统计不存储数据，而是只存储在请求完整统计信息时所需的一些中间值。它一次或几次更新一个或几个值。

增量统计在计算上最终与批量计算等价，只是在单个数据更新上分摊了计算。这是计算大型数据集描述性统计的最快方式。

如果以下情况也适用：

• 内存有限
• 数据无限，例如在流式或连续数据应用程序中
• 你不想存储和管理所有数据
• 当前的统计信息需要更新
• 数据一次只出现一个或几个点，但需要整体统计信息
• 请求统计信息时必须快速计算，即没有时间在整个数据集上计算。

vec，优化向量统计

消除数据存储并使最终统计计算快速进行的权衡是，对每个update()执行中间计算比简单地存储数据要慢。

vec统计结构在执行存储数据上的计算时缓存中间结果。这种优化确保了当其他统计需要时，依赖计算（如均值和方差）被重复使用。重复调用变为查找而不是重新计算。

当以下情况发生时，使用vec统计：

• 应用程序不能为增量update()提供足够的时间，但只有时间存储数据
• 你只对一两个统计感兴趣，因此update()计算的开销浪费在不会请求的统计上
• 如果最终统计的计算速度慢，因为是在整个数据集上操作，这也是可以接受的。