#simd #fusion #three-way #pclmulqdq

crc-32c

使用加速的SIMD和融合算法计算CRC-32C

1个不稳定版本

0.1.0 2023年11月14日

#2124 in 算法

Apache-2.0

7KB

简介

此仓库旨在提供Rust包,用于计算现代X86/ARM64芯片上数据缓冲区的CRC-32C。

算法通过SIMD内联函数和数学运算加速,在参考12中描述

目标

最终基准性能应如下所示

Broadwell @ 3.00GHz Skylake @ 3.20GHz Ice Lake @ 2.40GHz
crc32_4k 10.19 GB/s 21.3 b/c 12.64 GB/s 21.3 b/c 11.59 GB/s 21.3 b/c
crc32_4k_pclmulqdq 23.32 GB/s 48.8 b/c 28.12 GB/s 47.5 b/c 27.45 GB/s 50.5 b/c
crc32_4k_three_way 26.99 GB/s 56.5 b/c 33.26 GB/s 56.1 b/c 29.18 GB/s 53.7 b/c
crc32_4k_fusion 44.44 GB/s 93.0 b/c 55.65 GB/s 93.9 b/c 50.36 GB/s 92.7 b/c

替代方案

4K吞吐量 1M吞吐量
crc 286.60 MiB/s 286.02 MiB/s
crc32c 3.3124 GiB/s 3.5175 GiB/s

参考

  1. https://www.corsix.org/content/fast-crc32c-4k
  2. https://github.com/komrad36/CRC
  3. https://en.wikipedia.org/wiki/Cyclic_redundancy_check
  4. https://www.intel.com/content/www/us/en/docs/intrinsics-guide/index.html

无运行时依赖