krnl

安全、便携、高性能计算（GPGPU）内核。

为 autograph 开发。

• 与CUDA和OpenCL类似的功能。
• 支持GPU和其他Vulkan 1.2兼容设备。
• 通过 MoltenVK 支持 MacOS / iOS。
• 内核以内联方式编写，完全使用 Rust。
  • 可以使用简单的迭代模式而不需要不安全操作。
  • 支持内联 SPIR-V 汇编。
  • 与DebugPrintf集成，为恐慌生成回溯。
• 主机上的缓冲区可以作为Vec和切片原生访问。

krnlc

krnl内核编译器。

• 基于 spirv-builder 构建。
• 支持在Cargo.toml中定义的依赖项。
• 使用 spirv-tools 进行验证和优化。
• 编译到 "krnl-cache.rs"，因此crate将在稳定的Rust上构建。

查看文档以获取安装和用法说明。

安装

对于设备功能（内核），为您的平台安装 Vulkan。

• 对于开发，建议安装 LunarG Vulkan SDK，它包含额外的工具
  • vulkaninfo
  • 验证层
    • DebugPrintf
  • spirv-tools
    • 这被krnlc用于SPIR-V验证和优化。
      • krnlc默认构建，无需安装spirv-tools。

测试

• 检查 vulkaninfo --summary 是否显示您的设备。
  • 实例版本应大于等于1.2。
• 或者，检查是否 cargo test --test integration_tests -- --exact none 显示了您的设备。
  • 您可以使用 cargo test --all-features 运行所有测试。

入门指南

查看文档或使用 cargo doc --all-features 在本地构建它们。

示例

use krnl::{
    macros::module,
    anyhow::Result,
    device::Device,
    buffer::{Buffer, Slice, SliceMut},
};

#[module]
mod kernels {
    #[cfg(not(target_arch = "spirv"))]
    use krnl::krnl_core;
    use krnl_core::macros::kernel;

    pub fn saxpy_impl(alpha: f32, x: f32, y: &mut f32) {
        *y += alpha * x;
    }

    // Item kernels for iterator patterns.
    #[kernel]
    pub fn saxpy(alpha: f32, #[item] x: f32, #[item] y: &mut f32) {
        saxpy_impl(alpha, x, y);
    }

    // General purpose kernels like CUDA / OpenCL.
    #[kernel]
    pub fn saxpy_global(alpha: f32, #[global] x: Slice<f32>, #[global] y: UnsafeSlice<f32>) {
        use krnl_core::buffer::UnsafeIndex;

        let global_id = kernel.global_id();
        if global_id < x.len().min(y.len()) {
            saxpy_impl(alpha, x[global_id], unsafe { y.unsafe_index_mut(global_id) });
        }
    }
}

fn saxpy(alpha: f32, x: Slice<f32>, mut y: SliceMut<f32>) -> Result<()> {
    if let Some((x, y)) = x.as_host_slice().zip(y.as_host_slice_mut()) {
        x.iter()
            .copied()
            .zip(y.iter_mut())
            .for_each(|(x, y)| kernels::saxpy_impl(alpha, x, y));
        return Ok(());
    }
    if true {
        kernels::saxpy::builder()?
            .build(y.device())?
            .dispatch(alpha, x, y)
    } else {
        // or
        kernels::saxpy_global::builder()?
            .build(y.device())?
            .with_global_threads(y.len() as u32)
            .dispatch(alpha, x, y)
    }
}

fn main() -> Result<()> {
    let x = vec![1f32];
    let alpha = 2f32;
    let y = vec![0f32];
    let device = Device::builder().build().ok().unwrap_or(Device::host());
    let x = Buffer::from(x).into_device(device.clone())?;
    let mut y = Buffer::from(y).into_device(device.clone())?;
    saxpy(alpha, x.as_slice(), y.as_slice_mut())?;
    let y = y.into_vec()?;
    println!("{y:?}");
    Ok(())
}

性能

NVIDIA GeForce GTX 1060 with Max-Q Design

benches/compute-benches

alloc

upload

download

zero

axpy

许可协议

双许可，以兼容 Rust 项目。

根据 Apache License 2.0 https://apache.ac.cn/licenses/LICENSE-2.0 或 MIT 许可协议 http://opensource.org/licenses/MIT，由您选择。此文件不得根据这些条款以外的任何方式复制、修改或分发。

贡献

除非您明确声明，否则根据 Apache-2.0 许可证定义的任何有意提交以包含在作品中的贡献，应按上述方式双重许可，不附加任何额外条款或条件。