Lib.rs

› 开发工具 › 性能分析 | 操作系统 › Unix API
#nvbit #gpgpu #ffi #helper #nvidia

nvbit-build

编译 NVIDIA NVBIT 仪器化的构建时助手

作者：Roman Dahm

31 次发布

0.0.38 2023 年 10 月 10 日
0.0.35 2023 年 9 月 8 日
0.0.32 2023 年 7 月 29 日
0.0.19 2023 年 3 月 22 日

#44 in 性能分析

Download history 144/week @ 2024-04-15 305/week @ 2024-04-22

4,218 每月下载次数

自定义许可

19KB
309 行代码（不含注释）

nvbit-rs

试试看
make -j -B -C test-apps/

# build the mem trace example tracer
cargo build --release -p mem_trace

# trace a sample application
LD_PRELOAD=./target/release/libmem_trace.so ./test-apps/vectoradd/vectoradd 100

完成

  • 实现 messagepack 和 json 跟踪转储
  • 不工作：清理 nvbit API，以便在 nvbit-rs 中管理上下文，钩子只是函数
Accelsim 参考
make -B -j -C ./tracer_nvbit
LD_PRELOAD=./tracer_nvbit/tracer_tool/tracer_tool.so ./nvbit-sys/nvbit_release/test-apps/vectoradd/vectoradd

这将生成以下文件： ./tracer_nvbit/tracer_tool/traces/kernelslist 和 ./tracer_nvbit/tracer_tool/traces/stats.csv。

我们的实现
cargo build --release
make -B -j -C ./examples/accelsim
LD_PRELOAD=./target/release/libaccelsim.so ./test-apps/vectoradd/vectoradd 100
LD_PRELOAD=./target/release/libmem_trace.so ./test-apps/vectoradd/vectoradd 100

docker build --platform linux/amd64 -t builder .
docker run --rm -i -v "$PWD":/src -v "$PWD"/buildcache:/cache builder cargo build

nvcc -D_FORCE_INLINES -dc -c -std=c++11 -I../nvbit_release/core -Xptxas -cloning=no -Xcompiler -w  -O3 -Xcompiler -fPIC tracer_tool.cu -o tracer_tool.o

nvcc -D_FORCE_INLINES -I../nvbit_release/core -maxrregcount=24 -Xptxas -astoolspatch --keep-device-functions -c inject_funcs.cu -o inject_funcs.o

nvcc -D_FORCE_INLINES -O3 tracer_tool.o inject_funcs.o -L../nvbit_release/core -lnvbit -lcuda -shared -o tracer_tool.so

现在是介绍工作空间的好时机，使示例单独的 Crates 有 cargo.toml 和 build.rs，按这种方式为每个示例编写自定义跟踪内核，这样我们最终可以包括符号

TODO - 我们发现 Rust 和 C++ 互操作性很困难 - 例如 nvbit_get_related_functions 返回 std::vector<CUfunction>，对于它没有简单的绑定，即使使用 &cxx::CxxVector<CUfunction> 也不行，因为 CUfunction 是一个 FFI 结构体（按值）。

  • 一种可能的方法是提供一个包装器，将其复制到 cxx::Vec<CUfuncton> 中，我想（参见 这个示例）

  • 由于我们正在跟踪，并且这需要为每个未见过的函数执行，因此这种复制开销是不可接受的

    • TODO：找出它被调用的频率，并可能仍然这样做并测量
      • 更新：get_related_functions 只调用一次，尝试在 rust 中实现

  • 其他方法：只从通道接收东西，一个简单的结构...

    • 如果这可行：我们如何决定使用哪个跟踪函数
      • （因为我们不能在 rust 中编写新的）

  • 想办法使用命名空间来重复使用相同的nvbit名称好吗？

  • 或者使用Rust封装调用，它调用 ffi::rust_* 函数。

  • 重要观察

    • 我几乎要放弃使用 cxx，因为它只给我 Unsupported type 错误
    • 我没有在 ffi 模块中导入 cxx::UniquePtr 或 cxx::CxxVector，所以我假设我需要使用 cxx:: 来引用类型。
    • 虽然文档中没有使用，但在顶级模块中使用了它们...
    • 实际上你需要省略 cxx:: 前缀，因为这全是宏魔术...

完成

  • 我们必须以某种方式将CUDA注入函数和 nvbit_tool.h 包括到二进制文件中。
    • 也许可以在构建脚本中静态编译它们
    • 然后与 nvbit-sys 包链接
    • 然后，nvbit_at_init 应该会被调用 - 希望如此

示例

当前目标是获取一个用Rust编写的追踪器的可工作示例。用法如下

# install lld
sudo apt-get install -y lld
# create a shared dynamic library that implements the nvbit hooks
cargo build -p accelsim
# run the nvbit example CUDA application with the tracer
LD_PRELOAD=./target/debug/libaccelsim.so nvbit-sys/nvbit_release/test-apps/vectoradd/vectoradd

注意

检查已安装的clang版本

apt list --installed | grep clang

当运行 clang nvbit.h 时，它还会抱怨缺少 cassert。使用 -std=c++11 -I$(NVBIT_PATH)

是C++ STL，因此我们需要： clang++ -std=c++11 nvbit.h。

bindgen 与C++代码配合得不太好，请参阅 此处。

我们需要一些clang工具，以便bindgen可以找到 #include <cassert>。

我们还需要包括 nvbit.h、nvbit_tool.h 和注入的追踪函数，这些函数需要编译和链接到二进制文件中的 .cu 文件。

这个示例 展示了如何编译和链接 .cu 文件与 cc 包。

确保nvbit的C函数钩子在共享库中没有被破坏

nm -D ./target/debug/examples/libtracer.so
nm -D ./target/debug/build/nvbit-sys-08fdef510bde07a0/out/libinstrumentation.a

问题：我们需要在二进制文件中存在 instrument_inst 函数，就像示例中那样

nm -D /home/roman/dev/nvbit-sys/tracer_nvbit/tracer_tool/tracer_tool.so | grep instrument

# for a static library:
nm --debug-syms target/debug/build/accelsim-a67c1762e4619dad/out/libinstrumentation.a | grep instrument

目前它还没有：

确保我们使用静态链接

ldd ./target/debug/examples/libtracer.so

检查 cxx 生成的包含

tre target/debug/build/nvbit-sys-*/out/cxxbridge/

依赖

~270–730KB
~17K SLoC