21 个版本
0.0.38 | 2023年10月10日 |
---|---|
0.0.35 | 2023年9月8日 |
0.0.32 | 2023年7月29日 |
0.0.19 | 2023年3月22日 |
#104 in 性能分析
每月下载量 7,336 次
12KB
103 行
nvbit-rs
试试看
make -j -B -C test-apps/
# build the mem trace example tracer
cargo build --release -p mem_trace
# trace a sample application
LD_PRELOAD=./target/release/libmem_trace.so ./test-apps/vectoradd/vectoradd 100
完成
- 实现 messagepack 和 json 跟踪转储
- 不起作用:清理 nvbit api,以便在 nvbit-rs 中管理上下文,钩子只是函数
Accelsim 参考
make -B -j -C ./tracer_nvbit
LD_PRELOAD=./tracer_nvbit/tracer_tool/tracer_tool.so ./nvbit-sys/nvbit_release/test-apps/vectoradd/vectoradd
这将生成以下文件: ./tracer_nvbit/tracer_tool/traces/kernelslist
和 ./tracer_nvbit/tracer_tool/traces/stats.csv
。
我们的实现
cargo build --release
make -B -j -C ./examples/accelsim
LD_PRELOAD=./target/release/libaccelsim.so ./test-apps/vectoradd/vectoradd 100
LD_PRELOAD=./target/release/libmem_trace.so ./test-apps/vectoradd/vectoradd 100
docker build --platform linux/amd64 -t builder .
docker run --rm -i -v "$PWD":/src -v "$PWD"/buildcache:/cache builder cargo build
nvcc -D_FORCE_INLINES -dc -c -std=c++11 -I../nvbit_release/core -Xptxas -cloning=no -Xcompiler -w -O3 -Xcompiler -fPIC tracer_tool.cu -o tracer_tool.o
nvcc -D_FORCE_INLINES -I../nvbit_release/core -maxrregcount=24 -Xptxas -astoolspatch --keep-device-functions -c inject_funcs.cu -o inject_funcs.o
nvcc -D_FORCE_INLINES -O3 tracer_tool.o inject_funcs.o -L../nvbit_release/core -lnvbit -lcuda -shared -o tracer_tool.so
现在是介绍工作空间的好时机,使示例成为独立的 crate,带有 cargo.toml 和 build.rs,按示例编写自定义跟踪内核,这样我们最终可以包含符号
TODO - 我们发现 Rust 和 C++ 互操作很困难 - 例如 nvbit_get_related_functions
返回 std::vector<CUfunction>
,没有简单的绑定,即使是使用 &cxx::CxxVector<CUfunction>
也不行,因为 CUfunction
是一个 FFI 结构体(按值)。
-
一种可能的方式是提供一个包装器,将其复制到
cxx::Vec<CUfuncton>
,我想(参见 此示例) -
由于我们正在跟踪,并且这需要在每个未见过的函数上执行,这种复制开销是不可接受的
- TODO:找出它被调用得多频繁,也许仍然可以这样做并测量
- 更新:get_related_functions 只调用一次,尝试在 Rust 中执行
- TODO:找出它被调用得多频繁,也许仍然可以这样做并测量
-
其他方法:只从通道接收内容,一个简单的结构...
- 如果这可行:我们如何决定使用哪个跟踪函数
- (因为我们不能在Rust中编写新的)
- 如果这可行:我们如何决定使用哪个跟踪函数
-
弄清楚我们是否可以通过使用命名空间来重复使用相同的nvbit名称?
-
或者将调用包装在Rust中,该Rust调用
ffi::rust_*
函数。 -
重要观察
- 我差点放弃使用
cxx
,因为它只给我不支持的类型
错误 - 我没有在
ffi
模块中导入cxx::UniquePtr
或cxx::CxxVector
,所以我假设我需要使用cxx::
来引用类型。 - 它们在文档中没有,但在顶层模块中使用它们...
- 结果,你需要省略
cxx::
前缀,因为这全是宏魔法...
- 我差点放弃使用
完成
- 我们必须以某种方式将CUDA注入函数和
nvbit_tool.h
包含到二进制文件中。- 也许可以在构建脚本中静态编译它们
- 然后与
nvbit-sys
包链接 - 然后,应该调用
nvbit_at_init
- 希望如此
示例
当前目标是获取一个用Rust编写的跟踪器的工作示例。使用方法应为
# install lld
sudo apt-get install -y lld
# create a shared dynamic library that implements the nvbit hooks
cargo build -p accelsim
# run the nvbit example CUDA application with the tracer
LD_PRELOAD=./target/debug/libaccelsim.so nvbit-sys/nvbit_release/test-apps/vectoradd/vectoradd
注意
检查安装的clang版本
apt list --installed | grep clang
当运行clang nvbit.h
时,它还会抱怨缺少cassert。 -std=c++11 -I$(NVBIT_PATH)
是C++ STL,因此我们需要:clang++ -std=c++11 nvbit.h
。
bindgen
与C++代码配合得不太好,请查看这里。
我们需要一些clang的东西,这样bindgen才能找到#include <cassert>
。
我们还需要包含nvbit.h
、nvbit_tool.h
和跟踪注入的函数,这些需要编译和链接到二进制文件的.cu文件。
这个示例展示了如何编译和链接.cu文件与cc
包。
确保nvbit的C函数钩子在共享库中没有被破坏
nm -D ./target/debug/examples/libtracer.so
nm -D ./target/debug/build/nvbit-sys-08fdef510bde07a0/out/libinstrumentation.a
问题:我们需要instrument_inst
函数存在于二进制文件中,就像示例一样
nm -D /home/roman/dev/nvbit-sys/tracer_nvbit/tracer_tool/tracer_tool.so | grep instrument
# for a static library:
nm --debug-syms target/debug/build/accelsim-a67c1762e4619dad/out/libinstrumentation.a | grep instrument
目前,它不是这样的:(
确保我们进行静态链接
ldd ./target/debug/examples/libtracer.so
检查cxx
生成的包含内容
tre target/debug/build/nvbit-sys-*/out/cxxbridge/
依赖关系
~0.4–1MB
~22K SLoC