迈向可编程观测：在GPU Kernel中构建类eBPF风格的性能探针

主要观点总结

本文介绍了GPU Kernel性能分析的技术演进，从使用eBPF进行CPU性能分析到探索GPU性能优化分析的转变。作者在学习NVIDIA Nsight Compute过程中，发现尽管其提供了丰富的硬件计数器和细粒度的性能指标，但数据采集范围和触发条件在profiling前已固定，用户可控程度有限。于是，作者转向研究PTX的动态插桩框架（Neutrino），它允许在GPU Kernel编译后的PTX代码中动态插入探针指令，捕获自定义指标，如特定变量的值、内存访问模式、耗时统计等，从而实现了“GPU版eBPF”。文章通过结合Nsight Compute、PTX插桩与Neutrino的分析框架，展示了GPU Kernel性能分析的深度，并带读者一起探索了CUDA架构基础、矩阵乘法例子和性能优化策略。

关键观点总结

关键观点1: GPU Kernel性能分析技术演进

从使用eBPF进行CPU性能分析到探索GPU性能优化分析。

关键观点2: Nsight Compute的局限性

尽管Nsight Compute提供了丰富的硬件计数器和细粒度的性能指标，但用户可控程度有限。

关键观点3: PTX动态插桩框架（Neutrino）

允许在GPU Kernel编译后的PTX代码中动态插入探针指令，捕获自定义指标。

关键观点4: CUDA架构基础

包括SM、warp、thread/block/grid的调度关系，以及内存层级的区别。

关键观点5: 矩阵乘法例子

通过CUDA C++实现的矩阵乘法例子，展示了性能优化的基本策略。

关键观点6: 性能优化策略

包括最大化并行执行、减少内存访问频次、减少全局内存访问时延、减少bank conflict等。