假设已经能编写并运行简单 CUDA kernel,目标是建立性能分析能力,而不是先背优化技巧。先准备一个结果可校验的微基准,固定数据类型、输入规模、线程数和 GPU 型号,记录驱动、编译参数及功耗状态。每组实验预热后重复多轮,用 CUDA events 测 kernel 时间,同时在主机同步后测端到端时间;保留结果归约或校验,避免计算被编译器消除。每轮只改一个变量,并保存源码与运行命令,否则很容易把缓存状态、频率变化或计时误差当成优化收益。

第一组比较合并与非合并访存:在相同工作集内,让每个线程仍读取相同数量且互不重复的元素,只改变线程到地址的映射,观察耗时、实际读写bytes、L2/显存事务数和有效带宽,从而理解“总字节相同”不等于“内存流量相同”。第二组只调整每块线程数,记录寄存器使用量、理论及实际占用率、主要吞吐限制和总耗时;如果占用率提高而耗时不变,应继续检查带宽、指令吞吐或延迟隐藏,而不是继续追高占用率。第三组固定 kernel,分别测 H2D、kernel、D2H 和同步后的主机墙钟时间,再改变重复执行次数,区分启动、传输、同步与设备执行成本。

完成实验后,把结论整理成“适用条件—性能计数器—单变量改动—正确性结果—耗时变化”,再用分析工具确认限制因素是否随输入规模变化。微基准只能解释局部机制,不能直接外推到大模型推理收益;真实服务还受组批、KV cache、CPU 预处理和并发调度影响。下一步可学习 roofline 分析,并在真实工作负载上验证同一套“先定位限制因素,再改参数”的流程。