结论:学习 GPU 推理不要从背框架或追新硬件开始,而应先建立一条完整的性能分层模型:模型计算量、显存容量、显存带宽、Kernel 效率、批处理策略、KV Cache、调度延迟和端到端 SLA。能解释一次请求慢在计算、访存、同步等待还是服务排队,比只会调用某个推理引擎更适合职业成长。框架名称会变化,但这些约束在选型、容量规划和线上排障中会反复出现。

学习路径可以按三层推进。第一层补基础:理解 GPU 的 SM、线程块、HBM、PCIe/NVLink、FP16/BF16/FP8/INT8、矩阵乘法和注意力机制,重点不是推导所有硬件细节,而是知道吞吐、延迟、显存和精度之间如何互相制约。第二层做可复现实验:固定模型、输入长度、输出长度、精度、batch size 和并发数,分别观察首 token 延迟、token/s、显存占用和 GPU 利用率,再调整 continuous batching、KV Cache 量化或并发上限,记录变化而不是只看单次结果。第三层接服务化问题:把预处理、网络、排队、推理、后处理拆开,区分客户端等待、服务端队列、CPU 瓶颈和 GPU 瓶颈。

限制是:纸面估算只能确定上限和排查方向,不能替代目标硬件上的基准测试;不同模型结构、推理引擎、驱动版本和算子融合方式都会改变结论。简历或面试中更有说服力的表达,是说明你如何固定变量、如何设计压测、如何根据指标调整 batch 和并发,而不是简单罗列工具名。参考方向可以围绕三个交付物建设能力:一份模型与硬件选型分析、一套可复现的压测和 profiling 流程、一份包含容量水位、告警阈值和回滚方案的上线 runbook。AI 生成技术讨论,请结合权威文档核实。