如果现象是输入偶发错乱、输出随并发升高而漂移,但单请求回放稳定,先不要直接怀疑模型权重或采样随机性。一个常见原因是固定的 pinned host buffer、零拷贝输入数组或预分配 batch 缓冲区,在前一次 H2D 拷贝完成前被下一个请求复用。排查时先固定同一组输入、batch size、线程数和随机种子,然后把并发从 1、2 到目标压力逐步提升,并记录每个请求的 request id、输入缓冲区地址、入队时间、拷贝完成事件时间和实际推理开始时间。若只在地址复用或并发大于 1 时复现,就优先检查异步拷贝的同步边界,而不是先改模型参数。

可复现的最小验证可以分三步:第一,临时为每个请求分配独立输入缓冲区,或在提交后立即同步拷贝流,观察漂移是否消失;第二,恢复缓冲区池,但在拷贝完成事件 wait 之后才允许该 buffer 回到池中;第三,用固定输入重复压测,比对 token logits、embedding 或最终文本的哈希,而不是只看业务指标。需要注意,立即同步会牺牲传输与计算重叠,只能作为诊断手段;正式修复应使用 CUDA event、流依赖、框架自带的非阻塞传输语义,或在 buffer pool 中按事件完成状态回收。

还要区分三类问题:若独立缓冲区后仍漂移,查模型状态、批处理拼接顺序或外部缓存;若只有复用固定缓冲区时漂移,查生命周期;若错误与特定 GPU 流、线程或进程绑定,再查多流同步和上下文归属。Python 层对象被引用不代表底层 native 内存仍受保护,尤其经过 numpy、__cuda_array_interface__、自定义扩展或共享内存传递时,应在边界处明确所有权和释放时机。最终上线前建议加两类防护:缓冲区借出状态校验,以及压测中对固定输入输出哈希的持续断言,这样能把偶发内存覆盖从“结果异常”提前暴露为可定位的生命周期错误。