GPU Memory Fragmentation — How Do You Diagnose It?

nvidia-smi shows free memory but allocations fail — classic fragmentation, and our serving framework's allocator stats are cryptic. PagedAttention helped, but I still want better visibility. What tools or metrics do you use to actually see fragmentation, and what fixed it for your workload?

nvidia-smi 只看总量确实会误导，诊断碎片关键是把已分配、已预留和最大连续块三组数分开看。我的做法是先在框架层记录分配器统计：总预留、已用、空闲块数量和最大空闲块，算出最大空闲占比，一旦这个比例持续走低而总量还有余量，基本就是碎片而不是泄漏；再按请求长度分桶看，KV 块大小不一、长短请求混跑时碎片最容易被放大，PagedAttention 能缓解但不能消除跨块对齐浪费。第二步是复现：用固定请求分布跑压测并定期采样块分布，确认碎片是随时间单调恶化还是只在突发时出现，前者要调分配策略，后者更可能是突发准入问题。落地修复上，优先统一块大小、按长度分桶调度、给长请求单独留池，必要时定期重启实例清零碎片，这比盲目加显存更有效。