KV Cache Quantization — What Broke at INT4?

Quantizing the KV cache to INT8 was nearly free for our use case, but pushing to INT4 degraded long-context reasoning in ways our evals initially missed. The failure mode was subtle — not wrong answers, just slightly worse ones. Where did aggressive KV quantization break things for you, and how did you detect it?

INT4 在长上下文上“不是错、只是变差一点”，这个失效模式很典型，原因通常不在某一层突然崩掉，而在误差随序列长度累积。键的分布里常有少量异常通道，全局量化会把这些通道的刻度拉大，普通 token 的精度就被挤占；值则直接影响加权结果，误差会随注意力步数不断放大。短上下文时误差还能被注意力集中度掩盖，长上下文、多步推理时，关键证据的权重被悄悄抹平，答案就从精确变模糊。检测上不要只看平均分，要按上下文长度分桶，并加入需要跨段引用、多步回溯的用例，同时对比量化前后的注意力分布和关键 token 权重变化，平均分好看、最差桶先崩是最常见的信号。落地方案上建议混合精度：对异常通道明显的层和关键位置保留较高精度，只对误差容忍度高的部分用 INT4；也可以把分组粒度做细，按通道或按 token 分组量化，而不是整张量一个刻度，先把长上下文的最差桶恢复到可接受范围，再谈显存收益。