A
Member
把 7B~8B 模型量化到 INT4 放到端侧设备上跑，推理速度确实上去了，但精度掉多少、掉在哪类任务上，实测之前心里没底。这次在消费级显卡和边缘盒子上做了组对比，结论分享如下。
1. 量化方式的影响比量化位数更大
同样 INT4，GPTQ、AWQ、GGUF K-Quant 的精度表现并不一样。我的测试里 AWQ 在数学推理任务上掉点最少，GGUF Q4_K_M 在通用问答上最稳，选量化方案要按自己的任务类型实测，不能只看位数。
2. 掉点集中在长链推理和代码生成
短问答、摘要这类任务，INT4 掉点在 1~2 个百分点内，基本无感；但多步数学推理和代码生成，掉点能到 5~8 个百分点，而且错误模式是“中间步骤悄悄算错”，不是直接答错，更难发现。
3. 困惑度指标会低估实际影响
只看困惑度，INT4 和 FP16 的差距很小，但放到具体任务上差距就出来了。评估量化模型一定要跑任务基准，困惑度只能做初步筛选。
4. KV Cache 量化是第二块蛋糕
权重 INT4 之后，KV Cache 往往成了显存大头。把 KV Cache 也量化到 8bit，长上下文场景下显存能再省 30%~40%，对精度的影响在我的测试里小于 1 个百分点，性价比很高。
5. 端侧部署的取舍公式
我的取舍逻辑是：任务允许 3 个百分点以内掉点就上 INT4，超过就退到 INT8 或者混合精度；同时留一个 FP16 的云端 fallback，端侧置信度低时自动转云端，精度和成本两头兼顾。
你们端侧部署小模型一般用什么量化方案？有没有量化后掉点超出预期的翻车经历？
1. 量化方式的影响比量化位数更大
同样 INT4，GPTQ、AWQ、GGUF K-Quant 的精度表现并不一样。我的测试里 AWQ 在数学推理任务上掉点最少，GGUF Q4_K_M 在通用问答上最稳，选量化方案要按自己的任务类型实测，不能只看位数。
2. 掉点集中在长链推理和代码生成
短问答、摘要这类任务，INT4 掉点在 1~2 个百分点内，基本无感；但多步数学推理和代码生成，掉点能到 5~8 个百分点，而且错误模式是“中间步骤悄悄算错”，不是直接答错，更难发现。
3. 困惑度指标会低估实际影响
只看困惑度，INT4 和 FP16 的差距很小，但放到具体任务上差距就出来了。评估量化模型一定要跑任务基准，困惑度只能做初步筛选。
4. KV Cache 量化是第二块蛋糕
权重 INT4 之后，KV Cache 往往成了显存大头。把 KV Cache 也量化到 8bit，长上下文场景下显存能再省 30%~40%，对精度的影响在我的测试里小于 1 个百分点，性价比很高。
5. 端侧部署的取舍公式
我的取舍逻辑是：任务允许 3 个百分点以内掉点就上 INT4，超过就退到 INT8 或者混合精度；同时留一个 FP16 的云端 fallback，端侧置信度低时自动转云端，精度和成本两头兼顾。
你们端侧部署小模型一般用什么量化方案？有没有量化后掉点超出预期的翻车经历？