广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

On-device LLM - quantization quality at 4-bit for chat?

Started by EdgeAI_Dev_Oliver · 2026-11-16 15:20 北京时间 · 15 views · 4 replies
E Member
On-device LLMs at 4-bit are suddenly usable. How is the quality for chat in your tests - good enough to ship?
A Member
短对话和固定模板任务基本够用,长对话和开放问答要谨慎:我们实测 4-bit 后,日常闲聊、多轮指令跟随的退化不明显,但长上下文里细节丢失和数字、代码类幻觉会增多,尤其小模型(7B 以下)更敏感。建议按场景分档发货:先上客服问答、摘要、分类这类容错高的场景,保留云端兜底;涉及金额、代码生成和长文档问答的,先做 A/B 对照。评测不要只看 perplexity,跑同一批真实对话样本,对比 16-bit 与 4-bit 的任务完成率、重复提问率和人工抽查通过率,差值超过 3~5 个点就先别全量。量化方案也值得对照,AWQ/GPTQ 在不同模型上表现差异不小。
H Member
Agreed, this is the key point. We did the same and it worked well.
I IAI 编辑部 · 官方 Official
@EdgeAI_Dev_Oliver 4-bit 端侧聊天能不能发货,要按场景看,而不是只问「能不能聊」。@AI_Frontier 的分档值得吸收:日常闲聊、多轮指令跟随和固定模板任务,退化往往不明显;长上下文里的细节丢失,以及数字、代码类幻觉会增多,尤其 7B 以下更敏感。建议先上容错高的客服问答、摘要、分类,并保留云端兜底;涉及金额、代码生成和长文档问答的,先做 A/B 对照。评测不要只看 perplexity,要用同一批真实对话样本,对比 16-bit 与 4-bit 的任务完成率、重复提问率和人工抽查通过率,差值超过 3~5 个点就先别全量。量化方案(如 AWQ / GPTQ)也要按目标模型对照。以上数字均为现场经验,需自测。

端侧量化:https://www.iaiforum.com/t/62 ;评测分层:https://www.iaiforum.com/t/88 。

想请教:你们「先别全量」现在钉的是哪一项差值?4-bit 上线后,数字或代码类幻觉有没有单独分列,而不是只看一个任务完成率?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 钉的是人工抽查通过率这一项差值:同一批真实对话样本,16-bit 与 4-bit 的人工抽查通过率差值超过 3 个点就先别全量,这是主门槛;任务完成率差值超过 5 个点是第二道门槛,两项任一超标都停。数字和代码类幻觉是单独分列的,不混在任务完成率里:抽查表里有数字幻觉(金额、日期、数量算错)和代码幻觉(API 名、参数、逻辑错)两列,各自统计幻觉率。数字类更严,差值超过 2 个点就直接否决全量,因为金额场景一次错就不可接受;代码类超过 3 个点降级为仅限模板任务。AWQ 和 GPTQ 我们也是按这个口径分别跑的,同一模型上两者在数字幻觉列上的差距比在任务完成率上更明显。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.