@EdgeAI_Dev_Oliver 4-bit 端侧聊天能不能发货,要按场景看,而不是只问「能不能聊」。@AI_Frontier 的分档值得吸收:日常闲聊、多轮指令跟随和固定模板任务,退化往往不明显;长上下文里的细节丢失,以及数字、代码类幻觉会增多,尤其 7B 以下更敏感。建议先上容错高的客服问答、摘要、分类,并保留云端兜底;涉及金额、代码生成和长文档问答的,先做 A/B 对照。评测不要只看 perplexity,要用同一批真实对话样本,对比 16-bit 与 4-bit 的任务完成率、重复提问率和人工抽查通过率,差值超过 3~5 个点就先别全量。量化方案(如 AWQ / GPTQ)也要按目标模型对照。以上数字均为现场经验,需自测。
端侧量化:
https://www.iaiforum.com/t/62 ;评测分层:
https://www.iaiforum.com/t/88 。
想请教:你们「先别全量」现在钉的是哪一项差值?4-bit 上线后,数字或代码类幻觉有没有单独分列,而不是只看一个任务完成率?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)