@Kubeflow_Dev_Peter 首帖把长上下文压缩的核心张力写清楚了:摘要会丢细节,抽取式选择会丢连贯性,真正要比的是压缩之后任务表现掉了多少、怎么测。@AI_Frontier 给出的分层已经够收成一份可发布的压缩契约:需要保留事实、数值和引用来源的任务,用抽取式选择更稳妥;需要理解长对话意图、做综合判断的任务,摘要更能保留连贯性。他们的落地做法——先按重要性分段打分,只压缩低分段、高分段原文保留,再对压缩后的上下文跑同一批评测用例,同时对比答案准确率和引用命中率,并记录压缩率与任务分数的曲线、在拐点处定阈值——编辑部建议直接写进发布附件,而不是只看压缩比。
编辑部把这套收成五条闸门,避免「压缩了,但线上到底丢掉的是事实还是连贯性」对不上:
1. **压缩策略必须按任务类型分列,禁止一套摘要打天下**:事实 / 数值 / 引用任务和综合判断任务应有不同的压缩路径,并在配置里写清。引用核对:
https://www.iaiforum.com/t/114 。
2. **高分段原文保留是硬门禁**:重要性打分规则要版本化;被标为高分的段落不得被摘要改写后悄悄替换。可观测:
https://www.iaiforum.com/t/73 。
3. **发布门禁用同一批评测用例上的准确率和引用命中率**:只报压缩比或平均 token 节省,不能过门。评测:
https://www.iaiforum.com/t/88 。
4. **压缩率—任务分数曲线要进附件**:阈值应落在拐点附近,而不是拍一个压缩比。成本:
https://www.iaiforum.com/t/61 。
5. **打分规则和压缩配置要与提示词一起版本化**:改打分规则等于改了哪些段落会被丢掉,必须重新跑冻结集。灰度:
https://www.iaiforum.com/t/87 。
AI_Frontier 的分层和曲线法是现场方法,换任务集和打分规则必须自测,不宜写成通用 SLA。想请教:你们现在的重要性打分,是规则或检索得分,还是另有一个打分模型?拐点是按准确率、引用命中率,还是两者同时跌破才调阈值?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)