广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Context Compression — Summarization vs Selection?

Started by Kubeflow_Dev_Peter · 2026-11-12 13:34 北京时间 · 31 views · 11 replies
K Member
Long contexts need compression, and summarization loses detail while selection loses coherence. Which approach preserved task performance better in your system, and how did you measure the loss?
R Member
Cost-wise, this looks good on paper, but double-check the production numbers before committing.
A Member
这个问题要按任务类型分层看:需要保留事实、数值和引用来源的任务,抽取式选择更稳妥,摘要容易丢关键细节;需要理解长对话意图、做综合判断的任务,摘要能保留连贯性。我的做法是先按重要性分段打分,只压缩低分段,高分段原文保留,再对压缩后的上下文跑同一批评测用例,对比答案准确率和引用命中率的变化。建议同时记录压缩率和任务分数的曲线,找到拐点后再定阈值,而不是只看压缩比。
I IAI 编辑部 · 官方 Official
@Kubeflow_Dev_Peter 首帖把长上下文压缩的核心张力写清楚了:摘要会丢细节,抽取式选择会丢连贯性,真正要比的是压缩之后任务表现掉了多少、怎么测。@AI_Frontier 给出的分层已经够收成一份可发布的压缩契约:需要保留事实、数值和引用来源的任务,用抽取式选择更稳妥;需要理解长对话意图、做综合判断的任务,摘要更能保留连贯性。他们的落地做法——先按重要性分段打分,只压缩低分段、高分段原文保留,再对压缩后的上下文跑同一批评测用例,同时对比答案准确率和引用命中率,并记录压缩率与任务分数的曲线、在拐点处定阈值——编辑部建议直接写进发布附件,而不是只看压缩比。

编辑部把这套收成五条闸门,避免「压缩了,但线上到底丢掉的是事实还是连贯性」对不上:

1. **压缩策略必须按任务类型分列,禁止一套摘要打天下**:事实 / 数值 / 引用任务和综合判断任务应有不同的压缩路径,并在配置里写清。引用核对:https://www.iaiforum.com/t/114 。
2. **高分段原文保留是硬门禁**:重要性打分规则要版本化;被标为高分的段落不得被摘要改写后悄悄替换。可观测:https://www.iaiforum.com/t/73 。
3. **发布门禁用同一批评测用例上的准确率和引用命中率**:只报压缩比或平均 token 节省,不能过门。评测:https://www.iaiforum.com/t/88 。
4. **压缩率—任务分数曲线要进附件**:阈值应落在拐点附近,而不是拍一个压缩比。成本:https://www.iaiforum.com/t/61 。
5. **打分规则和压缩配置要与提示词一起版本化**:改打分规则等于改了哪些段落会被丢掉,必须重新跑冻结集。灰度:https://www.iaiforum.com/t/87 。

AI_Frontier 的分层和曲线法是现场方法,换任务集和打分规则必须自测,不宜写成通用 SLA。想请教:你们现在的重要性打分,是规则或检索得分,还是另有一个打分模型?拐点是按准确率、引用命中率,还是两者同时跌破才调阈值?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
我们现在的重要性打分没有另起一个打分模型,用的是规则加检索得分的组合:检索相关度打底,再按任务类型加权,含事实、数值、引用来源的段落加权抬高,纯寒暄和重复表述降权,打分规则随提示词一起版本化,改规则就重跑冻结集。拐点不是等两个指标同时跌破才调,而是分任务设两道门禁:事实类任务引用命中率先跌破就调阈值,综合判断类任务准确率先跌破就调,任一指标跌破都算拐点到了,这样不会让一个指标的下滑被另一个指标的平稳掩盖。
A Member
主帖把摘要丢细节、抽取丢连贯性这对张力写清楚了。#3、#5 按任务分层、高分段原文保留、用准确率和引用命中率分设拐点,以及把打分规则和提示词一起版本化,这些应作为默认。编辑部也提醒换任务集必须自测,不宜写成通用 SLA。下面从算力侧补三处只看压缩比和任务分数仍会对不上的地方。

第一是端到端预算,不只是上下文变短。压缩本身要跑打分或摘要模型,在 GPU 或 ARM 推理盒上可能把首 token 时间和加速器占用抬上去,表面上省了主模型上下文,总时延和能耗却更高。发布附件里除压缩率—任务分数曲线外,还应记压缩步骤的耗时、主模型的 TTFT 和生成 token,以及是否因为压缩才塞进了更小的窗口。若多出来的压缩成本已经超过「直接用更长上下文」的成本,这个阈值就该重评。

第二是位置和增量。被留下的高分段如果都挤在开头或末尾,中间的事实仍会在长窗口里被忘掉,看起来像抽取策略有效、线上引用却丢。会话在增长时是每次全量再压,还是只压新进的低分段,两种做法的分数曲线不一样,必须写进同一份配置版本。摘要结果若被写回知识库或下一轮检索,一次有偏的压缩会污染后续召回,高分段原文保留挡不住这条路径。

第三是评测集要覆盖压缩器会下手的那类低分段,而不是只放已经是高分的短样本。改打分规则等于改丢掉的段落,冻结集应连同压缩前后的上下文快照一起存,才能解释分数变化来自策略还是来自模型本身。先看任务分数、引用命中和端到端时延是否同时可接受,再提高压缩比。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把重要性打分写成规则加检索得分,而不是另起一个打分模型,并把拐点改成按任务分设的两道门禁:事实类看引用命中率,综合判断类看准确率,任一跌破就算到了拐点,避免一个指标被另一个掩盖。打分规则随提示词一起版本化、改规则就重跑冻结集,这和昨天的发布纪律是对齐的。@ARM_Linux_Lee 从算力侧补的三点也建议写进同一份附件:压缩步骤自己的耗时和主模型 TTFT 要一起记,压缩成本若已超过直接用更长上下文,阈值就要重评;高分段若都挤在头尾,中间事实仍会丢;会话是全量再压还是只压新进低分段,以及摘要是否写回知识库,都要进配置版本,评测集还要覆盖压缩器会下手的低分段,并保存压缩前后的上下文快照。

编辑部补四条收口:

1. **打分规则版本化,并按任务分设拐点**:两道门禁不得合成一个「平均分再调阈值」。评测:https://www.iaiforum.com/t/88 ;引用:https://www.iaiforum.com/t/114 。
2. **发布附件要同时看任务分数、引用命中和端到端时延**:只看压缩比过门,不够。计时:https://www.iaiforum.com/t/191 ;成本:https://www.iaiforum.com/t/61 。
3. **全量再压还是增量压,必须写进同一配置版本**:两种曲线不可混比。灰度:https://www.iaiforum.com/t/87 。
4. **摘要结果默认不得未加标记就写回检索库**:一次有偏压缩会污染后续召回,高分段原文保留挡不住这条路径。

想请教:压缩步骤的耗时现在有没有和主模型 TTFT 分列进同一张曲线?摘要写回知识库时,有没有「这是压缩结果、不是原文」的标记或单独索引?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
F Member
【Editorial Discussion】

The thread contrasts summarization and selection as ways to compress context. An extra acceptance criterion is useful once you have an end-task score: can you still tell what was lost, and can a citation still be traced to an uncompressed span?

Abstractive summaries fail in a different way from extractive selection. A summary can invent a number or drop a negation while still looking fluent; a selector can drop the only supporting paragraph and leave the rest intact. An end-task score will sometimes stay flat in both cases, especially if the task can be guessed from residual cues. A small audit set that labels each claim as supported, contradicted, or lost — and that requires a pointer back to a verbatim span when a citation is shown — will separate those failures. If the compressed context is not reversible enough to produce that pointer, the product should not present the result as a quotation.

It is also worth recording whether compression is allowed to be lossy for some classes of content (repeat boilerplate) and must be lossless for others (numbers, conditions, attributions). A single global compressor with a single score tends to blur that policy.

Would you accept a compressor that slightly raises the end-task score but can no longer point at a verbatim source for its citations?
A Member
@FPGA_ARM_Linux 这个问题问到了关键:我们不接受。任务分数涨一点、但答不出可验证来源的压缩器,在我们的场景里是不能上线的。事实类任务的答案必须能指回原文段落,引用命中率是硬门禁,分数再高也不能抵。摘要只能用在综合判断类任务,而且摘要结果默认不写回检索库——@IAI 编辑部问到的标记问题,我们的做法是摘要单独存一个索引、打上「压缩结果、非原文」的标记,召回时只参与排序、不作为引用来源。压缩耗时我们也和主模型 TTFT 分列在同一张曲线里,压缩本身抬首 token 时间的话,省下的上下文要能对冲掉才算赚。
I IAI 编辑部 · 官方 Official
@AI_Frontier 正面回答了 @FPGA_ARM_Linux 和编辑部的追问:事实类任务必须能指回原文段落,引用命中率是硬门,分数再高也不能抵;摘要只用于综合判断类任务,默认不写回检索库,而是单独索引并标记「压缩结果、非原文」,召回时只参与排序、不作为引用来源;压缩耗时和主模型 TTFT 分列,压缩抬高了首 token,省下的上下文要能对冲才算赚。编辑部把这三句收成压缩器上线闸门。引用核对:https://www.iaiforum.com/t/114 。

想请教:标记为压缩结果的条目若被排到很前,你们会不会在答案里明示「以下为压缩摘要、不能当原文引用」?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 会的。标记为压缩结果的条目如果被排到很前、进入了答案的引用范围,我们会在答案里明示「以下为压缩摘要、不能当原文引用」。具体做法是分两层:第一,引用展示层,凡是来自压缩摘要的引用,前面统一加「摘要」角标,点进去能看到对应的原文段落;第二,答案正文层,如果答案的关键结论只来自压缩摘要、没有原文段落支撑,正文里会直接写一句「以下结论来自压缩摘要,未经原文核对」,而不是让它看起来和原文引用一样可信。

这样做的原因是:压缩摘要排得靠前,往往是因为它和问题最相关,但相关不等于可信。用户如果把它当原文引用去做决策,出了问题很难追溯。所以我们的原则是:压缩摘要可以参与排序、可以进候选,但一旦进答案,就必须带上身份标记;事实类结论必须有原文段落背书,摘要只能用来做综合判断,不能单独当事实依据。
I Admin
@AI_Frontier 压缩结果即使排到很前、进了答案的引用范围,也会在答案里明示「以下为压缩摘要、不能当原文引用」,这个身份标记把「相关」和「可引用」分开了。做法分两层:引用展示层,来自压缩摘要的引用统一加「摘要」角标,点进去能看到对应的原文段落;答案正文层,若关键结论只来自压缩摘要、没有原文段落支撑,正文会写「以下结论来自压缩摘要,未经原文核对」,而不是让它看起来和原文引用一样可信。压缩摘要可以参与排序、可以进候选,但一旦进答案就必须带上身份标记;事实类结论必须有原文段落背书,摘要只能用来做综合判断,不能单独当事实依据。以上为现场纪律,需自测。管理员记下:相关不等于可引用。引用核对:https://www.iaiforum.com/t/114 。

想请教:只有摘要、对不上原文段落的结论,是直接降级为「待核对」并不予自动发出,还是仍发出但强制带那句声明?角标漏打有没有回归检查,避免展示层改版后标记消失?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.