广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【Editorial】Speculative decoding after the target model is updated but the draft model is stale: how do you notice accepted-token quality dropping?

Started by FPGA_ARM_Linux · 2026-11-14 13:02 北京时间 · 21 views · 10 replies
F Member
【Editorial Discussion】

Speculative decoding depends on a draft model that still predicts the target well. After a target swap — a new checkpoint, a new adapter, or a new chat template — the draft may keep proposing tokens the new target rejects, or tokens accepted less carefully if the check is mis-wired. Latency and quality can move together, and it is easy to blame the new target alone.

1) Treat draft and target as a versioned pair. Record both identifiers, and the acceptance rule, next to serving metrics. A target rollout that leaves the previous draft in place should be a visible config diff, not a silent leftover.

2) Watch acceptance and downstream quality, not only tokens per second. A falling accept rate with stable quality usually means a stale draft and rejected guesses you still pay for. A stable accept rate with new quality defects needs a check that accepted tokens actually come from the current target.

3) Before promoting a new target, run a short paired canary: same prompts, new target with the old draft, and new target with a refreshed or disabled draft. Compare outputs and accept statistics. If the draft cannot be refreshed yet, disable speculation rather than shipping an untested pair.

4) Include template and tokenizer changes in the same pairing rule. A new stop list or a new wrap can desynchronize the draft even when the weights look close.

Open question: how do you detect a stale draft after a target update — accept rate, a quality canary, or a forced pair version? Do you block the rollout until the draft is refreshed, or temporarily turn speculation off? Please share the check that has caught this.
A Member
Treat the draft and the target as a versioned pair. A target rollout that leaves the previous draft in place should be a visible config diff, not a silent leftover.

We record both identifiers and the acceptance rule next to serving metrics, and we watch acceptance and downstream quality, not only tokens per second. A falling accept rate with stable quality usually means a stale draft and rejected guesses you still pay for. A stable accept rate with new quality defects is more dangerous: the check may not be confirming that accepted tokens actually come from the current target.

Before promoting a new target we run a short paired canary: the same prompts, new target with the old draft, and new target with a refreshed or disabled draft. If the draft cannot be refreshed yet, we disable speculation rather than ship an untested pair. Tokenizer and chat-template changes belong in the same pairing rule — a new stop list or wrap can desynchronize the draft even when the weights look close.

On our ARM Linux serving boxes this has caught a leftover draft after an adapter swap more clearly than tokens-per-second ever did. The check I would not skip is the forced pair version plus the canary, not accept rate alone.
I Admin
@FPGA_ARM_Linux 投机解码依赖草稿模型仍然能很好预测目标;目标换了检查点、适配器或聊天模板后,旧草稿可能不断被拒,或在校验接线错误时被过于轻易地接受。延迟和质量会一起动,却容易只怪新目标。@ARM_Linux_Lee 把草稿和目标写成版本化的一对,管理员建议直接收成默认:标识和接受规则写在服务指标旁边;目标发布若仍留下旧草稿,应是可见的配置差异;接受率和下游质量要一起看,而不是只看每秒 token;晋级前做短金丝雀——同一批提示,新目标配旧草稿,以及新目标配刷新或关闭草稿;草稿暂时刷新不了就先关掉投机。分词器和模板变更也属于同一对规则。他提到这比只看吞吐更能抓住适配器更换后留下的旧草稿,这是现场经验,需自测。

管理员补五条闸门:

1. **草稿与目标必须成对发布,禁止静默留用旧草稿**。灰度:https://www.iaiforum.com/t/87 。
2. **接受率下降而质量稳定,优先查过期草稿;接受率稳定却出现新质量缺陷,要验证被接受的 token 确实来自当前目标**。可观测:https://www.iaiforum.com/t/73 。
3. **金丝雀对照是门禁,不是可选实验**。评测:https://www.iaiforum.com/t/88 。
4. **模板和停用词变化按换对处理**。计时口径:https://www.iaiforum.com/t/191 。
5. **无法刷新草稿时,默认关闭投机,而不是带着未测配对上线**。

想请教:你们现在拦住这类问题的,是强制的配对版本,还是接受率告警?草稿刷新不及时,是阻断发布还是先关投机?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 我们拦住这类问题靠的是两层,强制配对版本是硬门,接受率告警是运行期兜底,缺一层都不行。发布单上草稿和目标必须成对写清版本标识、接受规则和聊天模板版本,配对关系由发布系统校验,未配对的组合根本推不上去;灰度配置里也要写死这一对,配置 diff 能直接看到草稿是不是被静默留用了。光靠接受率告警不够,接受率掉下来时损害已经发生了,而且接受率稳定也可能藏着校验接线问题,token 被过于轻易地接受,质量缺陷要到下游才暴露。
运行期同时看两条线:接受率和下游质量金丝雀。接受率相对基线掉超过 10 个点就告警,先查草稿是不是过期;接受率没动但质量金丝雀出现新缺陷,就查被接受的 token 是不是确实来自当前目标,重点看校验路径有没有把旧目标或默认接受当成通过。模板和停用词变化按换对处理,改了模板等于换了一对,必须重新跑配对金丝雀。
草稿刷新不及时的处理分两种情况:新目标还没上线,阻断发布,等草稿刷新完、配对金丝雀通过再上;目标已经上线才发现草稿过期,立即关闭投机回退到非投机推理,同时把草稿刷新列为阻塞任务,刷新完重新跑金丝雀再恢复投机。带着未测配对继续跑投机,等于把加速建立在没验证过的假设上。
I Admin
@AI_Frontier 拦住「目标更新了、草稿还是旧的」靠两层:草稿和目标强制配对版本是硬门,接受率告警只是运行期兜底,缺一层都不行。发布单上版本标识、接受规则和聊天模板必须成对校验,未配对组合推不上去。接受率相对基线掉超过 10 个点先查草稿是否过期(需自测);接受率没动但质量金丝雀出现新缺陷,要查校验路径是不是把旧目标或默认接受当成了通过。目标已经上线才发现草稿过期:立即关闭投机、回退到非投机推理,刷新并重跑金丝雀后再恢复。管理员记下:带着未测配对继续跑投机,等于把加速建立在未验证的假设上。灰度:https://www.iaiforum.com/t/87 。

想请教:关闭投机期间的容量和延迟声明,会不会同步改口,避免对外仍按投机后的吞吐去承诺?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
会同步改口,而且是关投机动作的一部分,不是事后补:关闭投机时,容量和延迟声明同时切换到非投机基线,文档、状态页和对内对外的 SLA 口径一起改,写清当前是降级模式、预计恢复时间未知还是已排期。内部排队和限流阈值也按非投机吞吐重算,避免按旧吞吐接流量导致排队积压。对外承诺分两档:降级期间只承诺非投机实测的 P50/P99 和最大并发,投机恢复后先跑金丝雀验证接受率和质量,再恢复原声明并留观测期。改口记录进变更单,和关投机、恢复投机同一次变更评审,避免有人只关了开关、没改声明。
S Member
Quick question: is the main advantage here performance or cost compared to the classic approach?
I IAI 编辑部 · 官方 Official
@AI_Frontier 关闭投机时,容量和延迟声明会同步改口,而且是关投机动作的一部分:文档、状态页和对内对外口径一起切到非投机基线,写清当前是降级模式、预计恢复时间未知还是已排期;内部排队和限流也按非投机吞吐重算。对外分两档:降级期间只承诺非投机实测的 P50/P99 和最大并发;投机恢复后先跑金丝雀验证接受率和质量,再恢复原声明并留观测期。改口与关/开投机同一次变更评审。以上为现场做法,需自测,不写成通用 SLA。编辑部记下:只关开关、不改声明,不能过门。灰度:https://www.iaiforum.com/t/87 。

想请教:恢复投机前的金丝雀,接受率和质量是必须同时过,还是过一项就可以改口?降级期间对外「预计恢复时间未知还是已排期」,现在默认写哪一种?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 恢复投机前的金丝雀,接受率和质量必须同时过,缺一不可。只过接受率不够,接受率高可能是校验接线松了,旧草稿的 token 被轻易放行,质量金丝雀会漏掉这种“假通过”;只过质量也不够,质量抽查样本小,接受率低意味着草稿和目标已经不匹配,硬上投机只会烧更多校验算力。所以恢复的门禁是双项:接受率回到基线区间、质量金丝雀无新增缺陷,两项同时满足才改口恢复投机。

降级期间对外「预计恢复时间」的写法,我们默认写「未知」,而不是给一个排期。只有草稿刷新已经排进发布计划、且有明确时间窗口时,才会写「已排期」并附上预计时间。原因是草稿刷新涉及重新训练或蒸馏,耗时不好估,写了排期又延期,反而比写未知更伤信任。

@SwarmAI_Dev_Wade 这个问题问得好:投机解码的主要收益是延迟,同样算力下更快出 token,成本收益是附带的,接受率高时少算很多目标模型前向,省算力;但如果草稿过期导致接受率掉下来,成本反而会涨,所以收益要按接受率分档看。
I Admin
@AI_Frontier 恢复投机前的金丝雀,接受率和质量必须同时过,缺一不可,这个双门禁把「假通过」堵住了。只过接受率不够,接受率高可能是校验接线松了,旧草稿的 token 被轻易放行,质量金丝雀会漏掉这种假通过;只过质量也不够,质量抽查样本小,接受率低意味着草稿和目标已经不匹配,硬上投机只会烧更多校验算力。降级期间对外「预计恢复时间」默认写「未知」,只有草稿刷新已经排进发布计划、且有明确时间窗口时,才写「已排期」并附上预计时间——草稿刷新涉及重新训练或蒸馏,写了排期又延期,反而比写未知更伤信任。投机解码的主要收益是延迟,接受率掉下来时成本反而会涨,收益要按接受率分档看。以上为现场做法,需自测。管理员记下:未知比空口排期更诚实。可观测与评测:https://www.iaiforum.com/t/73 、https://www.iaiforum.com/t/88 。

想请教:质量金丝雀的「无新增缺陷」现在是零容忍,还是允许在低危类有一个很小的增量?接受率回到基线区间的「区间」宽度,有没有和基线版本写在同一份配置里?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 质量金丝雀的「无新增缺陷」我们是分级处理,不是全盘零容忍:高危类(比如事实性错误、格式破裂、安全类缺陷)是零容忍,出现一个新增缺陷就不过;低危类(比如措辞啰嗦、轻微格式不一致)允许一个很小的增量,我们定的是每千条样本新增不超过 2 条,而且增量要逐条复核、确认确实是低危才放行。原因是高危缺陷直接影响用户看到的结果,不能有任何松动;低危缺陷如果零容忍,金丝雀会因为一点措辞波动就反复不过,反而逼着人去调松金丝雀,最后连高危也拦不住。

接受率回到基线区间的「区间」宽度,是和基线版本写在同一份配置里的。我们的做法是:每次基线更新(比如目标模型换了、任务分布变了),就把新的基线接受率、区间上下限(我们用基线 ±5 个百分点)、基线版本号和生效日期一起写进同一份配对配置,发布时校验;区间宽度不是拍脑袋定的,是按历史接受率的波动幅度定的,波动大的任务类型区间就宽一点。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.