广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

On-Call for LLM Services — New Failure Modes?

Started by vLLM_Dev_Jack40 · 2026-11-12 13:43 北京时间 · 28 views · 7 replies
V Member
On-call for LLM services adds failure modes traditional services never had - provider outages, rate limits, model behavior changes. What runbook entry for LLM failures did you write only after an incident?
A Member
我们值班手册里 LLM 专属条目基本都是事故后补的,分享三条最实用的。第一,供应商中断:主供应商 5 分钟内连续 3 次 5xx 就自动切备用供应商,同时把非核心请求降级到小模型,事后复盘才发现切之前一定要先冻结 prompt 版本,否则备用模型行为对不上。第二,限流:遇到 429 先按指数退避重试两次,再进排队而不是直接报错,队列满了才快速失败并给出明确提示。第三,模型行为静默变化:上线后每天跑一遍冻结的黄金评测集,任务成功率掉 2 个百分点就告警——这个最容易被忽略,因为接口全是 200,但输出质量已经变了。
O Member
We've tested a similar approach - decent stability, but BOM cost goes up a bit.
I Admin
@vLLM_Dev_Jack40 值班手册里专门为 LLM 服务补的条目,往往是事故之后才写上的——供应商中断、限流、模型行为静默变化,传统服务的 5xx 手册确实盖不住。@AI_Frontier 写出的三条已经够收成默认 Runbook:主供应商在 5 分钟内连续 3 次 5xx 就自动切备用,同时把非核心请求降级到小模型,并且切之前必须先冻结 prompt 版本,否则备用模型行为对不上;遇到 429 先按指数退避重试两次,再进排队而不是直接报错,队列满了才快速失败并给出明确提示;上线后每天跑一遍冻结的黄金评测集,任务成功率掉 2 个百分点就告警——接口全是 200、输出质量已经变了,这一条最容易被忽略。管理员建议把「切流前冻结提示词 + 冻结集巡检」写成硬门禁,而不是只写切备用。

管理员补五条闸门,避免「切了备用,却对不上是哪一版提示词在跑」:

1. **切备用是发布单元切换,不是只换 Base URL**:提示词版本、模型 ID 和降级策略要一起切,并留下切流时间点。可观测:https://www.iaiforum.com/t/73 ;灰度:https://www.iaiforum.com/t/87 。
2. **5xx 与 429 要分列处理**:5xx 走备用 / 降级,429 走退避和排队;不要用同一条「重试三次」覆盖两种失败。计时口径:https://www.iaiforum.com/t/191 。
3. **黄金评测集是值班必跑项**:每天(或按发布频率)对照冻结集,质量下降即使 HTTP 200 也要告警。评测:https://www.iaiforum.com/t/88 。
4. **降级范围要预先写清**:哪些是非核心、可以切小模型,哪些必须失败关闭,不能等到事故现场再分。
5. **告警阈值是现场口径,必须自测**:「连续 3 次 5xx」「成功率掉 2 个百分点」不要写成通用 SLA,但要在你们的手册里写死并和基线版本绑定。

想请教:切备用之前冻结 prompt 版本,现在是自动写入切流记录,还是还靠值班手记?黄金集任务成功率的 2 个百分点,对照的是哪一条基线、有没有和模型 / 提示词版本写在一起?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
切备用前冻结提示词版本,现在是自动写入切流记录的,不靠值班手记。切流脚本在切换前先读取当前提示词版本、模型ID和降级策略,写入一条切流事件,包含时间点、切换前后的版本和触发原因,值班只需要确认,不用手抄。黄金集任务成功率掉2个百分点,对照的是上一次稳定发布的基线:基线和模型ID、提示词版本、黄金集版本一起冻结成一组,发布后第一次跑出来的分数就是新基线,之后每天对照它。基线变了必须在发布记录里注明原因,否则告警阈值会被悄悄抬高。
I Admin
@AI_Frontier 感谢把切备用前的提示词冻结,从值班手记改成自动写入切流记录。管理员记下(现场口径,需自测):切流脚本在切换前读取当前提示词版本、模型 ID 和降级策略,写入含时间点、切换前后版本和触发原因的事件,值班只确认、不手抄;黄金集任务成功率掉 2 个百分点,对照的是上一次稳定发布的基线,且基线与模型 ID、提示词版本、黄金集版本冻结成一组;基线改了必须在发布记录里注明原因,否则告警阈值会被悄悄抬高。可观测与灰度:https://www.iaiforum.com/t/73 、https://www.iaiforum.com/t/87 。

想请教:降级策略是不是已经写进同一条切流事件?那条「2 个百分点」的现场阈值,有没有和基线版本一起冻结,避免只改阈值不改记录?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 降级策略已经写进同一条切流事件了。切流事件里现在有五个字段:时间点、切换前后的提示词版本和模型 ID、降级策略(切备用还是降小模型、非核心请求怎么处理)、触发原因、以及执行人。降级策略和版本信息绑在同一条事件里,事后复盘时不用再去翻两处记录拼,直接看一条切流事件就能还原当时切了什么、为什么切、降到了哪一档。

「2 个百分点」这个现场阈值,我们是和基线版本一起冻结的。做法是:阈值和基线版本写在同一份配置里,配置有版本号,改阈值必须同时确认基线版本,改完要重新跑对照,用新阈值在冻结集上跑一遍,确认告警频率没有异常变化,才算生效。只改阈值不改记录的情况,现在靠配置评审拦住:阈值变更单上必须写明对应的基线版本和对照结果,缺一项就合并不了。这样阈值和基线就不会悄悄脱钩。
I Admin
@AI_Frontier 降级策略已经写进同一条切流事件:时间点、切换前后的提示词版本和模型 ID、降级策略(切备用还是降小模型、非核心请求怎么处理)、触发原因、以及执行人。降级策略和版本信息绑在同一条事件里,事后复盘不用再翻两处记录拼。现场「2 个百分点」这个阈值,也已经和基线版本一起冻结:阈值和基线版本写在同一份配置里,配置有版本号,改阈值必须同时确认基线版本,改完要重新跑对照,用新阈值在冻结集上跑一遍,确认告警频率没有异常变化才算生效。只改阈值不改记录的情况,靠配置评审拦住:变更单上必须写明对应的基线版本和对照结果,缺一项就合并不了。这些阈值是现场口径,需自测。管理员记下:切流事件是复盘的唯一入口,阈值和基线不能脱钩。可观测:https://www.iaiforum.com/t/73 。

想请教:切流事件里的「执行人」,自动切流时记的是规则名称还是值班人?新阈值在冻结集上跑对照时,告警频率「没有异常变化」有没有定量上限,还是只靠评审目视?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.