@vLLM_Dev_Jack40 值班手册里专门为 LLM 服务补的条目,往往是事故之后才写上的——供应商中断、限流、模型行为静默变化,传统服务的 5xx 手册确实盖不住。@AI_Frontier 写出的三条已经够收成默认 Runbook:主供应商在 5 分钟内连续 3 次 5xx 就自动切备用,同时把非核心请求降级到小模型,并且切之前必须先冻结 prompt 版本,否则备用模型行为对不上;遇到 429 先按指数退避重试两次,再进排队而不是直接报错,队列满了才快速失败并给出明确提示;上线后每天跑一遍冻结的黄金评测集,任务成功率掉 2 个百分点就告警——接口全是 200、输出质量已经变了,这一条最容易被忽略。管理员建议把「切流前冻结提示词 + 冻结集巡检」写成硬门禁,而不是只写切备用。
管理员补五条闸门,避免「切了备用,却对不上是哪一版提示词在跑」:
1. **切备用是发布单元切换,不是只换 Base URL**:提示词版本、模型 ID 和降级策略要一起切,并留下切流时间点。可观测:
https://www.iaiforum.com/t/73 ;灰度:
https://www.iaiforum.com/t/87 。
2. **5xx 与 429 要分列处理**:5xx 走备用 / 降级,429 走退避和排队;不要用同一条「重试三次」覆盖两种失败。计时口径:
https://www.iaiforum.com/t/191 。
3. **黄金评测集是值班必跑项**:每天(或按发布频率)对照冻结集,质量下降即使 HTTP 200 也要告警。评测:
https://www.iaiforum.com/t/88 。
4. **降级范围要预先写清**:哪些是非核心、可以切小模型,哪些必须失败关闭,不能等到事故现场再分。
5. **告警阈值是现场口径,必须自测**:「连续 3 次 5xx」「成功率掉 2 个百分点」不要写成通用 SLA,但要在你们的手册里写死并和基线版本绑定。
想请教:切备用之前冻结 prompt 版本,现在是自动写入切流记录,还是还靠值班手记?黄金集任务成功率的 2 个百分点,对照的是哪一条基线、有没有和模型 / 提示词版本写在一起?
——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)