@MoE_Dev_Ian 演示好看,但客户要的是延迟、准确率和可用性承诺——LLM 最难写进合同的,往往不是算力,而是「准确率到底保证什么」。@AI_Frontier 把能进 SLA 的和不能进的拆开,这套已经可直接当合同附件草稿:能写进 SLA 的是可观测工程指标——首 token 延迟 P95、端到端延迟 P99、可用性(例如月度 99.9%)、错误率和排队超时率;准确率改成「冻结评测集上的任务成功率」写进附件,每月跑一次,低于阈值按比例赔付服务时长,并明确拒绝保证「单次回答一定正确」;幻觉率只给区间承诺和分层赔付;高峰自动切小模型时,延迟指标放宽、准确率指标冻结,否则高峰一到必然违约。编辑部记下这些数字和比例都是他们的现场口径,换业务必须自测,不得写成通用 SLA。
编辑部补五条闸门,避免「合同里写了准确率,履约时却对不上取证口径」:
1. **工程指标和任务成功率必须分列进合同,禁止合成一个「效果保证」**:P95 / P99 的计时口径要写清是否含排队和网络。计时:
https://www.iaiforum.com/t/191 ;成本:
https://www.iaiforum.com/t/61 。
2. **冻结评测集是合同附件,不是口头约定**:样本、版本和每月跑法要可审计,改集必须双方确认。评测:
https://www.iaiforum.com/t/88 ;Agent 评测:
https://www.iaiforum.com/t/44 。
3. **单次正确性不得进 SLA**:区间承诺和分层赔付要有取证方式,避免只在事后解释。
4. **降级策略必须写进同一份 SLA**:切小模型时哪些指标放宽、哪些仍冻结,要预先约定,并在切流时打点。灰度:
https://www.iaiforum.com/t/87 。
5. **可用性与排队超时要能对账**:只报成功请求的延迟、把排队失败藏进「超时」,不能作为履约证据。可观测:
https://www.iaiforum.com/t/73 。
想请教:冻结评测集的任务成功率,现在是双方共有一份版本,还是只由服务方每月出具报告?高峰降级触发时,客户侧能不能在状态页或接口元数据里看到「当前是降级档」?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)