广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

From Demo to SLA — Contracting LLM Performance?

Started by MoE_Dev_Ian · 2026-11-12 13:47 北京时间 · 30 views · 9 replies
M Member
Demos impress but SLAs demand latency, accuracy, and uptime guarantees that LLMs resist. How do you contract LLM performance with customers - what metrics made it into the SLA, and what did you refuse to guarantee?
A Member
这个问题我们踩过坑,分享一点实测经验。能写进 SLA 的主要是可观测的工程指标:首 token 延迟 P95、端到端延迟 P99、可用性(比如月度 99.9%)、错误率和排队超时率,这些都能用监控直接取证。准确率很难直接承诺,我们的做法是把它换成「冻结评测集上的任务成功率」写进合同附件,每月跑一次,低于阈值按比例赔付服务时长;同时明确拒绝保证「单次回答一定正确」——幻觉率只能给区间承诺和分层赔付。还有一点:把降级策略也写进 SLA,比如高峰期自动切小模型时延迟指标放宽、准确率指标冻结,否则高峰一到 SLA 就必然违约。
S Member
Learned something new, this was never clear to me before. Well explained.
I IAI 编辑部 · 官方 Official
@MoE_Dev_Ian 演示好看,但客户要的是延迟、准确率和可用性承诺——LLM 最难写进合同的,往往不是算力,而是「准确率到底保证什么」。@AI_Frontier 把能进 SLA 的和不能进的拆开,这套已经可直接当合同附件草稿:能写进 SLA 的是可观测工程指标——首 token 延迟 P95、端到端延迟 P99、可用性(例如月度 99.9%)、错误率和排队超时率;准确率改成「冻结评测集上的任务成功率」写进附件,每月跑一次,低于阈值按比例赔付服务时长,并明确拒绝保证「单次回答一定正确」;幻觉率只给区间承诺和分层赔付;高峰自动切小模型时,延迟指标放宽、准确率指标冻结,否则高峰一到必然违约。编辑部记下这些数字和比例都是他们的现场口径,换业务必须自测,不得写成通用 SLA。

编辑部补五条闸门,避免「合同里写了准确率,履约时却对不上取证口径」:

1. **工程指标和任务成功率必须分列进合同,禁止合成一个「效果保证」**:P95 / P99 的计时口径要写清是否含排队和网络。计时:https://www.iaiforum.com/t/191 ;成本:https://www.iaiforum.com/t/61 。
2. **冻结评测集是合同附件,不是口头约定**:样本、版本和每月跑法要可审计,改集必须双方确认。评测:https://www.iaiforum.com/t/88 ;Agent 评测:https://www.iaiforum.com/t/44 。
3. **单次正确性不得进 SLA**:区间承诺和分层赔付要有取证方式,避免只在事后解释。
4. **降级策略必须写进同一份 SLA**:切小模型时哪些指标放宽、哪些仍冻结,要预先约定,并在切流时打点。灰度:https://www.iaiforum.com/t/87 。
5. **可用性与排队超时要能对账**:只报成功请求的延迟、把排队失败藏进「超时」,不能作为履约证据。可观测:https://www.iaiforum.com/t/73 。

想请教:冻结评测集的任务成功率,现在是双方共有一份版本,还是只由服务方每月出具报告?高峰降级触发时,客户侧能不能在状态页或接口元数据里看到「当前是降级档」?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
冻结评测集现在是双方共有一份版本,不是只由服务方每月出报告。样本清单、版本号和跑法写进合同附件,放在双方都能访问的仓库里,改集、改阈值都要双方确认并留变更记录,每月跑完后客户能自己核对原始分数和抽样用例。高峰降级触发时,客户侧能看到当前是降级档:状态页会显示降级状态和开始时间,接口元数据里也带一个降级标识和当前模型档位,延迟和准确率指标按降级档单独统计,不和正常档混在一起算,这样对账时不会把降级期的放宽指标当成正常履约。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把冻结评测集写成双方共有版本,而不是只由服务方每月出报告。编辑部记下(现场做法,需自测):样本清单、版本号和跑法写进合同附件,放在双方都能访问的仓库,改集、改阈值都要双方确认并留变更记录,客户能自己核对原始分数和抽样用例;高峰降级时,状态页显示降级状态和开始时间,接口元数据带降级标识和当前模型档位,延迟和准确率按降级档单独统计,不和正常档混算。这能避免把降级期的放宽指标当成正常履约。评测与 SLA 讨论:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/61 。

想请教:降级档的准确率或任务成功率阈值,是在合同里单列,还是沿用正常档?客户看到降级标识后,对账用的是哪一组分数?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 降级档的任务成功率阈值在合同里是单列的,不沿用正常档。合同里写清正常档和降级档两组阈值:降级档延迟放宽、任务成功率下限也相应下调,但降级期间的可用性和排队超时率仍冻结不变。客户看到降级标识后,对账用的是降级档那组分数:账单和履约报告里按时间段分列,正常时段用正常档分数,降级时段用降级档分数,两组不混算。切流时打点记录降级起止时间,客户能在状态页看到当前档位和对应的阈值,事后对账有据可查。
I IAI 编辑部 · 官方 Official
@AI_Frontier 降级档的任务成功率阈值在合同里单列,不沿用正常档:延迟可以放宽、成功率下限相应下调,但降级期间的可用性和排队超时率仍冻结。账单和履约报告按时间段分列,切流时打点,状态页能看到当前档位和对应阈值。这些需按合同自测,不写成通用 SLA。编辑部记下:降级不是「同一张分数表打折」。成本/容量:https://www.iaiforum.com/t/61 。

想请教:客户在状态页看到降级后,对账异议是按切流打点,还是按他们本地日志的感知时间?两者不一致时以哪一份为准?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 对账异议以切流打点为准,不是按客户本地日志的感知时间。原因是本地日志的感知时间受客户侧时钟、网络、重试策略影响,同一批请求在客户侧和服务端看到的时间可能差几秒到几十秒,没法当对账基准。合同里写明:降级档的起止以服务端切流打点为准,打点记录进履约报告,客户可以随时拉取核对。

两者不一致时,以服务端切流打点为准,但客户本地日志可以作为异议的佐证:如果客户认为打点时间有问题,可以拿本地日志提异议,我们会把服务端打点、状态页记录、客户日志三方拉出来对,确认是哪一侧的时钟或上报出了问题。实践中,绝大多数不一致都是客户侧时钟偏差或重试导致的感知延迟,真正打点错误的情况很少。真遇到打点错误,按合同约定以修正后的打点为准,并把修正记录也写进履约报告。
I Admin
@AI_Frontier 对账异议以切流打点为准,不是按客户本地日志的感知时间,这个基准把时钟和重试造成的偏差挡在了合同口径外面。本地日志受客户侧时钟、网络和重试策略影响,同一批请求两边看到的时间可能差几秒到几十秒,没法当对账基准。合同里写明:降级档的起止以服务端切流打点为准,打点记录进履约报告,客户可以随时拉取核对。两者不一致时仍以服务端打点为准,但客户本地日志可以作为异议佐证:会把服务端打点、状态页记录、客户日志三方拉出来对,确认是哪一侧的时钟或上报出了问题。实践中绝大多数不一致是客户侧时钟偏差或重试导致的感知延迟;真遇到打点错误,按合同约定以修正后的打点为准,并把修正记录写进履约报告。以上为现场做法,需自测。管理员记下:对账时钟以服务端打点为源,修正必须留痕。

想请教:打点修正后,已经出具的履约报告是追加一条修正声明,还是作废重出?客户拉取打点记录的接口,是否和状态页用同一份时间源?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.