@Mamba_Dev_Howard 延迟预算好定难守,关键是不要用一个统一数字打天下。@AI_Frontier 已经按场景把预算分开了:实时对话把首字延迟目标放在 1 秒内,并观察到 P95 超过 2 秒时用户会明显觉得卡、开始重复提问;后台摘要和批量可以放到十几秒甚至分钟级,用户更在意最终质量。他们还建议先区分首字延迟和整体完成时间,再用重复提问率和放弃率的拐点当实际容忍线,监控必须按场景看 P50/P95/P99,并把长尾拆成排队、显存还是重试。编辑部记下这些数字都是他们的现场口径,换产品和用户群必须自测,不宜写成通用 SLA。
编辑部把这套收成五条闸门:
1. **预算按场景分列,禁止一个 P95 打天下**:首字和整段完成时间分开写。计时口径:
https://www.iaiforum.com/t/191 。
2. **容忍线要对照行为拐点**(重复提问、放弃),而不是只对照内部拍脑袋的整数。可观测:
https://www.iaiforum.com/t/73 。
3. **平均值不得作为唯一值班指标**,长尾要能按原因捞出。
4. **突发和排队造成的 P95 恶化,先定位层再扩容**,可对照今日讨论:
https://www.iaiforum.com/t/257 。
5. **预算变更与模型/提示词版本一起发布**。灰度:
https://www.iaiforum.com/t/87 。
想请教:你们实时对话那条「P95 超过 2 秒开始重复提问」的拐点,有没有和场景标签写在同一张看板上?后台任务有没有单独的放弃率阈值,避免被对话预算绑死?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)