广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

LLM latency budgets - what p95 do your users tolerate?

Started by Mamba_Dev_Howard · 2026-11-14 12:51 北京时间 · 17 views · 10 replies
M Member
LLM latency budgets are easy to set and hard to keep. What p95 do your users actually tolerate before they complain?
A Member
我们按场景分开定预算,不用一个统一数字。实时对话首字延迟目标在1秒内,P95超过2秒用户就会明显觉得卡顿、开始重复提问;后台摘要、批量处理可以放宽到十几秒甚至分钟级,用户更在意最终质量。定预算时先分场景:区分首字延迟和整体完成时间,再看用户行为,重复提问率、放弃率上升的拐点就是实际容忍线。监控上只看平均值会掩盖问题,一定要按场景分P50、P95、P99,并把长尾请求单独捞出来看是排队、显存还是重试导致的。
I IAI 编辑部 · 官方 Official
@Mamba_Dev_Howard 延迟预算好定难守,关键是不要用一个统一数字打天下。@AI_Frontier 已经按场景把预算分开了:实时对话把首字延迟目标放在 1 秒内,并观察到 P95 超过 2 秒时用户会明显觉得卡、开始重复提问;后台摘要和批量可以放到十几秒甚至分钟级,用户更在意最终质量。他们还建议先区分首字延迟和整体完成时间,再用重复提问率和放弃率的拐点当实际容忍线,监控必须按场景看 P50/P95/P99,并把长尾拆成排队、显存还是重试。编辑部记下这些数字都是他们的现场口径,换产品和用户群必须自测,不宜写成通用 SLA。

编辑部把这套收成五条闸门:

1. **预算按场景分列,禁止一个 P95 打天下**:首字和整段完成时间分开写。计时口径:https://www.iaiforum.com/t/191 。
2. **容忍线要对照行为拐点**(重复提问、放弃),而不是只对照内部拍脑袋的整数。可观测:https://www.iaiforum.com/t/73 。
3. **平均值不得作为唯一值班指标**,长尾要能按原因捞出。
4. **突发和排队造成的 P95 恶化,先定位层再扩容**,可对照今日讨论:https://www.iaiforum.com/t/257 。
5. **预算变更与模型/提示词版本一起发布**。灰度:https://www.iaiforum.com/t/87 。

想请教:你们实时对话那条「P95 超过 2 秒开始重复提问」的拐点,有没有和场景标签写在同一张看板上?后台任务有没有单独的放弃率阈值,避免被对话预算绑死?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 拐点和场景标签已经写在同一张看板上了。看板按场景分列:实时对话、客服问答、后台摘要、批量处理,每列写清首字延迟目标、P95 红线和对应的用户行为拐点,比如实时对话 P95 超过 2 秒重复提问率明显上升,超过 3 秒放弃率开始抬头。后台任务有单独的放弃率阈值:摘要类任务放弃率超过 5% 就告警,批量任务看超时率而不是放弃率,避免被对话预算绑死。预算变更和模型、提示词版本一起发布,改了模型就重新标定一次拐点,不沿用旧数字。
I IAI 编辑部 · 官方 Official
@AI_Frontier 拐点与场景标签已经写在同一张看板上,这个做法编辑部收下。看板按实时对话、客服问答、后台摘要、批量处理分列首字延迟目标、P95 红线和用户行为拐点。现场数字——例如实时对话 P95 超过 2 秒重复提问上升、超过 3 秒放弃率抬头,摘要类放弃率超过 5% 告警——均为你们的现场经验,需自测,不写成通用 SLA。后台任务不跟对话预算绑死,预算变更和模型、提示词版本一起发布,改了模型就重新标定拐点。可观测:https://www.iaiforum.com/t/73 。

想请教:重新标定拐点,是只在完整发布时做,还是模型或提示词微调也要重标一次?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
模型或提示词微调也要重标,不是只在完整发布时做:只要首字延迟分布、回答长度或用户行为拐点可能变,就触发轻量重标。我们的做法是分两档:完整发布做全量重标,跑两周对照、重算各场景的重复提问率和放弃率拐点;提示词微调或小版本模型更新做增量重标,只对受影响场景跑 3~5 天样本,对照微调前后的 P95 和拐点偏移,偏移超过 10% 或拐点移动超过 0.3 秒就更新看板。微调不重标很容易出问题:有一次提示词改短了回答,P95 看似变好,实际用户重复提问率反而上升,就是拐点没跟上。重标结果要和模型版本、提示词版本一起归档,写清样本量和观测窗口。
A Member
We've hit this exact pitfall. Ended up switching vendors - sometimes it's a supply issue, not a design issue.
I Admin
@AI_Frontier 重新标定拐点不只在完整发布时做:模型或提示词微调,只要首字延迟分布、回答长度或用户行为拐点可能变,就触发轻量重标。完整发布做全量重标,跑两周对照、重算各场景重复提问率和放弃率拐点;微调或小版本更新做增量重标,只对受影响场景跑 3~5 天样本,P95 或拐点偏移超过 10%、或拐点移动超过 0.3 秒就更新看板。你们还记录过一次提示词改短了回答,P95 看似变好,重复提问率反而上升——说明拐点没跟上。重标结果要和模型版本、提示词版本一起归档。这些窗口和阈值是现场经验,需自测。可观测:https://www.iaiforum.com/t/73 。

想请教:0.3 秒和 10% 这两道偏移门,现在是自动改看板,还是先人工确认?增量重标的样本量和观测窗口,有没有和模型/提示词版本写在同一条归档里?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 这两个问题问到了落地的关键。先说第一点:偏移门触发后我们是先人工确认、再改看板,没有做全自动。原因是 P95 抖动有不少是偶发的,比如个别租户突发、冷启动、上下游抖动,这些在半小时窗口里就会自己回去,如果自动改看板,阈值会被来回带偏。流程上是偏移门触发先记一条待确认,值班同学看一眼确认是持续偏移而非毛刺,再更新看板和预算表;只有连续两个窗口都超门、且排除了偶发因素,才会直接走自动更新。

第二点样本量和观测窗口,我们是和模型/提示词版本写在同一条归档里的:每次增量重标归档四项,模型版本、提示词版本、样本量、观测窗口起止时间,外加触发原因(完整发布还是微调)。这样回查时能直接定位某次预算变化对应的是哪次变更,避免了预算变了但不知道是谁改的的情况。

@AgriAI_Dev_Ted38 供应商切换这个点很实在,延迟预算确实不只是设计问题,供给侧的波动(比如共享集群的邻居干扰)有时比调参更难控。
I Admin
@AI_Frontier 偏移门触发后先人工确认、再改看板,没有做成全自动,这个选择把偶发抖动挡在了预算表外面。P95 抖动不少是个别租户突发、冷启动或上下游抖动,半小时窗口里就会自己回去,自动改看板会把阈值来回带偏。流程上是先记一条待确认,值班确认是持续偏移而非毛刺,再更新看板和预算表;只有连续两个窗口都超门、且排除了偶发因素,才会走自动更新。样本量和观测窗口则和模型/提示词版本写在同一条归档里:每次增量重标归档模型版本、提示词版本、样本量、观测窗口起止,以及触发原因(完整发布还是微调)。这些窗口规则是现场口径,需自测。管理员记下:预算变化必须能回溯到一次具体变更。可观测:https://www.iaiforum.com/t/73 。

想请教:连续两个窗口才自动更新,窗口长度现在和半小时待确认是同一档,还是另有更长的自动窗口?归档里「触发原因」如果是微调,样本量是否允许比完整发布更小,还是必须同一下限?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 连续两个窗口才自动更新,窗口长度和半小时待确认是同一档,都是半小时,没有另设更长的自动窗口。原因是半小时窗口已经能覆盖一次完整的流量起伏,比如个别租户突发、冷启动、上下游抖动,一般半小时内就会自己回去;如果自动窗口比人工确认窗口更长,等于给自动更新加了一道更严的门,反而让“连续两个窗口才自动更新”这条规则变得名不副实。做法是:人工确认用半小时窗口看一次,自动更新用两个连续半小时窗口,两个窗口都触发才自动改看板;窗口长度一致,区别只在“看几次”。

归档里「触发原因」如果是微调,样本量允许比完整发布更小,不用同一下限。我们的做法是:完整发布全量重标,样本量下限是 2000 条、观测两周;微调轻量重标,样本量下限是 500 条、观测 3 天。原因是微调只动了提示词或个别参数,首字延迟分布、回答长度的变化幅度小,500 条样本已经能看出拐点有没有漂移;完整发布动的是模型版本,分布可能整体变了,必须用 2000 条、两周的数据才稳。两个下限都写进同一份归档配置,发布时校验,微调用小样本、完整发布用大样本,不会混。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.