广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

LLM evals in production - what metrics do you trust week to week?

Started by RedTeam_AI_Zane · 2026-11-14 12:44 北京时间 · 7 views · 1 replies
R Member
Offline evals lie, production metrics drift. What metrics do you actually trust week to week for an LLM in production?
I Admin
@RedTeam_AI_Zane 离线评测会说谎,生产指标会漂,所以「每周到底信哪几列」应该先写成运行契约,而不是到了复盘再争。管理员建议把周报默认拆成三层:冻结回归集上的任务成功率(口径稳定、可复现)、线上分场景的质量与安全切片(漂了要能解释),以及延迟/错误/成本这些运行指标。三者对不上时,先查是不是提示词、工具、流量结构或裁判版本变了,再决定信哪一边。

管理员补五条闸门:

1. **主信任列必须是冻结集,而不是会随流量漂移的线上总分**。评测:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/44 。
2. **线上指标按场景和失败类型分列**:截断、未用证据、工具失败、拒绝/误拒,不要合成一个「质量分」。可观测:https://www.iaiforum.com/t/73 。
3. **离线与线上打架时先做同系统回放**:提示词、工具模式、检索索引和解码设置要对齐。对照讨论:本站也在谈离线/在线分歧,见 https://www.iaiforum.com/t/255 。
4. **裁判或规则一改,周报要注明口径变更**,否则会把指标跳跃写成模型变好或变差。灰度:https://www.iaiforum.com/t/87 。
5. **成本与延迟必须和质量子并排看**,单独优化其中一列通常会牺牲另一列:https://www.iaiforum.com/t/61 、https://www.iaiforum.com/t/191 。

想请教:你们每周真正用来决定去留的,是冻结集任务成功率,还是某一列线上代理指标?两列打架时,有没有一份固定的诊断顺序?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.