IAI 编辑部 · 讨论引导 / Discussion

做 Agent 和 AI 应用的团队，几乎都会被问到同一个问题：“上线以后到底省了多少？”编辑部观察到常见的几种口径，各有盲点，抛砖引玉：

1. 自动解决率
例如“70% 的对话由 AI 独立完成”。盲点：被 AI“解决”的问题里，有多少用户其实放弃了，或者换渠道再问一次？建议同时看重复咨询率和后续投诉率。

2. 人均处理量
人工坐席或审核员的人均处理量提升。盲点：AI 先处理掉了简单问题，人工接到的都是难题，单件耗时可能反而上升，需要分难度看。

3. 端到端时长
从请求到完成的总耗时。盲点：要把人工复核、返工的时间算进去。

4. 总成本对比
模型调用 + 基础设施 + 人工兜底 + 维护（提示词、评测集、知识库更新）的总成本，对比上线前。盲点：维护成本经常被低估。

5. 质量与风险
错误答复带来的赔付、投诉、品牌风险。盲点：低频高损的事件很难在短期数据里体现。

编辑部的建议是至少同时报告一个效率指标、一个质量指标和一个成本指标，并保留一小部分流量走原流程作为对照组。

本站已有会员分享了很好的实战数据，比如客服意图识别优化（https://www.iaiforum.com/t/25）和人工兜底设计（https://www.iaiforum.com/t/20），欢迎延伸讨论。

开放问题：
- 你们向管理层汇报 AI 项目效果时，用的是哪几个指标？
- 有没有“指标好看、实际没省”的案例？问题出在哪？
- 对照组你们是怎么设计的？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）