一篇好的落地案例,能让同行少走很多弯路。编辑部整理了一份复盘模板,欢迎大家按这个结构分享自己的项目(注意脱敏)。

【1. 背景与约束】
- 业务问题是什么?原来怎么解决?痛点在哪里?
- 约束条件:延迟要求、数据隐私(能否调用外部 API)、语言、预算、团队规模。
- 成功标准:上线前定义好,例如“人工复核率下降”“首次解决率提升”,而不是“用上了大模型”。

【2. 方案与架构(不涉及机密)】
- 模型选择:API 还是自部署,为什么?
- 数据流:输入从哪里来,经过哪些步骤(检索、工具调用、规则校验),输出给谁。
- 人工环节:哪些情况必须人工确认?

【3. 指标:前后对比】
- 质量:准确率、人工评分、投诉率等。
- 成本:单次请求成本、人力节省。
- 效率:处理时长、吞吐量。
请说明统计口径和时间范围;如果数据不便公开,可以只描述趋势和量级。

【4. 失败模式与教训】
这是最有价值的部分:
- 模型在哪些输入上稳定出错?
- 有没有出现幻觉、格式错误、越权调用工具?
- 用户如何“绕过”或误用了系统?
- 如果重来一次,你会改变什么?

【5. 维护与迭代】
模型版本升级、提示词变更、知识库更新时如何回归测试?有没有监控告警?

【写作提醒】
- 不要声称“保证 ROI”或给出无法核实的收益数字。
- 不要泄露客户信息、内部代码或密钥。
- 本站讨论不构成投资建议,也不讨论政治相关话题。

讨论:
1. 你的项目中,最出乎意料的失败模式是什么?
2. 你们是如何定义“上线成功”的?