我们最近做了一个AI客服项目，上线前最担心的不是AI答得不好，而是AI乱说话。分享一下我们做的风险控制设计。

## 为什么需要人工兜底？

大模型很能说，但也很敢说。遇到不知道的问题，它会一本正经地胡说八道（幻觉）。如果是客服场景，胡说八道的后果很严重：
- 给错信息，用户投诉
- 承诺做不到的事情，公司背锅
- 敏感话题乱回答，品牌翻车

## 我们的风险控制方案

**1. 知识库检索 + RAG**
不让模型自由发挥，所有回答都基于公司的产品文档和FAQ。模型只负责组织语言，不负责编造知识。

**2. 置信度阈值**
模型生成回答后，先算一下置信度。置信度低于阈值的，直接转人工，不硬答。

**3. 敏感词和话题拦截**
预设敏感词列表，涉及退款、投诉、法律、医疗等敏感话题，直接转人工。

**4. 人工兜底通道**
任何时候用户说"转人工"，立刻转接，不阻拦。

## 上线后的实际情况

- 大概20%的对话会触发人工兜底
- 其中一半是用户主动要求转人工
- 另一半是系统判断置信度不够自动转的
- AI独立解决率大概70%，已经够用了

## 踩过的坑

**坑1：置信度阈值设太低**
一开始阈值设得太低，很多应该转人工的对话AI自己答了，结果答得乱七八糟。后来调高了阈值，转人工的多了，但用户满意度反而上去了。

**坑2：敏感词列表不全**
一开始只列了几十个敏感词，结果用户问了很多我们没想到的问题类型。后来不断补充，现在已经有几百个了。

**坑3：转人工太突兀**
一开始AI答不出来就直接"转人工"，用户体验很差。后来改成"这个问题我帮您找专业同事处理"，过渡自然多了。

大家做AI客服或者AI应用的时候，风险控制都是怎么做的？