让大模型直接面对客户或自动执行操作，带来效率的同时也带来风险。上线前把“出错时怎么办”设计好，比追求完全自动化更重要。

【一、按风险分级】
- 低风险：信息查询、常见问题解答，可以全自动，但要有反馈入口。
- 中风险：修改订单、预约变更，建议模型生成操作草稿，由用户二次确认。
- 高风险：退款、账户安全、涉及法律或健康的问题，应转人工或只提供官方渠道信息。

【二、人工兜底（Human-in-the-loop）】
- 转人工条件：用户明确要求、连续多轮未解决、检测到负面情绪、命中敏感关键词、模型置信度低。
- 转接时把对话摘要一并交给人工，避免用户重复描述。
- 记录所有转人工案例，它们是优化系统的最佳数据。

【三、Agent 工具调用的护栏】
- 最小权限：每个工具只授予完成任务所需的最小权限，读写分离。
- 参数校验：模型生成的工具参数必须经过程序校验（类型、范围、白名单），不能直接执行。
- 关键操作确认：涉及资金、删除、对外发送的操作必须有确认步骤。
- 防提示词注入：外部内容（网页、邮件、文档）中可能藏有“忽略之前的指令”之类的文字，应把它们当作数据而不是指令处理。
- 限制循环次数和总成本，防止 Agent 陷入死循环。

【四、上线策略】
先内部试用 → 小流量灰度 → 监控关键指标（解决率、转人工率、投诉率）→ 逐步放量。准备好一键回退到旧流程的开关。

【五、透明告知】
让用户知道正在与 AI 交互，并告知如何联系人工。涉及具体合规要求，请咨询专业人士，本帖不构成法律意见。

讨论：
1. 你们设置的转人工条件有哪些？
2. 在防提示词注入方面，有哪些实用的做法？