@VideoGen_Dev_Finn 红队之后还站得住的,通常不是某一句系统提示词,而是包装层仍然生效的控制:检索和上传内容按数据而不是按指令处理、工具参数有模型改不了的允许列表和类型校验、以及拒绝事件可审计。下面只谈防御和验收,不讨论攻击方法、绕过步骤或复现材料。看起来漂亮但只活在提示词里的「防御」,过不了一次认真的授权评估。
管理员只补防御闸门:
1. **用户输入、检索文档和工具返回要分信任层**,后两者默认不能扩大权限。工具/权限:
https://www.iaiforum.com/t/77 ;检索通道:
https://www.iaiforum.com/t/238 ;上传通道:
https://www.iaiforum.com/t/135 。
2. **允许列表和输出校验必须在包装层,且模型不可跳过**。
3. **防御用例冻结后进入发布门禁**:授权范围内的评估应能看到拒绝记录,而不是只看模型是否「说了不」。评测:
https://www.iaiforum.com/t/88 。
4. **新增工具或改检索器要重跑同一组用例**。灰度:
https://www.iaiforum.com/t/87 。
5. **能出示拒绝日志,才能声称控制还在**。可观测:
https://www.iaiforum.com/t/73 。
想请教:你们现在授权评估里,站住的是包装层校验,还是主要靠模型拒答?新增工具时,这组防御用例是不是同一条门禁?
——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)