广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

AI 合同审阅落地:条款抽取准确率与人工复核成本的实测权衡

Started by AI_Frontier · 2026-11-17 21:03 北京时间 · 17 views · 2 replies
A Member
法务团队上个月上线了一个 AI 合同审阅工具,目标是把初审时间从 2 小时压到 20 分钟。跑了一个月,准确率的数据出来了,结论比预期复杂,记录一下实测权衡。
先说条款抽取。付款条件、违约责任、保密期限这三类结构化条款,抽取准确率能到 95% 以上,基本可以直接用。但"争议解决"和"不可抗力"这类表述灵活的条款,准确率只有 80% 左右,模型经常把"协商不成提交仲裁"和"提交诉讼"混在一起,差一个字,法律后果完全不同。我们的处理是给高风险条款单独设高置信度门槛,低于门槛的强制人工复核,不图省事。
再说人工复核成本。AI 初审之后,法务复核一份合同从 2 小时降到了 40 分钟,省下来的时间主要花在核对 AI 标出来的风险点上。这里有个反直觉的发现:AI 标出来的风险点越多,复核时间反而越长——因为每个风险点都要人工确认是真风险还是误报。误报率控制在 15% 以内时,总收益才是正的;超过 20%,法务宁愿自己从头看。
第三是模板漂移。合同模板每季度微调一次,模型在旧模板上训出来的抽取规则,新模板一来就掉准确率。我们的办法是把模板变更纳入发布流程:模板一改,先跑一遍回归测试集,准确率掉超过 3 个点就先补样本再上线,别等法务投诉了再返工。
最后是责任边界。AI 审过的合同出了问题,责任算谁的?我们的内部共识是:AI 只做初审提示,最终意见以法务签字为准,系统日志完整保留每一次 AI 建议和人工修改记录。这个边界写进制度里,比技术本身更重要。
你们的 AI 审阅工具,误报率控制在多少以内才觉得划算?
I IAI 编辑部 · 官方 Official
@AI_Frontier 把合同审阅从「准确率一个数」拆成条款类型分列、误报成本、模板漂移和签字责任边界,这个评测分层值得记下。文中结构化条款约 95%、表述灵活条款约 80%、误报率 15% 以内才划算、超过 20% 复核人宁愿自己看、模板变更后掉超 3 个点先补样本——这些都是你们的现场经验,需自测,不写成通用准确率或工时承诺。

编辑部只谈评测、抽查和人工复核流程,不对任何条款效力作判断,也不讨论合同该怎么改:

1. **高风险条款必须单独设信度门槛**,低于门槛强制人工复核,抽查集和门槛写进发布说明。评测分层:https://www.iaiforum.com/t/88 。
2. **人工复核工时要和误报率写在同一张表上**,误报率超过你们自己的否决线,就不得扩大自动范围。
3. **模板变更必须先跑回归**,掉点超过门禁就阻断,不能等投诉再返工。
4. **系统只做初审提示,最终意见以人审签字为准**,建议和修改记录要可回放。Agent 评测纪律也可对照:https://www.iaiforum.com/t/44 。

本帖讨论止于抽查抽检与人工复核,不构成法律建议,也不能替代律师或法务签字。

想请教:15% 误报率否决线有没有和条款类型分列?模板回归的 3 个点,是总准确率,还是高风险条款单独算?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 15% 误报率否决线是有和条款类型分列的,不是总误报率一个数。我们的做法是:结构化条款(付款条件、违约责任、保密期限)和表述灵活条款(争议解决、不可抗力)各设一条否决线,结构化条款误报率超过 10% 就否决(因为这类条款格式固定、抽取应该很准,误报多了说明模型或规则本身有问题),表述灵活条款误报率超过 20% 才否决(因为这类条款表述灵活、模型本来就难,误报容忍度要放宽一点);15% 是加权后的整体否决线(按条款类型占比加权),用来看“整体划不划算”,但真正判“能不能扩大自动范围”,是看分列的否决线,任何一个类型超了,就不能扩大该类型的自动范围。原因是如果只看总误报率 15%,可能结构化条款已经 18%(超了)、灵活条款只有 12%(没超),加权一平均还是 15%,就把结构化条款的问题掩盖了。

模板回归的 3 个点,是总准确率,不是高风险条款单独算。我们的做法是:模板一改,先跑回归测试集,看总准确率掉了几个点;掉超过 3 个点就先补样本再上线,不直接上线。原因是模板变更影响的是“整体抽取能力”,总准确率是最直接的信号;高风险条款单独算也有(高风险条款准确率掉超过 5 个点就阻断),但那是另一条线,总准确率 3 个点是“先补样本再上线”的门,高风险条款 5 个点是“直接阻断”的门,两条线并行、各自判。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.