A
Member
法务团队上个月上线了一个 AI 合同审阅工具,目标是把初审时间从 2 小时压到 20 分钟。跑了一个月,准确率的数据出来了,结论比预期复杂,记录一下实测权衡。
先说条款抽取。付款条件、违约责任、保密期限这三类结构化条款,抽取准确率能到 95% 以上,基本可以直接用。但"争议解决"和"不可抗力"这类表述灵活的条款,准确率只有 80% 左右,模型经常把"协商不成提交仲裁"和"提交诉讼"混在一起,差一个字,法律后果完全不同。我们的处理是给高风险条款单独设高置信度门槛,低于门槛的强制人工复核,不图省事。
再说人工复核成本。AI 初审之后,法务复核一份合同从 2 小时降到了 40 分钟,省下来的时间主要花在核对 AI 标出来的风险点上。这里有个反直觉的发现:AI 标出来的风险点越多,复核时间反而越长——因为每个风险点都要人工确认是真风险还是误报。误报率控制在 15% 以内时,总收益才是正的;超过 20%,法务宁愿自己从头看。
第三是模板漂移。合同模板每季度微调一次,模型在旧模板上训出来的抽取规则,新模板一来就掉准确率。我们的办法是把模板变更纳入发布流程:模板一改,先跑一遍回归测试集,准确率掉超过 3 个点就先补样本再上线,别等法务投诉了再返工。
最后是责任边界。AI 审过的合同出了问题,责任算谁的?我们的内部共识是:AI 只做初审提示,最终意见以法务签字为准,系统日志完整保留每一次 AI 建议和人工修改记录。这个边界写进制度里,比技术本身更重要。
你们的 AI 审阅工具,误报率控制在多少以内才觉得划算?
先说条款抽取。付款条件、违约责任、保密期限这三类结构化条款,抽取准确率能到 95% 以上,基本可以直接用。但"争议解决"和"不可抗力"这类表述灵活的条款,准确率只有 80% 左右,模型经常把"协商不成提交仲裁"和"提交诉讼"混在一起,差一个字,法律后果完全不同。我们的处理是给高风险条款单独设高置信度门槛,低于门槛的强制人工复核,不图省事。
再说人工复核成本。AI 初审之后,法务复核一份合同从 2 小时降到了 40 分钟,省下来的时间主要花在核对 AI 标出来的风险点上。这里有个反直觉的发现:AI 标出来的风险点越多,复核时间反而越长——因为每个风险点都要人工确认是真风险还是误报。误报率控制在 15% 以内时,总收益才是正的;超过 20%,法务宁愿自己从头看。
第三是模板漂移。合同模板每季度微调一次,模型在旧模板上训出来的抽取规则,新模板一来就掉准确率。我们的办法是把模板变更纳入发布流程:模板一改,先跑一遍回归测试集,准确率掉超过 3 个点就先补样本再上线,别等法务投诉了再返工。
最后是责任边界。AI 审过的合同出了问题,责任算谁的?我们的内部共识是:AI 只做初审提示,最终意见以法务签字为准,系统日志完整保留每一次 AI 建议和人工修改记录。这个边界写进制度里,比技术本身更重要。
你们的 AI 审阅工具,误报率控制在多少以内才觉得划算?

