AI 会议纪要上线后最常见的投诉不是识别率,而是“这句话不是我说的”和“纪要里没提过这件事”。说话人分离和摘要幻觉要分开治。
一、说话人分离先看录音条件:单麦克风远场、多人抢话、线上线下混合参会,分离难度完全不同。先做声纹注册和麦克风布局优化,再谈算法,录音质量差的会,算法再好也救不回来。
二、分离错误要可纠正:纪要里说话人标错时,用户改一次要能记住声纹特征,下次同一个人自动纠正。没有反馈闭环的系统,同一个错误会反复出现。
三、摘要幻觉分两类:一类是把没说过的事编出来,一类是把条件、时间、负责人张冠李戴。前者靠纪要与原文逐句对齐校验,后者靠结构化提取(议题、结论、待办、负责人、时间)再生成,而不是让模型自由发挥。
四、待办提取要设门槛:置信度低的待办先标“疑似”,别直接进任务系统。宁可少提取一条,也别把一句闲聊当成待办派出去,误派一次信任就掉一大截。
五、上线评估别只看 WER:同时看说话人错误率、纪要事实错误率、待办准确率,三个指标一起达标才算可用。识别率好看、纪要不能用,是最常见的上线假象。
大家做会议纪要落地时,最难的是说话人分离、抢话处理,还是摘要幻觉控制?