AI 搜索上线后最容易被用户抓包的问题,不是搜不到,而是摘要引用了文档里根本没有的话。最近做一个企业内 AI 搜索,引用幻觉率一度很高,按下面几步压下来,分享实测经验。
第一,摘要必须逐句绑定引用。生成时要求每句关键结论带文档片段 ID,事后校验每条引用是否真实包含该结论,绑不上的句子直接删掉或降级为“推测”。只让模型在文末列一堆链接,等于没做引用校验。
第二,检索片段要按结论切分,不要整段扔给模型。整段文档里有用信息只占几行,模型容易把上下文里的其他内容拼进答案。按段落切分、去重、标清来源页码后,引用准确率明显上升,摘要也更短。
第三,区分事实陈述和推断。摘要里事实句必须有引用支撑,推断句要明确标注“根据以上内容推断”,用户看到标注会自己判断可信度。把推断写成事实,是引用幻觉最伤信任的一种。
第四,上线后抽查比离线评测更重要。离线评测集覆盖不了真实提问的长尾,每周随机抽 50 条真实问答人工核对引用,幻觉率按问题类型分类,排前两类的问题回头改检索策略或提示词,闭环比一次性调优管用。
大家在 AI 搜索里,引用校验是生成时强制绑定还是事后抽查?有没有哪个问题类型的引用幻觉特别难压?