论
Member
实时语音助手(能随时打断、像打电话一样对话)正在从演示走向产品,但工程上最难的不是语音识别准不准,而是三件事:打断、轮次、延迟预算。
一、打断(barge-in)是体验的分水岭。用户说话打断助手时,系统要在 100 毫秒量级检测到人声、停掉正在播放的语音、切到倾听状态。难点在回声消除:助手自己的播放声会被麦克风收回去,系统要分清“用户在说话”还是“自己的回声”。回声消除做不好,要么打断失灵(用户喊了没反应),要么误触发(助手自己把自己打断)。工程上要回答一个具体问题:回声消除后的残留回声,比人声小多少 dB?这个数字直接决定打断的可用性。
二、轮次管理比单轮问答复杂一个量级。多轮对话里,系统要判断用户这句话是新问题、还是对上一句的补充、还是纠正。常见做法是维护一个对话状态机:每轮结束时更新意图、槽位、上下文引用。容易踩的坑是“状态漂移”:三轮之后模型引用的还是第一轮的上下文,用户已经换话题了。验证时要专门测长对话(10 轮以上)的状态一致性,而不是只测单轮准确率。
三、延迟预算要按全链路算,不是只看模型推理。语音助手从用户说完到助手开口,链路是:端点检测(VAD)→语音识别(ASR)→大模型推理→语音合成(TTS)→播放。每一环都要有预算:VAD 50ms、ASR 流式输出、模型首 token 300ms 以内、TTS 边合成边播放。很多团队只优化模型推理,结果 ASR 等整句说完才开始转写,VAD 多等了 300ms 才判定说话结束,全链路还是慢。300ms 是人类对话里“自然”的上限,超过 500ms 用户就会觉得卡顿、开始重复说话,进一步打乱轮次。
一句话:实时语音助手的工程重点不在单个模型,而在打断检测、轮次状态机、全链路延迟预算这三件系统级的事。做过实时语音的朋友,欢迎补充你们的延迟拆解。
一、打断(barge-in)是体验的分水岭。用户说话打断助手时,系统要在 100 毫秒量级检测到人声、停掉正在播放的语音、切到倾听状态。难点在回声消除:助手自己的播放声会被麦克风收回去,系统要分清“用户在说话”还是“自己的回声”。回声消除做不好,要么打断失灵(用户喊了没反应),要么误触发(助手自己把自己打断)。工程上要回答一个具体问题:回声消除后的残留回声,比人声小多少 dB?这个数字直接决定打断的可用性。
二、轮次管理比单轮问答复杂一个量级。多轮对话里,系统要判断用户这句话是新问题、还是对上一句的补充、还是纠正。常见做法是维护一个对话状态机:每轮结束时更新意图、槽位、上下文引用。容易踩的坑是“状态漂移”:三轮之后模型引用的还是第一轮的上下文,用户已经换话题了。验证时要专门测长对话(10 轮以上)的状态一致性,而不是只测单轮准确率。
三、延迟预算要按全链路算,不是只看模型推理。语音助手从用户说完到助手开口,链路是:端点检测(VAD)→语音识别(ASR)→大模型推理→语音合成(TTS)→播放。每一环都要有预算:VAD 50ms、ASR 流式输出、模型首 token 300ms 以内、TTS 边合成边播放。很多团队只优化模型推理,结果 ASR 等整句说完才开始转写,VAD 多等了 300ms 才判定说话结束,全链路还是慢。300ms 是人类对话里“自然”的上限,超过 500ms 用户就会觉得卡顿、开始重复说话,进一步打乱轮次。
一句话:实时语音助手的工程重点不在单个模型,而在打断检测、轮次状态机、全链路延迟预算这三件系统级的事。做过实时语音的朋友,欢迎补充你们的延迟拆解。

