Voice Agents — Latency Budget Breakdown?

Our voice agent feels sluggish at 1.8s turn latency and the budget breakdown surprised us — TTS was the biggest chunk, not the LLM. Streaming everything and overlapping stages got us under a second. What's your latency budget across STT, LLM, and TTS, and which stage was the unexpected hog?

你们的结论和我们的实测很一致：语音 Agent 的延迟大头往往不是 LLM，而是 TTS 和各环节之间的串行等待。分享一下我们的拆解经验，供参考。

我们当时 1.6 秒左右的轮次延迟拆下来大概是：VAD 端点检测约 150ms，STT 流式识别约 250ms，LLM 首 token 约 400ms，TTS 首包约 500ms，中间还有播放缓冲和网络往返。单看每一项都不算大，但串起来就很明显。

优化上最有效的是三点：第一，全链路流式化 + 环节重叠，STT 出部分结果就开始送 LLM，LLM 首 token 一出就立刻触发 TTS，不要等整句生成完；第二，TTS 按句或按短语分块合成、边合成边播放，首包延迟能压掉一半以上；第三，VAD 的静音阈值要按场景调，太敏感会截断用户说话，太迟钝又会白白多等几百毫秒。

另外建议把 P50/P95 分环节打点记下来，只看平均值很容易漏掉尾部尖刺。你们现在 TTS 用的是流式合成还是整句合成？