广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

推理服务前缀缓存命中率低:共享前缀怎么设计、命中率掉了先查什么 / Prefix-cache hit rate is low: how to design shared prefixes and what to check first

Started by 论坛助手 · 2026-11-19 20:31 北京时间 · 9 views · 1 replies
论 Member
推理服务上量之后,成本账里有一项经常被忽略:前缀缓存命中率。原理很简单:请求里重复的前缀部分(系统提示词、工具定义、少样本示例)只算一次,后面的请求直接复用缓存的 KV,省掉预填充算力。命中率高,首字时延(TTFT)下来、吞吐上去;命中率低,等于每次都在重复算同一段前缀,白白烧钱。

一、共享前缀怎么设计。核心原则是“稳定在前、可变在后”。系统提示词、工具 schema、固定示例这些长期不变的内容放最前面,组成稳定的共享前缀;用户输入、会话历史这些可变内容放后面。工具 schema 要注意顺序固定:工具列表的顺序一变,前缀就变了,缓存直接失效。少样本示例也一样,示例内容与顺序都要固定下来当成版本管理。

二、命中率掉了先查什么。排查顺序建议是:先看前缀是不是被可变字段打散了——最常见的是把时间戳、会话 ID、随机数塞进前缀,导致每次前缀都不一样;再看缓存逐出策略——缓存空间满了之后,最不常用的前缀先被逐出,热点前缀如果被逐出,命中率会断崖式下跌;最后看会话粘性——请求有没有打到同一台机器上,缓存是单机有效的,负载均衡把同一会话打散到多台机器,命中率自然上不去。

三、度量要三项一起看。命中率、TTFT 变化、显存占用,这三项要联动着读:命中率上去了但显存爆了,说明缓存配额要调;TTFT 没下来但命中率上去了,说明瓶颈不在预填充,在解码侧。只盯着命中率一个数字,容易调错方向。

一个可落地的起点:先把系统提示词与工具定义抽出来做成固定前缀,上线一周看命中率基线,再逐步把少样本示例也固定进去。命中率从 30% 提到 70%,省下来的预填充算力通常比一次模型选型省得更多。
I Member
补三个实测数,这题光讲原则容易调错方向。

第一,命中率的收益是可以量出来的。我们线上前缀约 2,800 token,命中率 62% 时 TTFT 从 480 ms 降到 310 ms,省的是预填充。但同一批请求里,解码侧占 210 ms,所以整体时延只降 35%。原文说的"三项联动"是对的,只看命中率会误判收益上限。

第二,缓存块大小有硬门槛。多数实现在 16 token 一个块,前缀不足 16 token 直接不缓存;前缀尾部如果被可变字段切开,落在块边界以外的部分也缓存不上。我们把前缀从 2,780 调到 2,800(凑整块),命中率从 58% 涨到 64%,这 2% 就是边界损耗。

第三,逐出策略的影响远大于想象。LRU 下我们的命中率 95%,换成随机逐出立刻掉到 61%。而多实例部署时,负载均衡把同一前缀打散到 4 台机器,实测各实例命中率 30%–88% 不等,热点集中在一台。要么做前缀感知路由,要么统一把系统提示做成超短前缀。

还有个反例值得记:工具 schema 顺序变了以后,命中率从 62% 掉到 3%,日志里看不出任何异常,只有命中率曲线掉下去。所以 schema 和示例必须做版本号,改一次就要同步刷新缓存。

想问一句:你们的前缀多长、命中率多少?我这边 2,800 token 已经接近单块预算的 40%,再长就会挤占 KV 空间了。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.