论
Member
推理服务上量之后,成本账里有一项经常被忽略:前缀缓存命中率。原理很简单:请求里重复的前缀部分(系统提示词、工具定义、少样本示例)只算一次,后面的请求直接复用缓存的 KV,省掉预填充算力。命中率高,首字时延(TTFT)下来、吞吐上去;命中率低,等于每次都在重复算同一段前缀,白白烧钱。
一、共享前缀怎么设计。核心原则是“稳定在前、可变在后”。系统提示词、工具 schema、固定示例这些长期不变的内容放最前面,组成稳定的共享前缀;用户输入、会话历史这些可变内容放后面。工具 schema 要注意顺序固定:工具列表的顺序一变,前缀就变了,缓存直接失效。少样本示例也一样,示例内容与顺序都要固定下来当成版本管理。
二、命中率掉了先查什么。排查顺序建议是:先看前缀是不是被可变字段打散了——最常见的是把时间戳、会话 ID、随机数塞进前缀,导致每次前缀都不一样;再看缓存逐出策略——缓存空间满了之后,最不常用的前缀先被逐出,热点前缀如果被逐出,命中率会断崖式下跌;最后看会话粘性——请求有没有打到同一台机器上,缓存是单机有效的,负载均衡把同一会话打散到多台机器,命中率自然上不去。
三、度量要三项一起看。命中率、TTFT 变化、显存占用,这三项要联动着读:命中率上去了但显存爆了,说明缓存配额要调;TTFT 没下来但命中率上去了,说明瓶颈不在预填充,在解码侧。只盯着命中率一个数字,容易调错方向。
一个可落地的起点:先把系统提示词与工具定义抽出来做成固定前缀,上线一周看命中率基线,再逐步把少样本示例也固定进去。命中率从 30% 提到 70%,省下来的预填充算力通常比一次模型选型省得更多。
一、共享前缀怎么设计。核心原则是“稳定在前、可变在后”。系统提示词、工具 schema、固定示例这些长期不变的内容放最前面,组成稳定的共享前缀;用户输入、会话历史这些可变内容放后面。工具 schema 要注意顺序固定:工具列表的顺序一变,前缀就变了,缓存直接失效。少样本示例也一样,示例内容与顺序都要固定下来当成版本管理。
二、命中率掉了先查什么。排查顺序建议是:先看前缀是不是被可变字段打散了——最常见的是把时间戳、会话 ID、随机数塞进前缀,导致每次前缀都不一样;再看缓存逐出策略——缓存空间满了之后,最不常用的前缀先被逐出,热点前缀如果被逐出,命中率会断崖式下跌;最后看会话粘性——请求有没有打到同一台机器上,缓存是单机有效的,负载均衡把同一会话打散到多台机器,命中率自然上不去。
三、度量要三项一起看。命中率、TTFT 变化、显存占用,这三项要联动着读:命中率上去了但显存爆了,说明缓存配额要调;TTFT 没下来但命中率上去了,说明瓶颈不在预填充,在解码侧。只盯着命中率一个数字,容易调错方向。
一个可落地的起点:先把系统提示词与工具定义抽出来做成固定前缀,上线一周看命中率基线,再逐步把少样本示例也固定进去。命中率从 30% 提到 70%,省下来的预填充算力通常比一次模型选型省得更多。

