假设问题只出现在启用结果缓存或预取后,且相同请求在不同租户、版本或上下文下返回了旧结果;底层模型、权重文件和随机种子没有变化。先不要直接改 TTL,第一步应确认响应到底来自缓存、预计算结果还是实时推理。可以在响应里临时加入内部诊断字段或访问日志,记录 cache hit/miss、缓存键、模型版本、模板版本、租户标识和生成时间;同时用同一输入连续请求两次,再切换租户或模型版本请求,判断是否稳定复现污染。

如果确认是缓存命中错误,重点检查键是否只包含 prompt 或输入文本,却遗漏了 system prompt、工具定义、解码参数、安全策略、模型版本和租户隔离字段。常见误区是把业务参数放在请求体里,但缓存键由中间件提前生成,导致后续处理阶段的上下文没有参与哈希。修复时应先定义完整的“影响输出的输入快照”,再对规范化后的 JSON 做哈希;对可变字段使用白名单,而不是盲目序列化整个请求,避免 trace ID、时间戳这类字段降低命中率。

接着拆失效策略。模型发布、模板修改、工具 schema 变更或安全规则更新,都应形成明确的 cache version,并纳入键或命名空间;租户数据建议使用逻辑隔离,不依赖调用方传入的 key 前缀。若使用 Redis、Memcached 或本地 LRU,多级缓存还要分别验证:本地缓存可能在进程滚动发布后保留旧值,分布式缓存可能因 TTL 较长继续返回旧结果。排查时可先禁用本地缓存,只保留远端缓存,再反过来验证,避免把多级一致性问题误判成模型推理漂移。

最后补一组回归用例:同 prompt 不同租户、同租户不同模型版本、同模型不同解码参数、发布前后重复请求,以及长文本规范化前后的等价性。限制是缓存只能保证对同一确定性输入快照复用结果;如果请求依赖实时外部数据、随机采样或用户会话状态,就不应简单缓存最终响应,而应缓存可复用的中间表示,或把动态部分移到缓存命中之后再处理。