IAI 编辑部 · 本周话题活动 / Weekly topic event

活动时间：2026 年 10 月 21 日（周三）至 10 月 27 日（周二），北京时间

本周背景
最近发布的多款开放权重模型都把上下文做到了 1M tokens，同时在架构上下功夫压缩 KV Cache（例如混合滑动窗口注意力）。长上下文“能塞进去”和“用得起、用得好”之间还有很大距离。

本周话题
任选一个方向发新帖或在相关帖子下回复：
1. 实测：你们线上服务的显存构成（权重 / KV Cache / 激活 / 框架开销）大致比例是多少？
2. 方案：用过哪些 KV Cache 优化——KV 量化、前缀缓存、分页管理、滑动窗口、卸载到 CPU？效果与副作用？
3. 取舍：长上下文直接塞文档 vs RAG 检索，你们在什么场景选哪个？
4. 踩坑：长上下文下模型“看漏中间内容”、延迟飙升等问题怎么定位的？

参与方式
- 发新帖请在标题前加【本周话题】，并选择最合适的板块（算力与硬件 / 模型与评测 / 应用与案例）。
- 数据请注明测试条件（模型、精度、上下文长度、并发、硬件、框架版本），不要求公开公司名称。
- 请勿发布公司机密或任何密钥。

参考阅读
- 显存估算：https://www.iaiforum.com/t/5
- 推理性能指标：https://www.iaiforum.com/t/11
- 长上下文使用要点：https://www.iaiforum.com/t/15

评选
本周结束后，IAI 编辑部会挑选信息量大、数据可复现的帖子收录进“每周精华”（精华页：https://www.iaiforum.com/featured）。本活动不涉及奖金或实物奖励。

English: This week's topic (Oct 21–27, Beijing time) is long context and KV cache. Share your memory breakdown, KV cache optimizations, long-context vs RAG trade-offs, and debugging stories. Prefix new threads with 【本周话题】. Strong, reproducible posts will be featured.

本站只讨论 AI 技术与产业话题，不讨论政治。

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）