I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
日期：Allen Institute for AI（Ai2）于 **2026-11-03** 发布 **StateBench**（核实路径：https://huggingface.co/blog/allenai/statebench ；同步介绍见 allenai.org/blog/statebench）。定位是度量语言模型在**长文档中跟踪实体状态如何随时间演化**的能力——从读代码里的变量赋值，到故事里人物/物品易手。官文强调：并非所有状态跟踪同等难度；有的只需找回「最新赋值」，更难的需要沿依赖链逐步更新，漏一步终态就错。
一、事实要点（HF / Ai2 官方介绍页）
- **四级难度（由易到难）**：
1. **R-trivial**：不可变赋值（只需找回首次设定，如出生日期）；
2. **Aperiodic**：按值重赋值（只需最新值，如恒温器设定）；
3. **Soluble**：自引用更新（如 `x = x + 5`，必须带着中间结果往前推）；
4. **General finite**：按引用赋值/交换（如 `x = y` 或杯子换位藏球；含 S₅ 类置换跟踪）。
- **可比构造**：从同一条 general finite 赋值序列派生出三个更易版本，变量数与出现位置对齐，只改赋值类型，便于公平对照。
- **预训练开源模型**：同数据预训练的 Olmo 3（Transformer）与 Olmo Hybrid（加 Gated DeltaNet）等；预训练上下文不超过 **64,000** tokens，测试多超出该长度。多数在 r-trivial 表现好，随长度在 aperiodic 掉点，在 general finite 上接近随机；**题面格式**会影响分数（如 RULER 风格 vs 表格编辑）。
- **前沿模型**（官文点名 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol / Luna）：r-trivial / aperiodic 尚可；在 soluble 与 general finite 上随输入变长准确率急剧下降，最长 general finite 上可降至约 **13% 或更低**（以官文表述为准；企业勿直接当自家 SLA）。
- **直接训任务时的架构差**：约 **275M** 参数模型从零在 StateBench 上训练（训练序列最长约 **256** 次赋值，测试可到约 **64,000** 次，约 **250×** 外推）。Gated DeltaNet / hybrid 在较易三级上可外推到极长序列近乎完美；Transformer 学不会最难一级。更灵活 memory update 的 Gated DeltaNet 在最难级可外推到约训练长度 **10×** 仍接近完美（官文）。
- **边界**：当前框架假设变量数固定；真实对话里实体会动态出现——官文列为开放问题。任务集/代码已公开（见 HF 博文及相关资源链接，以页面为准）。
二、编辑部怎么看（偏工程）
1. **把「长上下文够用」拆成状态跟踪级别，而不是只报针检索**：企业长文档助手/合同修订/多轮 Agent 若只测「找得到某段原文」，会漏掉 soluble/引用赋值类失败。对照评测分层：https://www.iaiforum.com/t/44 、https://www.iaiforum.com/t/111 。
2. **RAG/助手闸门加「状态一致性」桶**：同一实体多处修订、跨段引用、累计字段（金额/库存/分值）应单列失败码；绑不上证据的句子删除/降级（搜索引用纪律：https://www.iaiforum.com/t/114 、https://www.iaiforum.com/t/88 ）。
3. **长度外推与格式敏感性要进回归**：换提示模板或改成表格/表单编辑，分数可能崩——发布单应固定题面格式哈希。可观测：https://www.iaiforum.com/t/73 。
4. **架构选型信号 ≠ 立刻换栈**：官文显示 hybrid / 递推记忆在「直接训状态跟踪」时外推更强；产线仍要以业务终态、工具越权否决与 $/成功任务为准：https://www.iaiforum.com/t/77 、https://www.iaiforum.com/t/61 、https://www.iaiforum.com/t/87 。
5. **与 LifeVal 等「办完事」评测互补**：LifeVal 偏日常任务终态（https://www.iaiforum.com/t/116 ）；StateBench 偏长文档状态是否跟住——企业助手建议两桶都建。
三、English summary
On 2026-11-03 Ai2 introduced StateBench (Hugging Face blog: allenai/statebench): four theoretically motivated levels of long-context state tracking (immutable, latest-value, self-referential, and reference/swap updates). Frontier models hold up on easier levels but degrade sharply on harder ones as inputs lengthen (down to ~13% or lower on the longest general-finite cases per the post). When trained directly on the task, Gated DeltaNet/hybrid models generalize far beyond transformers. Treat StateBench as an engineering signal for long-doc assistants, agents, and RAG release gates—add an explicit state-consistency failure bucket; do not copy blog numbers into vendor SLAs without your own hold-out.
四、讨论问题
1. 你们长文档/合同助手评测里，有没有单独的 **状态一致性**（多轮修订、累计字段、跨段引用）失败桶？
2. 若要对齐 StateBench 方向，你们会先补 **自引用/累计更新** 题，还是先补 **引用赋值/交换** 题？
3. 题面从纯文本改成表格/表单后，线上质量有没有出现过「同模型断崖」？
来源 Sources
- Hugging Face Blog · StateBench（2026-11-03）：https://huggingface.co/blog/allenai/statebench
- Ai2 · StateBench：https://allenai.org/blog/statebench
- 相关本站：Agent 评测 https://www.iaiforum.com/t/44 · 自建评测 https://www.iaiforum.com/t/111 · LifeVal https://www.iaiforum.com/t/116 · 引用幻觉 https://www.iaiforum.com/t/114 · 评测集 https://www.iaiforum.com/t/88 · 工具面 https://www.iaiforum.com/t/77 · 可观测 https://www.iaiforum.com/t/73 · 灰度 https://www.iaiforum.com/t/87 · 成本 https://www.iaiforum.com/t/61
欢迎贴（可脱敏）你们对「长文档状态是否跟住」的抽检题型；数字以官文为准，需自测后再进发布门槛。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
日期：Allen Institute for AI（Ai2）于 **2026-11-03** 发布 **StateBench**（核实路径：https://huggingface.co/blog/allenai/statebench ；同步介绍见 allenai.org/blog/statebench）。定位是度量语言模型在**长文档中跟踪实体状态如何随时间演化**的能力——从读代码里的变量赋值，到故事里人物/物品易手。官文强调：并非所有状态跟踪同等难度；有的只需找回「最新赋值」，更难的需要沿依赖链逐步更新，漏一步终态就错。
一、事实要点（HF / Ai2 官方介绍页）
- **四级难度（由易到难）**：
1. **R-trivial**：不可变赋值（只需找回首次设定，如出生日期）；
2. **Aperiodic**：按值重赋值（只需最新值，如恒温器设定）；
3. **Soluble**：自引用更新（如 `x = x + 5`，必须带着中间结果往前推）；
4. **General finite**：按引用赋值/交换（如 `x = y` 或杯子换位藏球；含 S₅ 类置换跟踪）。
- **可比构造**：从同一条 general finite 赋值序列派生出三个更易版本，变量数与出现位置对齐，只改赋值类型，便于公平对照。
- **预训练开源模型**：同数据预训练的 Olmo 3（Transformer）与 Olmo Hybrid（加 Gated DeltaNet）等；预训练上下文不超过 **64,000** tokens，测试多超出该长度。多数在 r-trivial 表现好，随长度在 aperiodic 掉点，在 general finite 上接近随机；**题面格式**会影响分数（如 RULER 风格 vs 表格编辑）。
- **前沿模型**（官文点名 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol / Luna）：r-trivial / aperiodic 尚可；在 soluble 与 general finite 上随输入变长准确率急剧下降，最长 general finite 上可降至约 **13% 或更低**（以官文表述为准；企业勿直接当自家 SLA）。
- **直接训任务时的架构差**：约 **275M** 参数模型从零在 StateBench 上训练（训练序列最长约 **256** 次赋值，测试可到约 **64,000** 次，约 **250×** 外推）。Gated DeltaNet / hybrid 在较易三级上可外推到极长序列近乎完美；Transformer 学不会最难一级。更灵活 memory update 的 Gated DeltaNet 在最难级可外推到约训练长度 **10×** 仍接近完美（官文）。
- **边界**：当前框架假设变量数固定；真实对话里实体会动态出现——官文列为开放问题。任务集/代码已公开（见 HF 博文及相关资源链接，以页面为准）。
二、编辑部怎么看（偏工程）
1. **把「长上下文够用」拆成状态跟踪级别，而不是只报针检索**：企业长文档助手/合同修订/多轮 Agent 若只测「找得到某段原文」，会漏掉 soluble/引用赋值类失败。对照评测分层：https://www.iaiforum.com/t/44 、https://www.iaiforum.com/t/111 。
2. **RAG/助手闸门加「状态一致性」桶**：同一实体多处修订、跨段引用、累计字段（金额/库存/分值）应单列失败码；绑不上证据的句子删除/降级（搜索引用纪律：https://www.iaiforum.com/t/114 、https://www.iaiforum.com/t/88 ）。
3. **长度外推与格式敏感性要进回归**：换提示模板或改成表格/表单编辑，分数可能崩——发布单应固定题面格式哈希。可观测：https://www.iaiforum.com/t/73 。
4. **架构选型信号 ≠ 立刻换栈**：官文显示 hybrid / 递推记忆在「直接训状态跟踪」时外推更强；产线仍要以业务终态、工具越权否决与 $/成功任务为准：https://www.iaiforum.com/t/77 、https://www.iaiforum.com/t/61 、https://www.iaiforum.com/t/87 。
5. **与 LifeVal 等「办完事」评测互补**：LifeVal 偏日常任务终态（https://www.iaiforum.com/t/116 ）；StateBench 偏长文档状态是否跟住——企业助手建议两桶都建。
三、English summary
On 2026-11-03 Ai2 introduced StateBench (Hugging Face blog: allenai/statebench): four theoretically motivated levels of long-context state tracking (immutable, latest-value, self-referential, and reference/swap updates). Frontier models hold up on easier levels but degrade sharply on harder ones as inputs lengthen (down to ~13% or lower on the longest general-finite cases per the post). When trained directly on the task, Gated DeltaNet/hybrid models generalize far beyond transformers. Treat StateBench as an engineering signal for long-doc assistants, agents, and RAG release gates—add an explicit state-consistency failure bucket; do not copy blog numbers into vendor SLAs without your own hold-out.
四、讨论问题
1. 你们长文档/合同助手评测里，有没有单独的 **状态一致性**（多轮修订、累计字段、跨段引用）失败桶？
2. 若要对齐 StateBench 方向，你们会先补 **自引用/累计更新** 题，还是先补 **引用赋值/交换** 题？
3. 题面从纯文本改成表格/表单后，线上质量有没有出现过「同模型断崖」？
来源 Sources
- Hugging Face Blog · StateBench（2026-11-03）：https://huggingface.co/blog/allenai/statebench
- Ai2 · StateBench：https://allenai.org/blog/statebench
- 相关本站：Agent 评测 https://www.iaiforum.com/t/44 · 自建评测 https://www.iaiforum.com/t/111 · LifeVal https://www.iaiforum.com/t/116 · 引用幻觉 https://www.iaiforum.com/t/114 · 评测集 https://www.iaiforum.com/t/88 · 工具面 https://www.iaiforum.com/t/77 · 可观测 https://www.iaiforum.com/t/73 · 灰度 https://www.iaiforum.com/t/87 · 成本 https://www.iaiforum.com/t/61
欢迎贴（可脱敏）你们对「长文档状态是否跟住」的抽检题型；数字以官文为准，需自测后再进发布门槛。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）