I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
日期：源文 2026-10-22。以下事实来自 Hugging Face / Microsoft 联合博客《Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox》，文末 Sources；**pass@1、20/20、美元成本等均为文中自测/估算口径，换模型/任务/serving 必须自测，请勿当采购承诺**。
一、事实要点（博客）
- **问题**：Agent「说做完了」但后端数据库行仍错——ThinkingBox-Bench（507 任务）用**终态可执行检查**打分，而不是只看工具调用叙事。
- **训练**：把同类可执行信号做成奖励，在 **ThinkingBox-Bench 以外** 的任务池上对 **Qwen3.8-27B** 做 **GRPO**（文称 50 step）；基准本身留作 OOD 评测。
- **主结果（博客 Table 1）**：平均成功 **51.70% → 60.78%**；**全部 20 次都成功**的任务 **38 → 107**（约 7.5% → 21.1%）；pass@20（至少成功一次）略降（453 → 446）。文中概括：模型变得更**可重复**，而非更「宽」。
- **难度筛选**：用基座策略离线探测成功率，丢掉「总失败 / 总成功」两端，保留能产生对比奖励的中间带（policy-relative difficulty）。
- **成本口径（文中估算）**：「每个可依赖任务」成本约 **$24.36 → $8.00**（−67.2%）；数字是对比指数，**不含训练费用**，且非云账单原件。
- 代码与指南指向 GitHub `microsoft/thinkingbox-training`（以博客与仓库为准）。
二、编辑部怎么看（对照本站）
1. **和本周置顶同构**：https://www.iaiforum.com/t/44 强调公开榜 / 业务集 / pass^k——ThinkingBox 的「20/20 可重复」就是生产更关心的轴，而不是单次 demo 成功。
2. **奖励要对齐业务状态**：终态行级检查 > 只看「模型说 OK」；若你们 Agent 写库/改单，优先造可执行 oracle，而不是堆 LLM-as-judge。
3. **训练数据难度要匹配当前策略**：全 0 / 全 1 的 group 对 GRPO 没对比梯度——和「冒烟集太简单 / 场景集全是地狱」一样会白烧 rollout。
4. **覆盖率 vs 可重复性会权衡**：博客里 pass@20 略降、20/20 大涨——上线闸门应同时报两列，勿只报平均值。
三、English summary
HF/Microsoft (2026-10-22): ThinkingBox turns executable terminal DB checks into RL rewards. After 50 GRPO steps, Qwen3.8-27B rose from 51.70% to 60.78% average success; tasks succeeding on all 20 attempts rose 38→107. Benchmark held out as OOD. Treat metrics as author-reported; re-benchmark your stack.
四、讨论问题
1. 你们生产 Agent 有没有「可执行终态检查」？还是主要靠人工抽检 / LLM judge？
2. 汇报时是否同时报 **至少成功一次** 与 **k 次全成功**？两者排序是否经常打架？
3. 若只能加一项评测投资：先造业务 oracle，还是先扩公开榜对比？
来源 Sources
- HF Blog: https://huggingface.co/blog/microsoft/thinkingbox-training
- 前置博文（文内引用）: The Agent Said It Was Done. The Database Disagreed.（同系列，见该文链出）
- 论文引用（博客 bib）：arXiv:2608.19741 https://arxiv.org/abs/2608.19741
- GitHub（博客指出）：https://github.com/microsoft/thinkingbox-training
欢迎贴（可脱敏）你们的 k 次一致率与是否写库；勿只转发「3×」截图。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
日期：源文 2026-10-22。以下事实来自 Hugging Face / Microsoft 联合博客《Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox》，文末 Sources；**pass@1、20/20、美元成本等均为文中自测/估算口径，换模型/任务/serving 必须自测，请勿当采购承诺**。
一、事实要点（博客）
- **问题**：Agent「说做完了」但后端数据库行仍错——ThinkingBox-Bench（507 任务）用**终态可执行检查**打分，而不是只看工具调用叙事。
- **训练**：把同类可执行信号做成奖励，在 **ThinkingBox-Bench 以外** 的任务池上对 **Qwen3.8-27B** 做 **GRPO**（文称 50 step）；基准本身留作 OOD 评测。
- **主结果（博客 Table 1）**：平均成功 **51.70% → 60.78%**；**全部 20 次都成功**的任务 **38 → 107**（约 7.5% → 21.1%）；pass@20（至少成功一次）略降（453 → 446）。文中概括：模型变得更**可重复**，而非更「宽」。
- **难度筛选**：用基座策略离线探测成功率，丢掉「总失败 / 总成功」两端，保留能产生对比奖励的中间带（policy-relative difficulty）。
- **成本口径（文中估算）**：「每个可依赖任务」成本约 **$24.36 → $8.00**（−67.2%）；数字是对比指数，**不含训练费用**，且非云账单原件。
- 代码与指南指向 GitHub `microsoft/thinkingbox-training`（以博客与仓库为准）。
二、编辑部怎么看（对照本站）
1. **和本周置顶同构**：https://www.iaiforum.com/t/44 强调公开榜 / 业务集 / pass^k——ThinkingBox 的「20/20 可重复」就是生产更关心的轴，而不是单次 demo 成功。
2. **奖励要对齐业务状态**：终态行级检查 > 只看「模型说 OK」；若你们 Agent 写库/改单，优先造可执行 oracle，而不是堆 LLM-as-judge。
3. **训练数据难度要匹配当前策略**：全 0 / 全 1 的 group 对 GRPO 没对比梯度——和「冒烟集太简单 / 场景集全是地狱」一样会白烧 rollout。
4. **覆盖率 vs 可重复性会权衡**：博客里 pass@20 略降、20/20 大涨——上线闸门应同时报两列，勿只报平均值。
三、English summary
HF/Microsoft (2026-10-22): ThinkingBox turns executable terminal DB checks into RL rewards. After 50 GRPO steps, Qwen3.8-27B rose from 51.70% to 60.78% average success; tasks succeeding on all 20 attempts rose 38→107. Benchmark held out as OOD. Treat metrics as author-reported; re-benchmark your stack.
四、讨论问题
1. 你们生产 Agent 有没有「可执行终态检查」？还是主要靠人工抽检 / LLM judge？
2. 汇报时是否同时报 **至少成功一次** 与 **k 次全成功**？两者排序是否经常打架？
3. 若只能加一项评测投资：先造业务 oracle，还是先扩公开榜对比？
来源 Sources
- HF Blog: https://huggingface.co/blog/microsoft/thinkingbox-training
- 前置博文（文内引用）: The Agent Said It Was Done. The Database Disagreed.（同系列，见该文链出）
- 论文引用（博客 bib）：arXiv:2608.19741 https://arxiv.org/abs/2608.19741
- GitHub（博客指出）：https://github.com/microsoft/thinkingbox-training
欢迎贴（可脱敏）你们的 k 次一致率与是否写库；勿只转发「3×」截图。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）