I
Admin
IAI 管理员 · 本周话题活动 / Weekly topic event
活动时间：2026 年 10 月 23 日（周五）至 10 月 30 日（周五），北京时间
说明：第 4 周主话题仍是「长上下文与 KV Cache」（https://www.iaiforum.com/t/34）；本帖为加场人气话题，聚焦 Agent 评测，欢迎交叉参与。
一、为什么单独开这个话题
Agent 框架选型（LangGraph / Dify / 自研）讨论已经很多，但「上线前怎么证明它靠谱」往往更缺共识。公开榜分数好看、业务一上线就翻车的情况并不少见。本周希望把评测方法摊开：你信公开基准，还是只信自己的业务集？
二、干货提纲（可作自检清单）
1. 先分清评什么
- 单步工具选择对不对（function calling / AST 匹配）
- 多步轨迹能不能走完（任务成功率）
- 多轮对话里是否遵守业务规则（政策/权限/退改签等）
- 同一任务多次跑是否稳定（一致性）
2. 几份可核实的公开基准（请自己读原文，勿只抄总分）
- τ-bench（Tool-Agent-User）：模拟用户 + 领域 API + 政策文档，用对话结束时的数据库状态判对；并提出 pass^k 衡量多次试验一致性。论文：https://arxiv.org/abs/2406.12045 ；代码：https://github.com/sierra-research/tau-bench
- AgentBench：跨操作系统、数据库、知识图谱、网游等八类环境的综合评测。论文：https://arxiv.org/abs/2308.03688
- ToolBench：大规模真实 REST API 上的工具使用与通过率。论文：https://arxiv.org/abs/2307.16789
- SWE-bench / SWE-bench Verified：以可运行补丁解决真实 GitHub issue，偏软件工程 Agent。https://www.swebench.com/
- GAIA：需要工具与多步推理的助手题。论文：https://arxiv.org/abs/2311.12983
3. 生产侧建议最少要有的三张表
- 黄金任务集：覆盖主路径 + 工具失败 + 权限拒绝 + 用户中途改口
- 指标：任务成功率、平均/分位步数与延迟、工具错误率、人工介入率、单位成功任务成本（token/钱）
- 回归纪律：提示词、工具 schema、模型版本任一变更都重跑冻结集；公开榜只作参考，不替代业务集
4. 和本站已有讨论的衔接
- Agent 框架选型：https://www.iaiforum.com/t/42
- 工具调用可靠性：https://www.iaiforum.com/t/29
- Agent ROI 怎么证明：https://www.iaiforum.com/t/33
- RAG 评估（评测集搭法可复用）：https://www.iaiforum.com/t/23
三、English summary
Public agent benchmarks (τ-bench, AgentBench, ToolBench, SWE-bench, GAIA) measure different slices: tool choice, multi-step success, policy following, and run-to-run consistency (pass^k). For production, keep a frozen business task set with failure modes, track success / latency / tool-error / human-handoff / cost-per-success, and re-run on every prompt, tool schema, or model change.
四、本周请大家回答的讨论问题（任选 1–2 条深入写）
1. 你们线上 Agent 的「及格线」是怎么定的？用的是公开榜、业务黄金集，还是人工抽检？
2. 有没有遇到「榜单高分、业务翻车」？根因更像是评测集污染、缺负样本，还是缺一致性（pass^k）指标？
3. 工具失败（超时、4xx、部分写入）在评测里怎么造？是否计入成功率分母？
4. 多 Agent / 子代理架构下，你们评的是整条链路还是每个子代理单独打分？
5. 若只能保留一个指标给老板，你会选成功率、人工介入率，还是单位成功成本？为什么？
参与方式
- 发新帖请在标题前加【本周话题】，板块优先：应用与行业案例 / 开发工具与开源 / 模型与评测。
- 请写明模型、工具集、评测集规模与构造方式；可打码公司名，勿贴密钥与内部地址。
- 也可直接在本帖或相关帖（如 t/42、t/29、t/33）下回复。
来源 Sources（均可公开核实）
- Yao et al., τ-bench：https://arxiv.org/abs/2406.12045 · https://github.com/sierra-research/tau-bench
- Liu et al., AgentBench：https://arxiv.org/abs/2308.03688
- Qin et al., ToolBench：https://arxiv.org/abs/2307.16789
- SWE-bench：https://www.swebench.com/
- Mialon et al., GAIA：https://arxiv.org/abs/2311.12983
欢迎实测、反例和失败案例。优质回复会纳入每周精华候选（规则见 https://www.iaiforum.com/t/35 ）。
——
IAI 管理员 · 官方（站方管理员账号 iaiforum_admin，Official admin account）
活动时间：2026 年 10 月 23 日（周五）至 10 月 30 日（周五），北京时间
说明：第 4 周主话题仍是「长上下文与 KV Cache」（https://www.iaiforum.com/t/34）；本帖为加场人气话题，聚焦 Agent 评测，欢迎交叉参与。
一、为什么单独开这个话题
Agent 框架选型（LangGraph / Dify / 自研）讨论已经很多，但「上线前怎么证明它靠谱」往往更缺共识。公开榜分数好看、业务一上线就翻车的情况并不少见。本周希望把评测方法摊开：你信公开基准，还是只信自己的业务集？
二、干货提纲（可作自检清单）
1. 先分清评什么
- 单步工具选择对不对（function calling / AST 匹配）
- 多步轨迹能不能走完（任务成功率）
- 多轮对话里是否遵守业务规则（政策/权限/退改签等）
- 同一任务多次跑是否稳定（一致性）
2. 几份可核实的公开基准（请自己读原文，勿只抄总分）
- τ-bench（Tool-Agent-User）：模拟用户 + 领域 API + 政策文档，用对话结束时的数据库状态判对；并提出 pass^k 衡量多次试验一致性。论文：https://arxiv.org/abs/2406.12045 ；代码：https://github.com/sierra-research/tau-bench
- AgentBench：跨操作系统、数据库、知识图谱、网游等八类环境的综合评测。论文：https://arxiv.org/abs/2308.03688
- ToolBench：大规模真实 REST API 上的工具使用与通过率。论文：https://arxiv.org/abs/2307.16789
- SWE-bench / SWE-bench Verified：以可运行补丁解决真实 GitHub issue，偏软件工程 Agent。https://www.swebench.com/
- GAIA：需要工具与多步推理的助手题。论文：https://arxiv.org/abs/2311.12983
3. 生产侧建议最少要有的三张表
- 黄金任务集：覆盖主路径 + 工具失败 + 权限拒绝 + 用户中途改口
- 指标：任务成功率、平均/分位步数与延迟、工具错误率、人工介入率、单位成功任务成本（token/钱）
- 回归纪律：提示词、工具 schema、模型版本任一变更都重跑冻结集；公开榜只作参考，不替代业务集
4. 和本站已有讨论的衔接
- Agent 框架选型：https://www.iaiforum.com/t/42
- 工具调用可靠性：https://www.iaiforum.com/t/29
- Agent ROI 怎么证明：https://www.iaiforum.com/t/33
- RAG 评估（评测集搭法可复用）：https://www.iaiforum.com/t/23
三、English summary
Public agent benchmarks (τ-bench, AgentBench, ToolBench, SWE-bench, GAIA) measure different slices: tool choice, multi-step success, policy following, and run-to-run consistency (pass^k). For production, keep a frozen business task set with failure modes, track success / latency / tool-error / human-handoff / cost-per-success, and re-run on every prompt, tool schema, or model change.
四、本周请大家回答的讨论问题（任选 1–2 条深入写）
1. 你们线上 Agent 的「及格线」是怎么定的？用的是公开榜、业务黄金集，还是人工抽检？
2. 有没有遇到「榜单高分、业务翻车」？根因更像是评测集污染、缺负样本，还是缺一致性（pass^k）指标？
3. 工具失败（超时、4xx、部分写入）在评测里怎么造？是否计入成功率分母？
4. 多 Agent / 子代理架构下，你们评的是整条链路还是每个子代理单独打分？
5. 若只能保留一个指标给老板，你会选成功率、人工介入率，还是单位成功成本？为什么？
参与方式
- 发新帖请在标题前加【本周话题】，板块优先：应用与行业案例 / 开发工具与开源 / 模型与评测。
- 请写明模型、工具集、评测集规模与构造方式；可打码公司名，勿贴密钥与内部地址。
- 也可直接在本帖或相关帖（如 t/42、t/29、t/33）下回复。
来源 Sources（均可公开核实）
- Yao et al., τ-bench：https://arxiv.org/abs/2406.12045 · https://github.com/sierra-research/tau-bench
- Liu et al., AgentBench：https://arxiv.org/abs/2308.03688
- Qin et al., ToolBench：https://arxiv.org/abs/2307.16789
- SWE-bench：https://www.swebench.com/
- Mialon et al., GAIA：https://arxiv.org/abs/2311.12983
欢迎实测、反例和失败案例。优质回复会纳入每周精华候选（规则见 https://www.iaiforum.com/t/35 ）。
——
IAI 管理员 · 官方（站方管理员账号 iaiforum_admin，Official admin account）