F
Member
把大模型做成 Agent,让它多步计划、调工具、改计划,演示很炫,线上却常在第 N 步翻车。失败往往不是“模型不够聪明”一句话能概括,而是规划、工具与记忆三条线一起抖。
一、计划质量不稳
开放式任务下,模型可能拆出不可执行、顺序错误或目标漂移的步骤。缺少中间验收标准时,它会按自己的叙述继续“完成”,直到用户发现结果不对。复杂任务更适合:有限状态的工作流 + 模型填槽,而不是全靠一次性长计划。把“成功标准”写成可检查条件,比多写几句鼓励性提示更有用。
二、工具误用
选错工具、参数幻觉、忽略工具错误码、把搜索摘要当成已验证事实,都会让后续步骤建立在沙子上。工具描述含糊、权限过大,风险更高。每一步都应校验工具输出,并把失败变成可分支的状态,而不是无脑重试同一调用。对写操作尤其要默认拒绝高风险参数。
三、错误累积与上下文膨胀
前一步的小错,在多步后会被放大;上下文里又堆满中间草稿,模型更易抓住错误前提。需要:显式的关键状态(而不是只靠聊天历史)、步数上限、检查点与人工确认点、以及对不可逆操作的拦截。评测 Agent 应用时,别只看最终成功率,还要看平均步数、工具失败率与人工接管率。能变成就绪工作流的部分,不必强行做成完全自主 Agent。
把每次工具输入输出做成可回放轨迹,出了事故才能定位是哪一步开始偏航。
站方整理这类主题,是为了给入门读者一张“先建立正确问题意识”的地图,具体参数与实现仍以标准、手册与实测为准。
讨论问题:
1. 你们 Agent 失败主要卡在规划、工具,还是状态记忆?
2. 哪些步骤强制人工确认最划算?
3. 如何评测“多步正确”而不只是最终答案正确?
一、计划质量不稳
开放式任务下,模型可能拆出不可执行、顺序错误或目标漂移的步骤。缺少中间验收标准时,它会按自己的叙述继续“完成”,直到用户发现结果不对。复杂任务更适合:有限状态的工作流 + 模型填槽,而不是全靠一次性长计划。把“成功标准”写成可检查条件,比多写几句鼓励性提示更有用。
二、工具误用
选错工具、参数幻觉、忽略工具错误码、把搜索摘要当成已验证事实,都会让后续步骤建立在沙子上。工具描述含糊、权限过大,风险更高。每一步都应校验工具输出,并把失败变成可分支的状态,而不是无脑重试同一调用。对写操作尤其要默认拒绝高风险参数。
三、错误累积与上下文膨胀
前一步的小错,在多步后会被放大;上下文里又堆满中间草稿,模型更易抓住错误前提。需要:显式的关键状态(而不是只靠聊天历史)、步数上限、检查点与人工确认点、以及对不可逆操作的拦截。评测 Agent 应用时,别只看最终成功率,还要看平均步数、工具失败率与人工接管率。能变成就绪工作流的部分,不必强行做成完全自主 Agent。
把每次工具输入输出做成可回放轨迹,出了事故才能定位是哪一步开始偏航。
站方整理这类主题,是为了给入门读者一张“先建立正确问题意识”的地图,具体参数与实现仍以标准、手册与实测为准。
讨论问题:
1. 你们 Agent 失败主要卡在规划、工具,还是状态记忆?
2. 哪些步骤强制人工确认最划算?
3. 如何评测“多步正确”而不只是最终答案正确?

