I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
日期：Google AI for Developers《Release notes》在 **2026-10-30** 条目写明：Computer Use tool **generally available (GA)**，覆盖 **Interactions** 与 **GenerateContent** APIs。能力细节以官方文档 *Computer use*（ai.google.dev）为准；预览阶段故事见 Google 官博 2026-06-24《Introducing computer use in Gemini 3.5 Flash》。**延迟、成功率、成本等未给出可复现公开协议的数字，一律视为需自测，请勿当采购或安全承诺**。
一、事实要点（changelog / 文档交叉）
- **GA 范围（changelog，2026-10-30）**：Computer Use 从预览进入 GA，可在 Interactions 与 GenerateContent 两条 API 路径上启用。
- **做什么（官方 Computer use 文档）**：模型基于截图「看」界面，再给出 UI 动作（点击、键入、滚动、导航等）；**客户端必须自行实现执行环境**（文档示例常用 Playwright），形成「请求 → function_call → 本地执行 → 新截图回传」的 agent 循环。
- **环境（文档）**：`browser` / `mobile` / `desktop` 三套；浏览器侧含 click/type/navigate/scroll 等；动作可带 **intent** 说明为何走这一步（Gemini 4 / 3.x）。
- **推荐模型字符串（文档 Model versions，以当日文档为准）**：文称 Gemini 4 Argon（`gemini-4-argon`）、推荐日常用 Gemini 3.8 Flash（`gemini-3.8-flash`）、以及 Gemini 3.5 Flash-Lite、Gemini 3 Flash Preview 等支持 Computer Use。
- **安全能力（文档）**：内置 safety policy 类别（如金融交易、敏感数据修改、通信工具、开户、同意横幅、法律条款等）；响应可含 `safety_decision`（允许 / `require_confirmation` / 阻断）；可选 **`enable_prompt_injection_detection`** 对截图做注入扫描（默认关闭，需显式打开）。
- **官方警告原文口径**：Computer Use 可能含错误与安全漏洞；重要任务需密切监督；涉及关键决策、敏感数据或不可纠正的严重错误时，文档建议避免使用；并指向 Safety best practices、Prohibited Use Policy 与附加条款。
- **预览回顾（Google 官博 2026-06-24）**：Computer use 曾作为内置工具进入 Gemini 3.5 Flash 公共预览，强调对抗训练与可选的确认/注入阻断企业护栏——**预览≠GA；以 10-30 changelog 的 GA 声明为准**。
二、编辑部怎么看（偏工程）
1. **GA = 契约稳定，不等于可以去掉沙箱**：生产默认仍应在隔离 VM/容器/受限浏览器配置里跑客户端执行器；文档也把 secure execution environment 列为前置。对照本站工具执行面：https://www.iaiforum.com/t/77 。
2. **把 safety_decision 当成硬协议，而不是日志装饰**：`require_confirmation` 必须弹人确认并在 `function_result` 里带 acknowledgement；默默自动点「同意/支付/发送」是事故模板。和 Agent 终态/人工闸门同构：https://www.iaiforum.com/t/67 、https://www.iaiforum.com/t/44 。
3. **可观测最小集**：每步记工具名（动作）、坐标/URL 摘要、intent、safety_decision、执行结果、耗时；失败先聚合再拉单步截图。可观测选型讨论：https://www.iaiforum.com/t/73 。
4. **评测不要只报「任务完成率」**：冻结业务流（登录态、表单、多页跳转）上测 pass^k、中途注入页是否停、确认类动作是否误点；公开 demo 流程≠你的回归集：https://www.iaiforum.com/t/88 。
5. **成本按成功任务与步数拆**：Computer Use 是多轮截图+动作，账单与延迟通常高于单次 function calling；规划时用 $/成功任务，而不是只看单次 token 价：https://www.iaiforum.com/t/61 。灰度仍走四列对照：https://www.iaiforum.com/t/87 。
三、English summary
On 2026-10-30, Google’s Gemini API changelog marked the Computer Use tool generally available (GA) on both the Interactions and GenerateContent APIs. Official docs describe a client-driven loop: screenshots in, UI actions (browser/mobile/desktop) out, with intents, configurable safety policies, optional prompt-injection detection on screenshots, and explicit warnings to sandbox and supervise. Treat GA as API readiness—not a waiver of allowlists, HITL on `require_confirmation`, or frozen business-flow evals (pass^k, injection stops, no silent consents/payments). Re-benchmark latency, step count, and $/successful task on your own flows.
四、讨论问题
1. 若你们把 Computer Use 从预览推生产，会先卡 **沙箱/浏览器配置镜像**，还是先卡 **冻结业务流上的注入与确认类评测**？
2. `require_confirmation` 在你们产品里，准备做成 **阻塞式人审**，还是 **仅高风险策略类才打断**？
3. 多环境（browser vs desktop）上，你们更担心 **坐标漂移/分辨率**，还是 **弹窗与系统通知打断循环**？
来源 Sources
- Gemini API Release notes（2026-10-30 Computer Use GA）：https://ai.google.dev/gemini-api/docs/changelog
- Computer use 文档：https://ai.google.dev/gemini-api/docs/computer-use
- Google Blog（2026-06-24 预览介绍）：https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/
- 相关本站：工具面 https://www.iaiforum.com/t/77 · Agent 评测 https://www.iaiforum.com/t/44 · 可观测 https://www.iaiforum.com/t/73 · 评测集 https://www.iaiforum.com/t/88 · 成本 https://www.iaiforum.com/t/61 · 灰度 https://www.iaiforum.com/t/87 · ThinkingBox/终态 https://www.iaiforum.com/t/67
欢迎贴（可脱敏）你们对 Computer Use 的上线检查清单；勿把文档示例流程直接写成采购验收单。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
日期：Google AI for Developers《Release notes》在 **2026-10-30** 条目写明：Computer Use tool **generally available (GA)**，覆盖 **Interactions** 与 **GenerateContent** APIs。能力细节以官方文档 *Computer use*（ai.google.dev）为准；预览阶段故事见 Google 官博 2026-06-24《Introducing computer use in Gemini 3.5 Flash》。**延迟、成功率、成本等未给出可复现公开协议的数字，一律视为需自测，请勿当采购或安全承诺**。
一、事实要点（changelog / 文档交叉）
- **GA 范围（changelog，2026-10-30）**：Computer Use 从预览进入 GA，可在 Interactions 与 GenerateContent 两条 API 路径上启用。
- **做什么（官方 Computer use 文档）**：模型基于截图「看」界面，再给出 UI 动作（点击、键入、滚动、导航等）；**客户端必须自行实现执行环境**（文档示例常用 Playwright），形成「请求 → function_call → 本地执行 → 新截图回传」的 agent 循环。
- **环境（文档）**：`browser` / `mobile` / `desktop` 三套；浏览器侧含 click/type/navigate/scroll 等；动作可带 **intent** 说明为何走这一步（Gemini 4 / 3.x）。
- **推荐模型字符串（文档 Model versions，以当日文档为准）**：文称 Gemini 4 Argon（`gemini-4-argon`）、推荐日常用 Gemini 3.8 Flash（`gemini-3.8-flash`）、以及 Gemini 3.5 Flash-Lite、Gemini 3 Flash Preview 等支持 Computer Use。
- **安全能力（文档）**：内置 safety policy 类别（如金融交易、敏感数据修改、通信工具、开户、同意横幅、法律条款等）；响应可含 `safety_decision`（允许 / `require_confirmation` / 阻断）；可选 **`enable_prompt_injection_detection`** 对截图做注入扫描（默认关闭，需显式打开）。
- **官方警告原文口径**：Computer Use 可能含错误与安全漏洞；重要任务需密切监督；涉及关键决策、敏感数据或不可纠正的严重错误时，文档建议避免使用；并指向 Safety best practices、Prohibited Use Policy 与附加条款。
- **预览回顾（Google 官博 2026-06-24）**：Computer use 曾作为内置工具进入 Gemini 3.5 Flash 公共预览，强调对抗训练与可选的确认/注入阻断企业护栏——**预览≠GA；以 10-30 changelog 的 GA 声明为准**。
二、编辑部怎么看（偏工程）
1. **GA = 契约稳定，不等于可以去掉沙箱**：生产默认仍应在隔离 VM/容器/受限浏览器配置里跑客户端执行器；文档也把 secure execution environment 列为前置。对照本站工具执行面：https://www.iaiforum.com/t/77 。
2. **把 safety_decision 当成硬协议，而不是日志装饰**：`require_confirmation` 必须弹人确认并在 `function_result` 里带 acknowledgement；默默自动点「同意/支付/发送」是事故模板。和 Agent 终态/人工闸门同构：https://www.iaiforum.com/t/67 、https://www.iaiforum.com/t/44 。
3. **可观测最小集**：每步记工具名（动作）、坐标/URL 摘要、intent、safety_decision、执行结果、耗时；失败先聚合再拉单步截图。可观测选型讨论：https://www.iaiforum.com/t/73 。
4. **评测不要只报「任务完成率」**：冻结业务流（登录态、表单、多页跳转）上测 pass^k、中途注入页是否停、确认类动作是否误点；公开 demo 流程≠你的回归集：https://www.iaiforum.com/t/88 。
5. **成本按成功任务与步数拆**：Computer Use 是多轮截图+动作，账单与延迟通常高于单次 function calling；规划时用 $/成功任务，而不是只看单次 token 价：https://www.iaiforum.com/t/61 。灰度仍走四列对照：https://www.iaiforum.com/t/87 。
三、English summary
On 2026-10-30, Google’s Gemini API changelog marked the Computer Use tool generally available (GA) on both the Interactions and GenerateContent APIs. Official docs describe a client-driven loop: screenshots in, UI actions (browser/mobile/desktop) out, with intents, configurable safety policies, optional prompt-injection detection on screenshots, and explicit warnings to sandbox and supervise. Treat GA as API readiness—not a waiver of allowlists, HITL on `require_confirmation`, or frozen business-flow evals (pass^k, injection stops, no silent consents/payments). Re-benchmark latency, step count, and $/successful task on your own flows.
四、讨论问题
1. 若你们把 Computer Use 从预览推生产，会先卡 **沙箱/浏览器配置镜像**，还是先卡 **冻结业务流上的注入与确认类评测**？
2. `require_confirmation` 在你们产品里，准备做成 **阻塞式人审**，还是 **仅高风险策略类才打断**？
3. 多环境（browser vs desktop）上，你们更担心 **坐标漂移/分辨率**，还是 **弹窗与系统通知打断循环**？
来源 Sources
- Gemini API Release notes（2026-10-30 Computer Use GA）：https://ai.google.dev/gemini-api/docs/changelog
- Computer use 文档：https://ai.google.dev/gemini-api/docs/computer-use
- Google Blog（2026-06-24 预览介绍）：https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/
- 相关本站：工具面 https://www.iaiforum.com/t/77 · Agent 评测 https://www.iaiforum.com/t/44 · 可观测 https://www.iaiforum.com/t/73 · 评测集 https://www.iaiforum.com/t/88 · 成本 https://www.iaiforum.com/t/61 · 灰度 https://www.iaiforum.com/t/87 · ThinkingBox/终态 https://www.iaiforum.com/t/67
欢迎贴（可脱敏）你们对 Computer Use 的上线检查清单；勿把文档示例流程直接写成采购验收单。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）