Gemini API 的 Computer Use 转为正式版：模型给出动作，执行权仍在应用

先说结论：Google 在 2026 年 10 月 30 日把 Computer Use 工具发布为 Gemini API 正式功能，可通过 Interactions API 和 GenerateContent API 调用。它提供的是一套让模型观察屏幕并提出界面动作的协议，不是一个替开发者接管浏览器或桌面的云端机器人。模型返回点击、输入、滚动等操作后，应用仍要决定是否执行，再截取新画面交回模型。正式版代表接口可以用于生产评估，不代表任意网站都能稳定完成，也不代表可以无人监督。

这次更新的实际意义在于接口从预览走向稳定，并把浏览器、移动设备和桌面等环境纳入同一类交互任务。Google 文档列出的典型用途包括重复表单录入、Web 应用测试，以及在网站上查找商品信息。对产品团队而言，原本需要人工逐页点选的流程，现在可以变成“说明目标、观察结果、继续下一步”的循环；对工程团队而言，接入工作并未消失，而是从编写固定选择器转向实现可信的动作执行层。

它如何工作

每一步都由客户端发起：先把用户任务、当前屏幕截图和工具配置交给模型；模型分析后返回 function_call，说明建议的坐标、按键或文本，并可能带上 intent 与 safety_decision；客户端读取响应，在目标环境中执行允许的动作；最后再截取新屏幕并把执行结果传回模型。这个反馈循环直到任务完成、失败或被应用终止。图中的关键点是，模型只提出动作，应用掌握执行环境和实际权限。

因此 Computer Use 与普通文本生成、也与只返回结构化函数参数的工具调用相似，但执行端更加贴近真实用户界面。网页布局变化、弹窗、加载延迟、登录态、页面缩放和网络错误都会影响后续步骤。应用需要保留每一步的截图、模型动作、执行结果和错误，才能复盘“看到了什么、建议了什么、实际上做了什么”。

适合从低风险任务试起

比较合适的首批任务是可以在测试环境复现、失败后容易重来、且不会直接造成经济或数据后果的工作，例如检查 Web 表单的必填提示、在沙盒站点走一遍新手引导，或从公开商品页收集少量字段。评估时应报告完整任务成功率、动作重试数、页面变化后的恢复率、每次任务的模型调用与人工干预，而不是只展示一次成功演示。多轮截图和工具调用带来的延迟及 token 成本，要按实际流程估算。

正式版不等于自动安全

官方文档明确建议使用沙盒虚拟机或容器隔离执行环境，并要求应用处理 safety_decision。金融交易、敏感资料修改、对外通信、账号创建等动作可以触发确认要求；开发者应让用户实际批准，而不是忽略该字段。Computer Use 的提示注入截图扫描需要主动启用，文档显示默认值为 false。隐藏网页文字仍可能诱导模型偏离任务，所以权限控制、站点许可名单、只读模式和敏感动作二次确认要由产品实现。

还要把日志当作敏感数据管理。截图可能包含登录姓名、订单内容或内部系统；若无任务需要，不应把整张桌面截图长期保存或发送给不需要的服务。对于需要提交、删除、付款或修改线上数据的动作，建议在执行前展示清晰的操作摘要，并保留取消入口。Google 的使用条款也限制绕过服务安全措施，不能把新接口当成规避网站访问控制的授权。

评测者结论：Computer Use 的价值是把视觉观察和界面动作纳入统一模型接口，减少脆弱脚本的手工拼接；它并没有消除执行器、安全边界、重试策略和人工确认。适合把重复、可逆、边界明确的流程先接入隔离环境，再用真实站点的任务成功率和成本决定是否扩大范围。若团队没有动作审计和权限分级，先保持人工操作更稳妥。

参考来源

1. Gemini API Release Notes
2. Gemini API Computer Use guide
3. Gemini API function calling guide
4. Gemini API Interactions API guide
5. Gemini API Additional Terms
6. Gemini API pricing