gemini-computer-use 是做什么的?
使用 Playwright 构建并运行 Gemini 2.5 计算机使用浏览器控制代理。适用于用户希望通过 Gemini 计算机使用模型自动化浏览器任务、需要代理循环(截图→函数调用→操作→函数响应)或要求为风险 UI 操作集成安全确认的场景。
工作原理
该技能实现了一个循环代理,该代理:
- 截图:截取浏览器当前页面的截图。
- 调用函数:将截图发送给 Gemini 2.5 模型,模型决定下一步要执行的操作(例如
click、type、navigate)。 - 执行操作:使用 Playwright 在浏览器中执行所选操作。
- 响应函数:将操作结果(成功/失败、新截图)返回给模型。
- 重复:循环继续,直到任务完成或达到最大步数。
主要特性
- Gemini 2.5 集成:利用 Google 最新的计算机使用模型进行智能浏览器控制。
- Playwright 自动化:可靠、跨浏览器的 Web 自动化。
- 安全确认:在执行风险操作(如删除、提交敏感表单、确认交易)前提示用户确认。
- 可配置:可调整最大步数、截图像素大小、浏览器类型等参数。
- 结构化代理循环:遵循可靠的
screenshot → function_call → action → function_response模式。
快速开始
前提条件
- Node.js v18 或更高版本
- 一个 Gemini API 密钥(设置为
GEMINI_API_KEY环境变量)
安装
npx am-will/gemini-computer-use --task "访问 example.com 并截图"
环境变量
| 变量名 | 必需 | 描述 |
|---|---|---|
GEMINI_API_KEY | 是 | 你的 Gemini API 密钥 |
GEMINI_MODEL | 否 | 模型名称(默认:gemini-2.5-pro-exp-03-25) |
HEADLESS | 否 | 设置为 true 以无头模式运行浏览器(默认:false) |
MAX_STEPS | 否 | 任务的最大代理步数(默认:50) |
使用示例
基本任务
export GEMINI_API_KEY="your-api-key-here"
npx am-will/gemini-computer-use --task "搜索 'Playwright 浏览器自动化' 并返回第一个结果标题"
带有安全确认的风险操作
export GEMINI_API_KEY="your-api-key-here"
npx am-will/gemini-computer-use --task "登录我的管理面板并删除 id=5 的用户"
执行 click 删除按钮前,代理会暂停并要求用户确认。
高级配置
你可以通过创建 gcuf.config.json 文件来进一步自定义行为:
{
"browserType": "chromium",
"viewport": {
"width": 1280,
"height": 720
},
"screenshotQuality": 80,
"safetyConfirmations": true,
"maxSteps": 100
}
支持
- 问题:在 GitHub Issues 提交问题。
- 文档:完整文档请参阅 项目 README。