Communitygithub.com

graph-robots/open-robot-skills

技能与工具包,用于 gap (graph as policy) — 采用 Anthropic Agent 技能格式,由路径发现

open-robot-skills 是什么?

该技能提供了一组基于 API 的视觉-语言问答(VLM)工具,无需本地 GPU,所有推理工作由远程端点完成。它支持 OpenRouter 和 Vertex AI 两种后端提供商,可通过环境变量 `GAP_VLM_PROVIDER` 切换,并允许按调用覆盖。图像以 gap 原生 `uint8 [H, W, 3]` NumPy 数组形式处理,传输时进行 PNG 编码。该技能包含 `vlm.query_yes_no`(用于语义场景检查和检查点验证)和 `vlm.query`(用于自由格式场景描述或属性查询)等工具。它适用于需要视觉理解但不想管理本地推理硬件的开发者,尤其适合基于策略的图(graph-as-policy)工作流。

兼容平台✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

vlm

基于 API 的视觉-语言问答。无需 GPU:每个提供商都是远程端点。图像是 gap 原生的 uint8 [H, W, 3] NumPy 数组,传输时进行 PNG 编码。

提供商

通过 GAP_VLM_PROVIDER 选择(默认为 openrouter);每个工具也接受每次调用时的 provider= 覆盖。

提供商后端配置(环境变量)
openrouterOpenRouter 的 OpenAI 兼容聊天完成 APIOPENROUTER_API_KEY(或 GAP_VLM_API_KEY);GAP_VLM_MODEL(默认为 gemini-3.1-flash-lite-preview,参见 tools.py 中的 DEFAULT_MODEL);设置 GAP_VLM_BASE_URL 指向其他 OpenAI 兼容服务器(例如本地 vLLM)
vertex通过 google-genai 使用 Vertex AI(Gemini 模型)GAP_VLM_MODEL,GAP_VLM_PROJECT_ID,GAP_VLM_REGION

vertex 提供商延迟导入 google-genai — 请先安装引擎的 vertex 附加组件:pip install "graph-as-policy[vertex]"。

何时使用

  • 语义场景检查和检查点验证(vlm.query_yes_no)。
  • 自由格式的场景描述或属性查询(vlm.query)。
  • 当需要像素空间边界框时,优先使用 gemini-er.detect;当需要单个点击点时,优先使用 molmo.point_prompt。

注意事项

  • vlm.query_yes_no 使用源文本匹配规则:当且仅当小写回复中出现 "yes" 时,答案为真。
  • 请求不携带系统提示,也不提供温度控制(与原始 vlm.v1 原型一致);两个提供商均固定 temperature: 0.0。

相关技能