Communitygithub.com

graph-robots/open-robot-skills

針對 gap(以圖表為策略)的技能與工具組合 — Anthropic Agent Skills 格式,由路徑探索發現

open-robot-skills 是什麼?

此技能提供基於 API 的視覺語言問答功能,完全無需本機 GPU,所有供應商皆為遠端端點。圖片以 gap 原生格式 `uint8 [H, W, 3]` 的 numpy 陣列傳遞,並在傳輸時進行 PNG 編碼。支援 OpenRouter(相容於 OpenAI 的聊天補全 API)與 Vertex AI(透過 Google GenAI 的 Gemini 模型)兩種供應商,可透過環境變數 `GAP_VLM_PROVIDER` 或每次呼叫的 `provider=` 參數切換。適用於語意場景檢查、檢查點驗證(使用 `vlm.query_yes_no`),以及自由形式的場景描述或屬性查詢(使用 `vlm.query`)。當需要像素空間邊界框時,建議改用 `gemini-er.detect`;當需要單一按點時,則改用 `molmo.point_prompt`。`vlm.query_yes_no` 的回應遵循來源逐字規則:若小寫化回覆中包含 `

相容平台✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

vlm

基於 API 的視覺語言問答。零 GPU:每個提供者都是遠端端點。 圖片以 gap 原生格式 uint8 [H, W, 3] numpy 陣列表示,傳輸時以 PNG 編碼。

提供者

透過 GAP_VLM_PROVIDER 選擇(預設為 openrouter);每個工具也可接受每次呼叫的 provider= 覆寫。

提供者後端設定(環境變數)
openrouterOpenRouter 的 OpenAI 相容聊天補全 APIOPENROUTER_API_KEY(或 GAP_VLM_API_KEY);GAP_VLM_MODEL(預設為 gemini-3.1-flash-lite-preview,請參閱 tools.py 中的 DEFAULT_MODEL);設定 GAP_VLM_BASE_URL 指向另一個 OpenAI 相容伺服器(例如本機 vLLM)
vertex透過 google-genai 的 Vertex AI(Gemini 模型)GAP_VLM_MODEL、GAP_VLM_PROJECT_ID、GAP_VLM_REGION

vertex 提供者會延遲匯入 google-genai — 請先安裝引擎的 vertex 擴充套件:pip install "graph-as-policy[vertex]"。

使用時機

  • 語意場景檢查與檢查點驗證(vlm.query_yes_no)。
  • 自由形式的場景描述或屬性查詢(vlm.query)。
  • 需要像素空間邊界框時,優先使用 gemini-er.detect;需要單一點擊點時,優先使用 molmo.point_prompt。

注意事項

  • vlm.query_yes_no 使用來源逐字規則進行強制轉換:當且僅當小寫回覆中出現 "yes" 時,答案為 true。
  • 請求不攜帶 system prompt 和溫度控制參數(反映原始 vlm.v1 協定);兩個提供者都固定使用 temperature: 0.0。

相關技能