Communitygithub.com

graph-robots/open-robot-skills

グラフ(ポリシーとしてのグラフ)のためのスキルとツールのバンドル — Anthropic Agent Skills形式で、パスベースで発見されます。

open-robot-skills とは?

このスキルは、Vision-Languageモデル(VLM)をAPI経由で利用するためのツールセットです。GPUを必要とせず、すべてのプロバイダはリモートエンドポイントとして動作します。画像はgapネイティブの`uint8 [H, W, 3]` numpy配列として扱われ、通信時にはPNGエンコードされます。サポートされるプロバイダは`openrouter`(OpenRouter互換API)と`vertex`(Vertex AI / Geminiモデル)の2つで、環境変数`GAP_VLM_PROVIDER`で選択します。`vlm.query_yes_no`でシーンの意味的な確認やチェックポイント検証、`vlm.query`で自由形式のシーン説明や属性クエリを実行できます。各ツールは呼び出しごとにプロバイダのオーバーライドが可能で、温度は常に0.0に固定されています。

対応✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

vlm

API を利用した視覚言語 Q&A。GPU 不要。すべてのプロバイダはリモートエンドポイントです。 画像は gap ネイティブの uint8 [H, W, 3] numpy 配列で、通信時は PNG エンコードされます。

プロバイダ

GAP_VLM_PROVIDER で選択します(デフォルト: openrouter)。各ツールは呼び出しごとに provider= オーバーライドも受け付けます。

プロバイダバックエンド設定 (env)
openrouterOpenRouter の OpenAI 互換 chat-completions APIOPENROUTER_API_KEY (または GAP_VLM_API_KEY);GAP_VLM_MODEL(デフォルト gemini-3.1-flash-lite-preview、tools.py の DEFAULT_MODEL を参照);GAP_VLM_BASE_URL を設定して別の OpenAI 互換サーバー(例:ローカル vLLM)を指定可能
vertexgoogle-genai 経由の Vertex AI (Gemini モデル)GAP_VLM_MODEL、GAP_VLM_PROJECT_ID、GAP_VLM_REGION

vertex プロバイダは、google-genai を遅延インポートします。まず engine の vertex エクストラをインストールしてください:pip install "graph-as-policy[vertex]"。

使用するタイミング

  • 意味的なシーンチェックとチェックポイント検証(vlm.query_yes_no)。
  • 自由形式のシーン記述や属性クエリ(vlm.query)。
  • ピクセル空間のバウンディングボックスが必要な場合は gemini-er.detect を、単一のクリックポイントが必要な場合は molmo.point_prompt を優先してください。

注意事項

  • vlm.query_yes_no は source-verbatim ルールで判定します。回答は、小文字化した返信に "yes" が含まれる場合に true となります。
  • リクエストにはシステムプロンプトも temperature パラメータもありません(元の vlm.v1 プロトに準拠)。両プロバイダとも temperature: 0.0 に固定されています。

関連スキル