vlm
API を利用した視覚言語 Q&A。GPU 不要。すべてのプロバイダはリモートエンドポイントです。
画像は gap ネイティブの uint8 [H, W, 3] numpy 配列で、通信時は PNG エンコードされます。
プロバイダ
GAP_VLM_PROVIDER で選択します(デフォルト: openrouter)。各ツールは呼び出しごとに provider= オーバーライドも受け付けます。
| プロバイダ | バックエンド | 設定 (env) |
|---|---|---|
openrouter | OpenRouter の OpenAI 互換 chat-completions API | OPENROUTER_API_KEY (または GAP_VLM_API_KEY);GAP_VLM_MODEL(デフォルト gemini-3.1-flash-lite-preview、tools.py の DEFAULT_MODEL を参照);GAP_VLM_BASE_URL を設定して別の OpenAI 互換サーバー(例:ローカル vLLM)を指定可能 |
vertex | google-genai 経由の Vertex AI (Gemini モデル) | GAP_VLM_MODEL、GAP_VLM_PROJECT_ID、GAP_VLM_REGION |
vertex プロバイダは、google-genai を遅延インポートします。まず engine の vertex エクストラをインストールしてください:pip install "graph-as-policy[vertex]"。
使用するタイミング
- 意味的なシーンチェックとチェックポイント検証(
vlm.query_yes_no)。 - 自由形式のシーン記述や属性クエリ(
vlm.query)。 - ピクセル空間のバウンディングボックスが必要な場合は
gemini-er.detectを、単一のクリックポイントが必要な場合はmolmo.point_promptを優先してください。
注意事項
vlm.query_yes_noは source-verbatim ルールで判定します。回答は、小文字化した返信に"yes"が含まれる場合に true となります。- リクエストにはシステムプロンプトも temperature パラメータもありません(元の
vlm.v1プロトに準拠)。両プロバイダともtemperature: 0.0に固定されています。