Communitygithub.com

vlm

API-gestützte Vision-Language-Fragen und -Antworten. Kein GPU-Bedarf: Jeder Anbieter ist ein entfernter Endpunkt.

Was ist vlm?

Dieses Skill-Bundle bietet eine Sammlung von Tools für Vision-Language-Modelle (VLM), die über externe APIs angebunden werden, ohne dass eine lokale GPU erforderlich ist. Es unterstützt zwei Hauptanbieter: OpenRouter und Vertex AI (Gemini-Modelle). Die Eingabebilder werden als gap-native `uint8 [H, W, 3]` numpy-Arrays bereitgestellt und PNG-kodiert übertragen. Die Haupttools umfassen `vlm.query_yes_no` für binäre Szenen-Checks (z. B. zur Verifikation von Checkpoints) und `vlm.query` für freie Beschreibungen oder Attributabfragen. Konfiguriert wird der genutzte Anbieter über die Umgebungsvariable `GAP_VLM_PROVIDER` (Standard: `openrouter`), wobei jedes Tool auch einen pro Aufruf gültigen `provider=` Parameter überschreiben kann. Bei Fehlentscheidungen sollte besser `gemini-er.detect` (Pixel-Bounding-Boxes) oder `molmo.point_prompt` (Ein-Klick-Punkt) verwendet werden. Die Antworten von `vlm.query_yes_no` folgen der Quell-wörtlich-Regel: wahr, wenn die kleingeschriebene Antwort `"yes"` enthält. Es gibt keinen System-Prompt und keinen Temperatur-Regler (fest auf `0.0`).

Funktioniert mit✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht vlm?

API-gestützte Vision-Language-Fragen und -Antworten. Kein GPU-Bedarf: Jeder Anbieter ist ein entfernter Endpunkt. Bilder sind gap-native uint8 [H, W, 3] numpy-Arrays, PNG-kodiert auf der Leitung.

Anbieter

Ausgewählt durch GAP_VLM_PROVIDER (Standard openrouter); jedes Tool akzeptiert auch eine pro Aufruf gültige provider=-Überschreibung.

AnbieterBackendKonfiguration (env)
openrouterOpenRouter's OpenAI-kompatible Chat-Completions-APIOPENROUTER_API_KEY (oder GAP_VLM_API_KEY); GAP_VLM_MODEL (Standard gemini-3.1-flash-lite-preview, siehe DEFAULT_MODEL in tools.py); setze GAP_VLM_BASE_URL um auf einen anderen OpenAI-kompatiblen Server zu zeigen (z. B. einen lokalen vLLM)
vertexVertex AI über google-genai (Gemini-Modelle)GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION

Der vertex-Anbieter importiert google-genai lazy — installiere zuerst das vertex-Extra der Engine: pip install "graph-as-policy[vertex]".

Wann verwenden

  • Semantische Szenen-Checks und Checkpoint-Verifikation (vlm.query_yes_no).
  • Freie Szenenbeschreibungen oder Attributabfragen (vlm.query).
  • Bevorzuge gemini-er.detect wenn Pixel-Bounding-Boxes benötigt werden, und molmo.point_prompt wenn ein einzelner Klickpunkt benötigt wird.

Hinweise

  • vlm.query_yes_no erzwingt mit der Quell-wörtlich-Regel: Die Antwort ist wahr, wenn "yes" in der kleingeschriebenen Antwort vorkommt.
  • Anfragen enthalten keinen System-Prompt und keinen Temperatur-Regler (spiegelt das ursprüngliche vlm.v1-Protokoll wider); beide Anbieter setzen temperature: 0.0 fest.

Verwandte Skills