Was macht vlm?
API-gestützte Vision-Language-Fragen und -Antworten. Kein GPU-Bedarf: Jeder Anbieter ist ein entfernter Endpunkt. Bilder sind gap-native uint8 [H, W, 3] numpy-Arrays, PNG-kodiert auf der Leitung.
Anbieter
Ausgewählt durch GAP_VLM_PROVIDER (Standard openrouter); jedes Tool akzeptiert auch eine pro Aufruf gültige provider=-Überschreibung.
| Anbieter | Backend | Konfiguration (env) |
|---|---|---|
openrouter | OpenRouter's OpenAI-kompatible Chat-Completions-API | OPENROUTER_API_KEY (oder GAP_VLM_API_KEY); GAP_VLM_MODEL (Standard gemini-3.1-flash-lite-preview, siehe DEFAULT_MODEL in tools.py); setze GAP_VLM_BASE_URL um auf einen anderen OpenAI-kompatiblen Server zu zeigen (z. B. einen lokalen vLLM) |
vertex | Vertex AI über google-genai (Gemini-Modelle) | GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION |
Der vertex-Anbieter importiert google-genai lazy — installiere zuerst das vertex-Extra der Engine: pip install "graph-as-policy[vertex]".
Wann verwenden
- Semantische Szenen-Checks und Checkpoint-Verifikation (
vlm.query_yes_no). - Freie Szenenbeschreibungen oder Attributabfragen (
vlm.query). - Bevorzuge
gemini-er.detectwenn Pixel-Bounding-Boxes benötigt werden, undmolmo.point_promptwenn ein einzelner Klickpunkt benötigt wird.
Hinweise
vlm.query_yes_noerzwingt mit der Quell-wörtlich-Regel: Die Antwort ist wahr, wenn"yes"in der kleingeschriebenen Antwort vorkommt.- Anfragen enthalten keinen System-Prompt und keinen Temperatur-Regler (spiegelt das ursprüngliche
vlm.v1-Protokoll wider); beide Anbieter setzentemperature: 0.0fest.