Que fait vlm ?
Questions-réponses vision-langage via API. Pas de GPU local : chaque fournisseur est un point de terminaison distant.
Les images sont des tableaux numpy natifs gap uint8 [H, W, 3], encodés en PNG sur le fil.
Fournisseurs
Sélectionnés par GAP_VLM_PROVIDER (par défaut openrouter) ; chaque outil accepte également
une surcharge provider= par appel.
| Fournisseur | Backend | Configuration (env) |
|---|---|---|
openrouter | API chat-completions compatible OpenAI d'OpenRouter | OPENROUTER_API_KEY (ou GAP_VLM_API_KEY) ; GAP_VLM_MODEL (par défaut gemini-3.1-flash-lite-preview, voir DEFAULT_MODEL dans tools.py) ; définir GAP_VLM_BASE_URL pour pointer vers un autre serveur compatible OpenAI (ex. un vLLM local) |
vertex | Vertex AI via google-genai (modèles Gemini) | GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION |
Le fournisseur vertex importe paresseusement google-genai — installez d'abord l'extra vertex du moteur : pip install "graph-as-policy[vertex]".
Quand l'utiliser
- Vérifications sémantiques de scène et validation de checkpoint (
vlm.query_yes_no). - Descriptions libres de scène ou requêtes d'attributs (
vlm.query). - Préférez
gemini-er.detectlorsque vous avez besoin de boîtes englobantes dans l'espace pixel, etmolmo.point_promptlorsque vous avez besoin d'un seul point de clic.
Remarques
vlm.query_yes_noforce avec la règle de correspondance textuelle : la réponse est vraie si"yes"apparaît dans la réponse en minuscules.- Les requêtes n'ont pas de prompt système ni de réglage de température (reflète le proto original
vlm.v1) ; les deux fournisseurs fixenttemperature: 0.0.