Communitygithub.com

vlm

Questions-réponses vision-langage via API sans GPU local. Prend en charge OpenRouter et Vertex AI (Gemini).

Qu'est-ce que vlm ?

Le skill `vlm` fournit une interface unifiée pour les modèles de vision-langage (VLM) distants, sans nécessiter de GPU local. Il s'intègre nativement avec le framework gap (graph as policy) et accepte les images sous forme de tableaux numpy `uint8 [H, W, 3]` encodés en PNG pour le transport. Les fournisseurs supportés incluent OpenRouter (API compatible OpenAI) et Vertex AI (modèles Gemini), sélectionnables via la variable d'environnement `GAP_VLM_PROVIDER` ou un paramètre par appel. Les outils principaux sont `vlm.query_yes_no` pour les vérifications booléennes sémantiques (par exemple, vérification de checkpoint) et `vlm.query` pour les descriptions libres ou requêtes d'attributs. Ce skill est particulièrement utile pour les pipelines d'agents autonomes qui ont besoin d'analyser des scènes visuelles sans infrastructure GPU dédiée, en déléguant l'inférence à des API cloud. Il est conçu pour l'écosystème gap et utilise un format d'image standardisé pour une interopérabilité maximale.

Compatible avec✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait vlm ?

Questions-réponses vision-langage via API. Pas de GPU local : chaque fournisseur est un point de terminaison distant. Les images sont des tableaux numpy natifs gap uint8 [H, W, 3], encodés en PNG sur le fil.

Fournisseurs

Sélectionnés par GAP_VLM_PROVIDER (par défaut openrouter) ; chaque outil accepte également une surcharge provider= par appel.

FournisseurBackendConfiguration (env)
openrouterAPI chat-completions compatible OpenAI d'OpenRouterOPENROUTER_API_KEY (ou GAP_VLM_API_KEY) ; GAP_VLM_MODEL (par défaut gemini-3.1-flash-lite-preview, voir DEFAULT_MODEL dans tools.py) ; définir GAP_VLM_BASE_URL pour pointer vers un autre serveur compatible OpenAI (ex. un vLLM local)
vertexVertex AI via google-genai (modèles Gemini)GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION

Le fournisseur vertex importe paresseusement google-genai — installez d'abord l'extra vertex du moteur : pip install "graph-as-policy[vertex]".

Quand l'utiliser

  • Vérifications sémantiques de scène et validation de checkpoint (vlm.query_yes_no).
  • Descriptions libres de scène ou requêtes d'attributs (vlm.query).
  • Préférez gemini-er.detect lorsque vous avez besoin de boîtes englobantes dans l'espace pixel, et molmo.point_prompt lorsque vous avez besoin d'un seul point de clic.

Remarques

  • vlm.query_yes_no force avec la règle de correspondance textuelle : la réponse est vraie si "yes" apparaît dans la réponse en minuscules.
  • Les requêtes n'ont pas de prompt système ni de réglage de température (reflète le proto original vlm.v1) ; les deux fournisseurs fixent temperature: 0.0.

Skills associés