Communitygithub.com

vlm — Modelo de Lenguaje y Visión

Bundle de habilidades y herramientas para VLM (Visión-Lenguaje) basado en API remota, sin GPU local. Integra providers como OpenRouter y Vertex AI para análisis de imágenes.

¿Qué es vlm — Modelo de Lenguaje y Visión?

Este skill proporciona dos herramientas principales para interacción con modelos de visión-lenguaje (VLM) a través de API remotas, eliminando la necesidad de GPU local. `vlm.query_yes_no` permite realizar verificaciones semánticas de escenas con una respuesta binaria (sí/no), ideal para puntos de control automatizados. `vlm.query` ofrece descripciones generales de escenas o consultas sobre atributos específicos. Está diseñado para el ecosistema gap (graph as policy) y soporta dos proveedores: OpenRouter (predeterminado, configurable con `GAP_VLM_PROVIDER`, `OPENROUTER_API_KEY` y `GAP_VLM_MODEL`) y Vertex AI (requiere instalación extra `pip install "graph-as-policy[vertex]"` y configuración de proyecto/región). Las imágenes se pasan como arrays numpy `uint8 [H, W, 3]` codificados en PNG. Se recomienda usar `gemini-er.detect` para bounding boxes y `molmo.point_prompt` para puntos de clic cuando se necesite mayor precisión espacial.

Compatible con✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

vlm

Q&A de visión-lenguaje mediante API remota. Sin GPU: todos los proveedores son puntos finales remotos. Las imágenes son arrays numpy nativos de gap uint8 [H, W, 3], codificados en PNG en el cable.

Proveedores

Seleccionados por GAP_VLM_PROVIDER (por defecto openrouter); cada herramienta también acepta una anulación por llamada provider=.

ProveedorBackendConfiguración (env)
openrouterAPI de chat-completions compatible con OpenAI de OpenRouterOPENROUTER_API_KEY (o GAP_VLM_API_KEY); GAP_VLM_MODEL (por defecto gemini-3.1-flash-lite-preview, ver DEFAULT_MODEL en tools.py); establezca GAP_VLM_BASE_URL para apuntar a otro servidor compatible con OpenAI (por ejemplo, un vLLM local)
vertexVertex AI vía google-genai (modelos Gemini)GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION

El proveedor vertex importa perezosamente google-genai — instale el extra de vertex del motor primero: pip install "graph-as-policy[vertex]".

Cuándo usarlo

  • Verificaciones semánticas de escena y puntos de control (vlm.query_yes_no).
  • Descripciones de escena o consultas de atributos de forma libre (vlm.query).
  • Prefiera gemini-er.detect cuando necesite cuadros delimitadores en el espacio de píxeles, y molmo.point_prompt cuando necesite un único punto de clic.

Notas

  • vlm.query_yes_no fuerza la respuesta con la regla de coincidencia textual: la respuesta es verdadera solo si "yes" aparece en la respuesta en minúsculas.
  • Las solicitudes no llevan mensaje de sistema ni control de temperatura (refleja el proto original vlm.v1); ambos proveedores fijan temperature: 0.0.

Skills relacionados