vlm
Q&A de visión-lenguaje mediante API remota. Sin GPU: todos los proveedores son puntos finales remotos.
Las imágenes son arrays numpy nativos de gap uint8 [H, W, 3], codificados en PNG en el cable.
Proveedores
Seleccionados por GAP_VLM_PROVIDER (por defecto openrouter); cada herramienta también acepta
una anulación por llamada provider=.
| Proveedor | Backend | Configuración (env) |
|---|---|---|
openrouter | API de chat-completions compatible con OpenAI de OpenRouter | OPENROUTER_API_KEY (o GAP_VLM_API_KEY); GAP_VLM_MODEL (por defecto gemini-3.1-flash-lite-preview, ver DEFAULT_MODEL en tools.py); establezca GAP_VLM_BASE_URL para apuntar a otro servidor compatible con OpenAI (por ejemplo, un vLLM local) |
vertex | Vertex AI vía google-genai (modelos Gemini) | GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION |
El proveedor vertex importa perezosamente google-genai — instale el extra de vertex del motor
primero: pip install "graph-as-policy[vertex]".
Cuándo usarlo
- Verificaciones semánticas de escena y puntos de control (
vlm.query_yes_no). - Descripciones de escena o consultas de atributos de forma libre (
vlm.query). - Prefiera
gemini-er.detectcuando necesite cuadros delimitadores en el espacio de píxeles, ymolmo.point_promptcuando necesite un único punto de clic.
Notas
vlm.query_yes_nofuerza la respuesta con la regla de coincidencia textual: la respuesta es verdadera solo si"yes"aparece en la respuesta en minúsculas.- Las solicitudes no llevan mensaje de sistema ni control de temperatura (refleja el
proto original
vlm.v1); ambos proveedores fijantemperature: 0.0.