Communitygithub.com

vlm (Modelo de Linguagem Visual)

Respostas a perguntas sobre imagens usando APIs de modelos de linguagem visual, sem necessidade de GPU local.

O que é vlm (Modelo de Linguagem Visual)?

Este skill fornece ferramentas para consultar modelos de linguagem visual (VLMs) hospedados remotamente, eliminando a necessidade de hardware GPU local. Ele suporta múltiplos provedores, como OpenRouter e Vertex AI, configurados via variáveis de ambiente. As imagens são representadas como arrays numpy `uint8 [H, W, 3]`, nativamente no framework gap, e codificadas em PNG para transmissão. É ideal para verificações de cena semântica, descrições de cena e consultas de atributos, complementando outros skills como `gemini-er.detect` para bounding boxes e `molmo.point_prompt` para pontos de clique.

Funciona com✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

vlm

Perguntas e respostas de visão-linguagem baseadas em API. GPU zero: todo provedor é um endpoint remoto. As imagens são arrays numpy nativos do gap uint8 [H, W, 3], codificados em PNG na transmissão.

Provedores

Selecionados por GAP_VLM_PROVIDER (padrão openrouter); cada ferramenta também aceita uma substituição provider= por chamada.

ProvedorBackendConfig (env)
openrouterAPI chat-completions compatível com OpenAI do OpenRouterOPENROUTER_API_KEY (ou GAP_VLM_API_KEY); GAP_VLM_MODEL (padrão gemini-3.1-flash-lite-preview, veja DEFAULT_MODEL em tools.py); defina GAP_VLM_BASE_URL para apontar para outro servidor compatível com OpenAI (ex.: um vLLM local)
vertexVertex AI via google-genai (modelos Gemini)GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION

O provedor vertex faz importação preguiçosa do google-genai — instale primeiro o extra vertex do engine: pip install "graph-as-policy[vertex]".

Quando usar

  • Verificações de cena semântica e validação de checkpoint (vlm.query_yes_no).
  • Descrições de cena livres ou consultas de atributos (vlm.query).
  • Prefira gemini-er.detect quando precisar de caixas delimitadoras no espaço de pixels, e molmo.point_prompt quando precisar de um único ponto de clique.

Notas

  • vlm.query_yes_no impõe a regra de correspondência textual: a resposta é verdadeira se "yes" aparecer na resposta em minúsculas.
  • As requisições não carregam prompt de sistema nem controle de temperatura (espelha o proto original vlm.v1); ambos os provedores fixam temperature: 0.0.

Habilidades Relacionadas