vlm
Perguntas e respostas de visão-linguagem baseadas em API. GPU zero: todo provedor é um endpoint remoto.
As imagens são arrays numpy nativos do gap uint8 [H, W, 3], codificados em PNG na transmissão.
Provedores
Selecionados por GAP_VLM_PROVIDER (padrão openrouter); cada ferramenta também aceita
uma substituição provider= por chamada.
| Provedor | Backend | Config (env) |
|---|---|---|
openrouter | API chat-completions compatível com OpenAI do OpenRouter | OPENROUTER_API_KEY (ou GAP_VLM_API_KEY); GAP_VLM_MODEL (padrão gemini-3.1-flash-lite-preview, veja DEFAULT_MODEL em tools.py); defina GAP_VLM_BASE_URL para apontar para outro servidor compatível com OpenAI (ex.: um vLLM local) |
vertex | Vertex AI via google-genai (modelos Gemini) | GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION |
O provedor vertex faz importação preguiçosa do google-genai — instale primeiro o extra vertex do engine:
pip install "graph-as-policy[vertex]".
Quando usar
- Verificações de cena semântica e validação de checkpoint (
vlm.query_yes_no). - Descrições de cena livres ou consultas de atributos (
vlm.query). - Prefira
gemini-er.detectquando precisar de caixas delimitadoras no espaço de pixels, emolmo.point_promptquando precisar de um único ponto de clique.
Notas
vlm.query_yes_noimpõe a regra de correspondência textual: a resposta é verdadeira se"yes"aparecer na resposta em minúsculas.- As requisições não carregam prompt de sistema nem controle de temperatura (espelha
o proto original
vlm.v1); ambos os provedores fixamtemperature: 0.0.