Communitygithub.com

vlm

API 기반의 비전-언어 Q&A 도구입니다. GPU 없이 원격 엔드포인트를 사용하며, 이미지는 gap 네이티브 `uint8 [H, W, 3]` numpy 배열로 처리됩니다.

vlm란 무엇인가요?

vlm 스킬은 비전-언어 모델(VLM)을 활용한 질의응답 도구로, GPU 없이 원격 API를 통해 이미지 기반 질문에 답변합니다. 이미지는 Graph as Policy(gap) 네이티브 형식인 `uint8 [H, W, 3]` numpy 배열로 전달되며, PNG 인코딩됩니다. 두 가지 제공자를 지원합니다: OpenRouter (OpenAI 호환 API, 기본값)와 Vertex AI (Google Gemini 모델). 환경 변수 `GAP_VLM_PROVIDER`로 선택하며, 각 도구 호출 시 `provider=` 매개변수로 개별 설정할 수 있습니다. 주요 사용 사례는 의미적 장면 검증 (`vlm.query_yes_no`), 자유 형식 장면 설명 (`vlm.query`)이며, 바운딩 박스가 필요하면 `gemini-er.detect`, 단일 클릭 포인트가 필요하면 `molmo.point_prompt`를 사용하는 것이 좋습니다. 시스템 프롬프트나 temperature 조절은 없으며, 항상 `temperature: 0.0`으로 고정됩니다.

지원 대상✓Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add graph-robots/open-robot-skills

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

vlm은(는) 무엇을 하나요?

API 기반 비전-언어 Q&A. GPU 불필요: 모든 제공자는 원격 엔드포인트입니다. 이미지는 gap 네이티브 uint8 [H, W, 3] numpy 배열이며, 전송 시 PNG 인코딩됩니다.

제공자

GAP_VLM_PROVIDER(기본값 openrouter)로 선택하며, 각 도구는 호출 시 provider= 매개변수로 개별 재정의할 수 있습니다.

제공자백엔드설정 (환경 변수)
openrouterOpenRouter의 OpenAI 호환 채팅 완료 APIOPENROUTER_API_KEY (또는 GAP_VLM_API_KEY); GAP_VLM_MODEL (기본값 gemini-3.1-flash-lite-preview, tools.py의 DEFAULT_MODEL 참조); 다른 OpenAI 호환 서버(예: 로컬 vLLM)를 가리키려면 GAP_VLM_BASE_URL 설정
vertexgoogle-genai를 통한 Vertex AI (Gemini 모델)GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION

vertex 제공자는 google-genai를 지연 가져오기(lazy-import)합니다. 먼저 엔진의 vertex 추가 기능을 설치하세요: pip install "graph-as-policy[vertex]".

사용 시점

  • 의미적 장면 확인 및 검사점 검증 (vlm.query_yes_no)
  • 자유 형식 장면 설명 또는 속성 질의 (vlm.query)
  • 픽셀 공간의 바운딩 박스가 필요하면 gemini-er.detect를, 단일 클릭 포인트가 필요하면 molmo.point_prompt를 사용하는 것이 좋습니다.

참고 사항

  • vlm.query_yes_no는 원천 그대로의 규칙을 적용합니다: 소문자 변환된 답변에 "yes"가 나타나면 답변은 참(true)입니다.
  • 요청에는 시스템 프롬프트나 temperature 조절 기능이 없습니다(원본 vlm.v1 프로토콜을 따름); 두 제공자 모두 temperature: 0.0으로 고정됩니다.

관련 스킬