vlm은(는) 무엇을 하나요?
API 기반 비전-언어 Q&A. GPU 불필요: 모든 제공자는 원격 엔드포인트입니다.
이미지는 gap 네이티브 uint8 [H, W, 3] numpy 배열이며, 전송 시 PNG 인코딩됩니다.
제공자
GAP_VLM_PROVIDER(기본값 openrouter)로 선택하며, 각 도구는 호출 시 provider= 매개변수로 개별 재정의할 수 있습니다.
| 제공자 | 백엔드 | 설정 (환경 변수) |
|---|---|---|
openrouter | OpenRouter의 OpenAI 호환 채팅 완료 API | OPENROUTER_API_KEY (또는 GAP_VLM_API_KEY); GAP_VLM_MODEL (기본값 gemini-3.1-flash-lite-preview, tools.py의 DEFAULT_MODEL 참조); 다른 OpenAI 호환 서버(예: 로컬 vLLM)를 가리키려면 GAP_VLM_BASE_URL 설정 |
vertex | google-genai를 통한 Vertex AI (Gemini 모델) | GAP_VLM_MODEL, GAP_VLM_PROJECT_ID, GAP_VLM_REGION |
vertex 제공자는 google-genai를 지연 가져오기(lazy-import)합니다. 먼저 엔진의 vertex 추가 기능을 설치하세요: pip install "graph-as-policy[vertex]".
사용 시점
- 의미적 장면 확인 및 검사점 검증 (
vlm.query_yes_no) - 자유 형식 장면 설명 또는 속성 질의 (
vlm.query) - 픽셀 공간의 바운딩 박스가 필요하면
gemini-er.detect를, 단일 클릭 포인트가 필요하면molmo.point_prompt를 사용하는 것이 좋습니다.
참고 사항
vlm.query_yes_no는 원천 그대로의 규칙을 적용합니다: 소문자 변환된 답변에"yes"가 나타나면 답변은 참(true)입니다.- 요청에는 시스템 프롬프트나 temperature 조절 기능이 없습니다(원본
vlm.v1프로토콜을 따름); 두 제공자 모두temperature: 0.0으로 고정됩니다.