vlm
基於 API 的視覺語言問答。零 GPU:每個提供者都是遠端端點。
圖片以 gap 原生格式 uint8 [H, W, 3] numpy 陣列表示,傳輸時以 PNG 編碼。
提供者
透過 GAP_VLM_PROVIDER 選擇(預設為 openrouter);每個工具也可接受每次呼叫的 provider= 覆寫。
| 提供者 | 後端 | 設定(環境變數) |
|---|---|---|
openrouter | OpenRouter 的 OpenAI 相容聊天補全 API | OPENROUTER_API_KEY(或 GAP_VLM_API_KEY);GAP_VLM_MODEL(預設為 gemini-3.1-flash-lite-preview,請參閱 tools.py 中的 DEFAULT_MODEL);設定 GAP_VLM_BASE_URL 指向另一個 OpenAI 相容伺服器(例如本機 vLLM) |
vertex | 透過 google-genai 的 Vertex AI(Gemini 模型) | GAP_VLM_MODEL、GAP_VLM_PROJECT_ID、GAP_VLM_REGION |
vertex 提供者會延遲匯入 google-genai — 請先安裝引擎的 vertex 擴充套件:pip install "graph-as-policy[vertex]"。
使用時機
- 語意場景檢查與檢查點驗證(
vlm.query_yes_no)。 - 自由形式的場景描述或屬性查詢(
vlm.query)。 - 需要像素空間邊界框時,優先使用
gemini-er.detect;需要單一點擊點時,優先使用molmo.point_prompt。
注意事項
vlm.query_yes_no使用來源逐字規則進行強制轉換:當且僅當小寫回覆中出現"yes"時,答案為 true。- 請求不攜帶 system prompt 和溫度控制參數(反映原始
vlm.v1協定);兩個提供者都固定使用temperature: 0.0。