vlm
基于 API 的视觉-语言问答。无需 GPU:每个提供商都是远程端点。图像是 gap 原生的 uint8 [H, W, 3] NumPy 数组,传输时进行 PNG 编码。
提供商
通过 GAP_VLM_PROVIDER 选择(默认为 openrouter);每个工具也接受每次调用时的 provider= 覆盖。
| 提供商 | 后端 | 配置(环境变量) |
|---|---|---|
openrouter | OpenRouter 的 OpenAI 兼容聊天完成 API | OPENROUTER_API_KEY(或 GAP_VLM_API_KEY);GAP_VLM_MODEL(默认为 gemini-3.1-flash-lite-preview,参见 tools.py 中的 DEFAULT_MODEL);设置 GAP_VLM_BASE_URL 指向其他 OpenAI 兼容服务器(例如本地 vLLM) |
vertex | 通过 google-genai 使用 Vertex AI(Gemini 模型) | GAP_VLM_MODEL,GAP_VLM_PROJECT_ID,GAP_VLM_REGION |
vertex 提供商延迟导入 google-genai — 请先安装引擎的 vertex 附加组件:pip install "graph-as-policy[vertex]"。
何时使用
- 语义场景检查和检查点验证(
vlm.query_yes_no)。 - 自由格式的场景描述或属性查询(
vlm.query)。 - 当需要像素空间边界框时,优先使用
gemini-er.detect;当需要单个点击点时,优先使用molmo.point_prompt。
注意事项
vlm.query_yes_no使用源文本匹配规则:当且仅当小写回复中出现"yes"时,答案为真。- 请求不携带系统提示,也不提供温度控制(与原始
vlm.v1原型一致);两个提供商均固定temperature: 0.0。