Local Context Router
多模态模型在读取PDF时,通常会提取文本并将每一页渲染为图像,然后同时对两者付费。对于大多是纯文本的页面,图像部分完全是浪费的开销。先运行这个预检工具,只将每页真正需要的内容发送给模型。
使用时机
在用户分享的PDF、扫描件或截图被读取、总结或提取内容之前使用。
依赖
需要安装 localcontextrouter 包(pip install localcontextrouter,仅macOS)。该包提供下文使用的 localctx 命令。
运行
路由文档并读取JSON结果,将视觉页面渲染到文件夹中:
localctx <path-to-document> --json --vision-dir ./lcr-pages
如果 localctx 命令不可用,可以用已安装 localcontextrouter 的Python运行捆绑脚本(该脚本导入同一包):
python scripts/preflight.py <path-to-document> --json --vision-dir ./lcr-pages
使用结果
JSON输出包含 tokens_saved 和一个 pages 数组。每个页面携带 source、text、text_tokens、image_tokens 和 image:
source: "text":直接使用text;不要附加图像。source: "ocr":该页是纯图像,已在设备端通过OCR识别;使用text。source: "vision":该页是表格、图表或示意图;附加image处的图像供模型读取。text仅作为粗略备选。
按阅读顺序组装文本页和OCR页,只对视觉页面附加图像,并告知用户 tokens_saved(如果用户关心成本)。
注意事项
所有过程均在本地离线运行;文档不会离开当前设备。