Local Context Router
一個多模態模型在讀取 PDF 時,會同時提取文字並將每一頁渲染成圖片,然後為兩者付費。對於大多為純文字的頁面,圖片就是浪費的開銷。請先執行此預檢工具,只傳送每頁真正需要的內容給模型。
使用時機
在使用者分享的 PDF、掃描檔或螢幕截圖進行讀取、摘要或提取之前。
需求
必須安裝 localcontextrouter 套件(pip install localcontextrouter,macOS)。它會提供下文使用的 localctx 指令。
執行
路由文件並讀取 JSON,將任何視覺頁面渲染到資料夾中:
localctx <path-to-document> --json --vision-dir ./lcr-pages
如果 localctx 指令不可用,請使用已安裝 localcontextrouter 的 Python 執行隨附的腳本(腳本會匯入相同的套件):
python scripts/preflight.py <path-to-document> --json --vision-dir ./lcr-pages
使用結果
JSON 包含 tokens_saved 和一個 pages 陣列。每個頁面帶有 source、text、text_tokens、image_tokens 和 image:
source: "text":直接使用text;不要附加圖片。source: "ocr":該頁面僅包含圖片,已在裝置端完成 OCR;使用text。source: "vision":該頁面是表格、圖表或圖形;附加image中的圖片,以便模型能讀取。text僅為粗略的備用方案。
按閱讀順序組合文字和 OCR 頁面,僅為視覺頁面附加圖片,如果使用者關心成本,可提及 tokens_saved。
備註
所有處理皆在本地離線執行;文件不會離開機器。