Local Context Router
マルチモーダルモデルがPDFを読むとき、テキストを抽出すると同時にすべてのページを画像にレンダリングし、両方に対して料金が発生します。散文が大半のページでは画像は無駄なコストです。このプリフライトを先に実行し、各ページに必要な情報だけをモデルに送りましょう。
使用するタイミング
ユーザーが共有したPDF、スキャン、スクリーンショットを読む前、要約する前、または抽出する前に使用します。
必要条件
localcontextrouter パッケージがインストールされている必要があります(pip install localcontextrouter、macOS)。これにより、以下のコマンドで使用する localctx コマンドが提供されます。
実行
ドキュメントをルーティングし、JSONを読み取り、ビジュアルページをフォルダにレンダリングします:
localctx <path-to-document> --json --vision-dir ./lcr-pages
localctx コマンドが利用できない場合は、localcontextrouter がインストールされたPythonでバンドルされたスクリプトを実行します(スクリプトは同じパッケージをインポートします):
python scripts/preflight.py <path-to-document> --json --vision-dir ./lcr-pages
結果の活用
JSONには tokens_saved と pages 配列が含まれます。各ページには source、text、text_tokens、image_tokens、image が含まれます:
source: "text":textを直接使用します。画像は添付しないでください。source: "ocr": ページが画像のみで、オンデバイスでOCR処理済みです。textを使用します。source: "vision": ページは表、グラフ、または図です。imageの画像を添付してモデルが読み取れるようにします。textはあくまで大まかなフォールバックです。
テキストページとOCRページを読み取り順に組み立て、ビジョンページにのみ画像を添付し、ユーザーがコストを気にする場合は tokens_saved を伝えます。
注意事項
すべてローカルかつオフラインで実行されます。ドキュメントはマシンの外部に出ることはありません。