sid732/LocalContextRouter

Local Context Router

Ein multimodales Modell liest ein PDF, indem es dessen Text extrahiert und jede Seite als Bild rendert – und dann für beides bezahlt. Bei einer Seite, die hauptsächlich aus Fließtext besteht, sind die Bildkosten verschwendet. Führen Sie diesen Preflight zuerst aus und senden Sie dem Modell nur das, was jede Seite benötigt.

Wann verwenden

Vor dem Lesen, Zusammenfassen oder Extrahieren aus einem PDF, Scan oder Screenshot, den der Benutzer geteilt hat.

Voraussetzungen

Das Paket localcontextrouter muss installiert sein (pip install localcontextrouter, macOS). Es stellt den unten verwendeten Befehl localctx bereit.

Ausführung

Leiten Sie das Dokument weiter und lesen Sie das JSON aus, wobei Sie visuelle Seiten in einen Ordner rendern:

localctx <pfad-zum-dokument> --json --vision-dir ./lcr-pages

Wenn der Befehl localctx nicht verfügbar ist, führen Sie das gebündelte Skript mit einem Python aus, auf dem localcontextrouter installiert ist (das Skript importiert dasselbe Paket):

python scripts/preflight.py <pfad-zum-dokument> --json --vision-dir ./lcr-pages

Ergebnis verwenden

Das JSON enthält tokens_saved und ein pages-Array. Jede Seite führt source, text, text_tokens, image_tokens und image auf:

• source: "text": text direkt verwenden; das Bild nicht anhängen.
• source: "ocr": die Seite war nur ein Bild und wurde auf dem Gerät per OCR erfasst; text verwenden.
• source: "vision": die Seite ist eine Tabelle, ein Diagramm oder eine Grafik; das Bild unter image anhängen, damit das Modell es lesen kann. Der text ist nur ein grober Fallback.

Setzen Sie die Text- und OCR-Seiten in Lesereihenfolge zusammen, hängen Sie Bilder nur für die Vision-Seiten an und erwähnen Sie tokens_saved, wenn der Benutzer sich für Kosten interessiert.

Hinweise

Alles läuft lokal und offline; das Dokument verlässt den Rechner nicht.