Routeur de Contexte Local
Un modèle multimodal lit un PDF en extrayant son texte et en rendant chaque page sous forme d'image, puis en payant pour les deux. Sur une page majoritairement textuelle, l'image est une dépense inutile. Exécutez ce pré-traitement d'abord et envoyez au modèle uniquement ce dont chaque page a besoin.
Quand l'utiliser
Avant de lire, résumer ou extraire du contenu à partir d'un PDF, d'un scan ou d'une capture d'écran partagé(e) par l'utilisateur.
Prérequis
Le paquet localcontextrouter doit être installé (pip install localcontextrouter,
macOS). Il fournit la commande localctx utilisée ci-dessous.
Exécution
Acheminez le document et lisez le JSON, en rendant les pages visuelles dans un dossier :
localctx <chemin-vers-le-document> --json --vision-dir ./lcr-pages
Si la commande localctx n'est pas disponible, exécutez le script fourni avec un
Python qui a localcontextrouter installé (le script importe le même paquet) :
python scripts/preflight.py <chemin-vers-le-document> --json --vision-dir ./lcr-pages
Utiliser le résultat
Le JSON contient tokens_saved et un tableau pages. Chaque page porte source,
text, text_tokens, image_tokens et image :
source: "text": utiliseztextdirectement ; n'attachez pas l'image.source: "ocr": la page était uniquement image et a été OCRisée sur l'appareil ; utiliseztext.source: "vision": la page est un tableau, un graphique ou un diagramme ; attachez l'image àimagepour que le modèle puisse la lire. Letextn'est qu'une solution de repli grossière.
Assemblez les pages textuelles et OCR dans l'ordre de lecture, attachez les images
uniquement pour les pages de type vision, et mentionnez tokens_saved si l'utilisateur
se soucie du coût.
Remarques
Tout s'exécute localement et hors ligne ; le document ne quitte pas la machine.