Local Context Router
Um modelo multimodal lê um PDF extraindo seu texto e renderizando cada página como uma imagem, e depois pagando por ambos. Em uma página que é principalmente texto, a imagem é um gasto desperdiçado. Execute este pré-roteador primeiro e envie ao modelo apenas o que cada página precisa.
Quando usar
Antes de ler, resumir ou extrair informações de um PDF, scan ou captura de tela que o usuário compartilhou.
Requisitos
O pacote localcontextrouter deve estar instalado (pip install localcontextrouter,
masculino). Ele fornece o comando localctx usado abaixo.
Executar
Roteie o documento e leia o JSON, renderizando as páginas visuais em uma pasta:
localctx <caminho-para-documento> --json --vision-dir ./lcr-pages
Se o comando localctx não estiver disponível, execute o script incluído com um
Python que tenha localcontextrouter instalado (o script importa o mesmo pacote):
python scripts/preflight.py <caminho-para-documento> --json --vision-dir ./lcr-pages
Usar o resultado
O JSON contém tokens_saved e um array pages. Cada página carrega source,
text, text_tokens, image_tokens e image:
source: "text": usetextdiretamente; não anexe a imagem.source: "ocr": a página era apenas imagem e foi submetida a OCR no dispositivo; usetext.source: "vision": a página é uma tabela, gráfico ou diagrama; anexe a imagem emimagepara que o modelo possa lê-la. Otexté apenas um fallback grosseiro.
Monte as páginas de texto e OCR na ordem de leitura, anexe imagens apenas para as
páginas de visão, e mencione tokens_saved se o usuário se importar com custos.
Notas
Tudo é executado localmente e offline; o documento não sai da máquina.