Local Context Router
멀티모달 모델은 PDF를 읽을 때 텍스트를 추출하고 모든 페이지를 이미지로 렌더링한 후 둘 다에 대해 비용을 지불합니다. 대부분이 문장으로 이루어진 페이지의 경우 이미지는 낭비되는 지출입니다. 이 사전 검사를 먼저 실행하고 각 페이지에 필요한 것만 모델에 보내세요.
사용 시점
사용자가 공유한 PDF, 스캔본, 또는 스크린샷을 읽거나, 요약하거나, 추출하기 전에 사용합니다.
요구 사항
localcontextrouter 패키지를 설치해야 합니다(pip install localcontextrouter, macOS). 아래에서 사용하는 localctx 명령어를 제공합니다.
실행
문서를 라우팅하고 JSON을 읽으며, 시각적 페이지를 폴더에 렌더링합니다:
localctx <path-to-document> --json --vision-dir ./lcr-pages
localctx 명령어를 사용할 수 없는 경우, localcontextrouter가 설치된 Python으로 번들 스크립트를 실행하세요(스크립트는 동일한 패키지를 임포트합니다):
python scripts/preflight.py <path-to-document> --json --vision-dir ./lcr-pages
결과 사용
JSON에는 tokens_saved와 pages 배열이 있습니다. 각 페이지에는 source, text, text_tokens, image_tokens, image가 포함됩니다:
source: "text":text를 직접 사용하고, 이미지는 첨부하지 마세요.source: "ocr": 페이지가 이미지 전용이며 온디바이스에서 OCR 처리되었습니다.text를 사용하세요.source: "vision": 페이지가 표, 차트, 또는 다이어그램입니다. 이미지를image에 첨부하여 모델이 읽을 수 있게 하세요.text는 대략적인 폴백일 뿐입니다.
텍스트와 OCR 페이지를 읽는 순서대로 조합하고, 비전 페이지에만 이미지를 첨부하며, 사용자가 비용에 관심이 있다면 tokens_saved를 언급하세요.
참고 사항
모든 작업은 로컬에서 오프라인으로 실행되며, 문서는 기기를 떠나지 않습니다.