O que video-digest faz?
Visão Geral
Transforme qualquer vídeo em um único resumo Markdown pesquisável. Para cada clipe, a skill produz três elementos e os mescla em um digest.md:
- Transcrição — as palavras faladas (faster-whisper, no dispositivo).
- Texto na tela — cada linha única de texto visível nos quadros (OCR), com URLs e @handles extraídos separadamente.
- Montagens de contato — grades de quadros cobrindo todo o clipe, para que você leia sua história visual de relance.
Tudo é executado localmente. Sem chamadas de rede, sem contas, sem telemetria. O núcleo precisa apenas de ffmpeg; transcrição e OCR são opcionais e degradam graciosamente.
Quando usar
- "O que tem neste vídeo / nestes 200 vídeos?" sem assisti-los.
- Construir um catálogo pesquisável de reels, palestras, tutoriais ou filmagens.
- Recuperar os links e handles exibidos na tela em um clipe.
- Obter uma visão visual rápida (montagens) de gravações longas ou muitas.
Não para: transmissões ao vivo, edição/corte de vídeo ou geração de vídeo. Isso lê vídeo e emite texto + resumos de imagem.
Referência Rápida
scripts/check-deps.sh # o que está instalado + como obter o resto
scripts/video-digest.sh clip.mp4 # um vídeo → ./video-digest-out/clip/digest.md
scripts/video-digest.sh --out ~/digests *.mp4 # processar uma pasta inteira
scripts/video-digest.sh --lang en talk.mov # sugerir o idioma da transcrição
scripts/video-digest.sh --no-transcript reel.mp4 # pular áudio, apenas visuais+texto
scripts/video-digest.sh --ocr-engine tesseract x.mp4 # forçar um mecanismo OCR específico
| Flag | Propósito | Padrão |
|---|---|---|
-o, --out DIR | diretório de saída | ./video-digest-out |
--fps N | taxa de amostragem de quadros para OCR | 2 |
--montage-frames N | quadros distribuídos pelo clipe | 90 |
--tile CxR | grade da montagem | 3x3 |
--ocr-engine E | auto|vision|tesseract|none | auto |
--whisper-model M | tiny|base|small|medium(+.en) | small |
--whisper-python P | interpretador que possui faster-whisper | detectado automaticamente |
--lang CODE | sugestão de idioma da transcrição | detectado automaticamente |
--no-transcript / --no-ocr / --no-montage | pular uma etapa | — |
--force | re-executar etapas mesmo se em cache | desligado |
Execute scripts/video-digest.sh --help para a lista completa.
Como Funciona
O ponto de entrada scripts/video-digest.sh orquestra três ferramentas pequenas e independentes que você também pode executar separadamente:
| Etapa | Script | Mecanismo |
|---|---|---|
| Montagens | scripts/montage.sh | filtro tile do ffmpeg |
| Texto na tela | scripts/ocr.sh (+ ocr_vision.swift) | Vision do macOS (padrão) ou tesseract |
| Transcrição | scripts/transcribe.py | faster-whisper |
Cada etapa é retomável — o trabalho concluído é marcado .done / armazenado em cache e ignorado em re-execuções, a menos que você passe --force. O resumo é sempre reconstruído a partir das etapas presentes, então execuções parciais ainda produzem um arquivo útil.
A seleção do mecanismo OCR é automática: no macOS usa o framework Vision integrado (sem instalação, no dispositivo), caso contrário tesseract se presente, caso contrário pula o OCR com um aviso. Veja references/setup.md para instalar back-ends opcionais e references/output-format.md para o layout exato da saída.
Erros Comuns
- Transcrição vazia → o faster-whisper não está instalado no interpretador sendo usado. Execute
scripts/check-deps.sh, depoispip install faster-whisper, ou aponte para um ambiente existente com--whisper-python /path/to/python. - Sem texto na tela no Linux → instale o
tesseract(apt install tesseract-ocr); o mecanismo Vision é exclusivo do macOS. - Número enorme de quadros de montagem em clipes curtos → reduza
--montage-frames(ex.:30). - Idioma errado na transcrição → passe
--lang(ex.:--lang sk), ou use um modelo não.enpara áudio multilíngue.
Exemplo
O diretório examples/sample-digest/ contém um pequeno clipe gerado e o digest.md que ele produz — transcrição, uma URL detectada, um @handle e uma folha de montagem. Reproduza com (a linha de transcrição precisa do faster-whisper instalado):
scripts/video-digest.sh --montage-frames 9 examples/sample-digest/sample.mp4