O que Clipify faz?
Encontre os momentos mais engraçados de um vídeo, corte-os como clipes independentes, opcionalmente reformate 16:9 → 9:16 (panorâmica facial ou tela dividida) e queime legendas palavra por palavra no estilo Opus.
Repositório fonte: ~/projects/clipify (clonado de github.com/louisedesadeleer/clipify)
Entradas
- Um caminho de arquivo de vídeo (o usuário fornecerá; caso contrário, pergunte)
- Opcional: formato solicitado (9:16, 16:9, 1:1)
- Opcional: preferência de estilo de legenda
Ferramentas
- Whisper:
whisper --model tiny.en --word_timestamps True --output_format json(rápido; para outros idiomas use--model base) - ffmpeg: adicione
-hwaccel videotoolboxno macOS para decodificação,-preset ultrafastpara renderizações. Final:-c:v libx264 -crf 20 - Scripts:
~/projects/clipify/scripts/analyze.py— linha do tempo do falante a partir de dois arquivos de movimento ROIbuild_pan.py— expressão de corte ffmpeg com cortes secosbuild_ass.py— legendas ASS estilo Opus a partir de JSON do Whisperaudio_align.py— encontra o deslocamento de um subclipe em uma fonte mais longa
Diretório de trabalho: /tmp/clipify/ (crie com mkdir no início)
Fluxo de Trabalho
Etapa 1 — Encontre as partes mais engraçadas
mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
Leia o JSON, escolha 3-5 candidatos. Sinais de diversão: punchlines/reações, reviravoltas, pausas constrangedoras, auto-gozações, picos de áudio.
Para cada: [início, fim, por que é engraçado, título sugerido]. Alvo de 10-25s. Mostre a lista, deixe o usuário escolher.
Etapa 2 — Corte
ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4
Etapa 3 — Formato de saída
Pergunte: "9:16 (TikTok/Reels), 16:9 (YouTube) ou 1:1 (feed do Instagram)?"
Etapa 4 — Se 16:9 → 9:16: panorâmica ou tela dividida
4a — Panorâmica entre rostos
- Amostre um quadro, identifique visualmente ROIs de rosto (área boca+queixo como x,y,w,h)
- Extraia a energia de movimento por quadro em cada ROI via ffmpeg tblend+signalstats
- Construa a linha do tempo do falante:
python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json - Escolha coordenadas x para a faixa vertical (largura de corte = 608 para fonte 1920)
- Gere expressão x e renderize:
python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X
4b — Tela dividida
Dois blocos empilhados (1080x960 cada), falante ativo no topo. Construa expressão enable a partir de segments.json.
Etapa 5 — Legendas
Três estilos: opus (grande e negrito, palavra ativa amarela), karaokê (blocos de 4 palavras, destaque verde), minimal (Helvetica limpa).
whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"
Etapa 6 — Entrega
- Salve em
<source_dir>/clipify_out/ - Imprima: nome, duração, o que foi engraçado, caminho de saída
- Abra a primeira saída para revisão
- Ofereça-se para iterar
Armadilhas
- Não ajuste demais os ROIs (máximo de 2 iterações)
- Verifique se há cortes de cena no clipe (
select='gt(scene,0.3)') - Fonte 4K: reduza para 1080p primeiro ou dobre todas as coordenadas
- Use Whisper no clipe cortado (não na fonte completa) para timestamps das legendas
- Se a fonte tiver legendas queimadas, use
audio_align.pypara encontrar a master limpa
Requisitos
- ffmpeg com libx264 E libass (para queima de legendas). Verifique:
ffmpeg -filters 2>&1 | grep subtitles. A fórmula padrão do Homebrew ffmpeg NÃO inclui libass. Use o tap homebrew-ffmpeg:brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Se o brew reclamar sobre CLT desatualizado, executesoftwareupdate --install "Command Line Tools for Xcode <versão>"primeiro (verifiquesoftwareupdate --listpara o rótulo exato). - whisper (openai-whisper):
brew install openai-whisperoupip install openai-whisper - Python 3 + numpy
- macOS recomendado (VideoToolbox), funciona no Linux sem a flag hwaccel
Solução alternativa se não houver libass
Se o ffmpeg não tiver o filtro subtitles/ass, use drawtext como fallback para legendas simples (uma palavra por vez, menos bonito, mas funcional). Ou reinstale o ffmpeg com libass.