Communitygithub.com

Clipify

Encontre os momentos mais engraçados de um vídeo, corte-os como clipes independentes, opcionalmente reformate 16:9 → 9:16 (panorâmica facial ou tela dividida) e queime legendas palavra por palavra no estilo Opus.

O que é Clipify?

Clipify é uma habilidade de agente de IA (como Claude Code, Cursor ou Codex) que automatiza a criação de clipes virais para redes sociais a partir de vídeos longos. Ela usa Whisper para transcrever o áudio e identificar momentos engraçados (punchlines, reações, pausas constrangedoras, auto-gozações), extrai trechos de 10-25 segundos com ffmpeg e reformata vídeos 16:9 para o formato 9:16 (TikTok/Reels) com duas opções: panorâmica entre rostos ou tela dividida, onde o falante ativo fica na parte superior. Além disso, queima legendas estilizadas no estilo Opus (palavra ativa em negrito e amarelo), karaokê (blocos de 4 palavras com destaque verde) ou minimalista (Helvetica limpa). A ferramenta depende de ffmpeg com suporte a libass (necessário para legendas), Whisper (openai-whisper) e scripts Python em ~/projects/clipify/scripts/. Se o ffmpeg não tiver libass, ele usa drawtext como alternativa. O fluxo completo inclui análise de áudio, escolha interativa dos clipes pelo usuário, reformatação e renderização final com saída em <source_dir>/clipify_out/.

Funciona com~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/exiao/skills/tree/HEAD/video/clipify

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que Clipify faz?

Encontre os momentos mais engraçados de um vídeo, corte-os como clipes independentes, opcionalmente reformate 16:9 → 9:16 (panorâmica facial ou tela dividida) e queime legendas palavra por palavra no estilo Opus.

Repositório fonte: ~/projects/clipify (clonado de github.com/louisedesadeleer/clipify)

Entradas

  • Um caminho de arquivo de vídeo (o usuário fornecerá; caso contrário, pergunte)
  • Opcional: formato solicitado (9:16, 16:9, 1:1)
  • Opcional: preferência de estilo de legenda

Ferramentas

  • Whisper: whisper --model tiny.en --word_timestamps True --output_format json (rápido; para outros idiomas use --model base)
  • ffmpeg: adicione -hwaccel videotoolbox no macOS para decodificação, -preset ultrafast para renderizações. Final: -c:v libx264 -crf 20
  • Scripts: ~/projects/clipify/scripts/
    • analyze.py — linha do tempo do falante a partir de dois arquivos de movimento ROI
    • build_pan.py — expressão de corte ffmpeg com cortes secos
    • build_ass.py — legendas ASS estilo Opus a partir de JSON do Whisper
    • audio_align.py — encontra o deslocamento de um subclipe em uma fonte mais longa

Diretório de trabalho: /tmp/clipify/ (crie com mkdir no início)


Fluxo de Trabalho

Etapa 1 — Encontre as partes mais engraçadas

mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en

Leia o JSON, escolha 3-5 candidatos. Sinais de diversão: punchlines/reações, reviravoltas, pausas constrangedoras, auto-gozações, picos de áudio.

Para cada: [início, fim, por que é engraçado, título sugerido]. Alvo de 10-25s. Mostre a lista, deixe o usuário escolher.

Etapa 2 — Corte

ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4

Etapa 3 — Formato de saída

Pergunte: "9:16 (TikTok/Reels), 16:9 (YouTube) ou 1:1 (feed do Instagram)?"

Etapa 4 — Se 16:9 → 9:16: panorâmica ou tela dividida

4a — Panorâmica entre rostos

  1. Amostre um quadro, identifique visualmente ROIs de rosto (área boca+queixo como x,y,w,h)
  2. Extraia a energia de movimento por quadro em cada ROI via ffmpeg tblend+signalstats
  3. Construa a linha do tempo do falante: python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json
  4. Escolha coordenadas x para a faixa vertical (largura de corte = 608 para fonte 1920)
  5. Gere expressão x e renderize: python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X

4b — Tela dividida

Dois blocos empilhados (1080x960 cada), falante ativo no topo. Construa expressão enable a partir de segments.json.

Etapa 5 — Legendas

Três estilos: opus (grande e negrito, palavra ativa amarela), karaokê (blocos de 4 palavras, destaque verde), minimal (Helvetica limpa).

whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"

Etapa 6 — Entrega

  • Salve em <source_dir>/clipify_out/
  • Imprima: nome, duração, o que foi engraçado, caminho de saída
  • Abra a primeira saída para revisão
  • Ofereça-se para iterar

Armadilhas

  • Não ajuste demais os ROIs (máximo de 2 iterações)
  • Verifique se há cortes de cena no clipe (select='gt(scene,0.3)')
  • Fonte 4K: reduza para 1080p primeiro ou dobre todas as coordenadas
  • Use Whisper no clipe cortado (não na fonte completa) para timestamps das legendas
  • Se a fonte tiver legendas queimadas, use audio_align.py para encontrar a master limpa

Requisitos

  • ffmpeg com libx264 E libass (para queima de legendas). Verifique: ffmpeg -filters 2>&1 | grep subtitles. A fórmula padrão do Homebrew ffmpeg NÃO inclui libass. Use o tap homebrew-ffmpeg: brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Se o brew reclamar sobre CLT desatualizado, execute softwareupdate --install "Command Line Tools for Xcode <versão>" primeiro (verifique softwareupdate --list para o rótulo exato).
  • whisper (openai-whisper): brew install openai-whisper ou pip install openai-whisper
  • Python 3 + numpy
  • macOS recomendado (VideoToolbox), funciona no Linux sem a flag hwaccel

Solução alternativa se não houver libass

Se o ffmpeg não tiver o filtro subtitles/ass, use drawtext como fallback para legendas simples (uma palavra por vez, menos bonito, mas funcional). Ou reinstale o ffmpeg com libass.

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Habilidades Relacionadas