Clipify
Encuentra los momentos más divertidos de un video, recórtalos como clips independientes, opcionalmente reformatea 16:9 → 9:16 (con paneo facial o pantalla dividida) y quema subtítulos palabra por palabra al estilo Opus.
Repositorio fuente: ~/projects/clipify (clonado desde github.com/louisedesadeleer/clipify)
Entradas
- Ruta de un archivo de video (el usuario la proporcionará; en caso contrario, preguntar)
- Opcional: formato solicitado (9:16, 16:9, 1:1)
- Opcional: preferencia de estilo de subtítulos
Herramientas
- Whisper:
whisper --model tiny.en --word_timestamps True --output_format json(rápido; para idiomas que no sean inglés usar--model base) - ffmpeg: añadir
-hwaccel videotoolboxen macOS para decodificación,-preset ultrafastpara renderizados. Final:-c:v libx264 -crf 20 - Scripts:
~/projects/clipify/scripts/analyze.py— línea de tiempo de hablantes a partir de dos archivos de movimiento ROIbuild_pan.py— expresión de recorte ffmpeg con cortes durosbuild_ass.py— subtítulos ASS al estilo Opus desde JSON de Whisperaudio_align.py— encontrar el offset de un subclip dentro de una fuente más larga
Directorio de trabajo: /tmp/clipify/ (crear al inicio)
Flujo de trabajo
Paso 1 — Encontrar las partes más divertidas
mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
Leer JSON, seleccionar 3-5 candidatos. Señales de humor: remates/reacciones, reversiones, pausas incómodas, autocríticas, picos de audio.
Para cada uno: [inicio, fin, por-qué-es-divertido, título sugerido]. Apuntar a 10-25s. Mostrar lista, dejar que el usuario elija.
Paso 2 — Recortar
ffmpeg -y -ss "$INICIO" -t "$DURACION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4
Paso 3 — Formato de salida
Preguntar: "¿9:16 (TikTok/Reels), 16:9 (YouTube), o 1:1 (feed de Insta)?"
Paso 4 — Si es 16:9 → 9:16: paneo o pantalla dividida
4a — Paneo entre rostros
- Muestrear un fotograma, identificar ROIs faciales (zona boca+mentón como x,y,w,h)
- Extraer energía de movimiento por fotograma en cada ROI mediante ffmpeg tblend+signalstats
- Construir línea de tiempo del hablante:
python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json - Elegir coordenadas x de paneo para la franja vertical (ancho de recorte = 608 para fuente 1920)
- Generar expresión x y renderizar:
python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X
4b — Pantalla dividida
Dos mosaicos apilados (1080x960 cada uno), hablante activo arriba. Construir expresión de habilitación desde segments.json.
Paso 5 — Subtítulos
Tres estilos: opus (grande y negrita, palabra activa en amarillo), karaoke (fragmentos de 4 palabras, resaltado verde), minimal (Helvetica limpio).
whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$SALIDA.mp4"
Paso 6 — Entregar
- Guardar en
<directorio_fuente>/clipify_out/ - Imprimir: nombre, duración, qué fue divertido, ruta de salida
- Abrir la primera salida para revisión
- Ofrecer iterar
Errores comunes
- No ajustar demasiado los ROIs (máximo 2 iteraciones)
- Verificar cortes de escena en el clip (
select='gt(scene,0.3)') - Fuente 4K: reducir a 1080p primero o duplicar todas las coordenadas
- Usar Whisper sobre el clip recortado (no la fuente completa) para las marcas de tiempo de subtítulos
- Si la fuente tiene subtítulos quemados, usar
audio_align.pypara encontrar el master limpio
Requisitos
- ffmpeg con libx264 Y libass (para quemar subtítulos). Verificar:
ffmpeg -filters 2>&1 | grep subtitles. La fórmula predeterminada de Homebrew ffmpeg NO incluye libass. Usar el tap homebrew-ffmpeg:brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Si brew se queja sobre CLT desactualizado, ejecutarsoftwareupdate --install "Command Line Tools for Xcode <version>"primero (verificarsoftwareupdate --listpara la etiqueta exacta). - whisper (openai-whisper):
brew install openai-whisperopip install openai-whisper - Python 3 + numpy
- macOS recomendado (VideoToolbox), funciona en Linux sin el flag hwaccel
Solución alternativa si no hay libass
Si ffmpeg carece del filtro subtitles/ass, usar drawtext como alternativa para subtítulos simples (una palabra a la vez, menos bonito pero funcional). O reinstalar ffmpeg con libass.