Communitygithub.com

exiao/skills

Encuentra los momentos más divertidos de un video, los recorta como clips independientes, opcionalmente los reformatea 16:9 → 9:16 (con paneo facial o pantalla dividida) y quema subtítulos palabra por palabra al estilo Opus.

¿Qué es skills?

Clipify es una habilidad de agente de IA diseñada para transformar videos largos en clips cortos listos para redes sociales. Extrae automáticamente los momentos más divertidos (remates, reacciones, pausas incómodas, autocríticas) basándose en señales de audio y diálogo transcrito con Whisper. Luego recorta los segmentos seleccionados y ofrece un reformateo opcional de 16:9 a 9:16, ya sea mediante paneo entre rostros (detectando ROI de movimiento) o en pantalla dividida apilada verticalmente. Finalmente, quema subtítulos con un estilo llamativo tipo Opus (palabra activa resaltada en amarillo) y entrega los archivos en un directorio dedicado. La habilidad soporta macOS (con aceleración VideoToolbox) y Linux, y requiere ffmpeg con libass, además de Whisper y Python 3. El flujo de trabajo es interactivo: el usuario revisa las sugerencias de clips divertidos, elige el formato de salida y puede iterar sobre el resultado.

Compatible con~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/exiao/skills/tree/HEAD/video/clipify

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Clipify

Encuentra los momentos más divertidos de un video, recórtalos como clips independientes, opcionalmente reformatea 16:9 → 9:16 (con paneo facial o pantalla dividida) y quema subtítulos palabra por palabra al estilo Opus.

Repositorio fuente: ~/projects/clipify (clonado desde github.com/louisedesadeleer/clipify)

Entradas

  • Ruta de un archivo de video (el usuario la proporcionará; en caso contrario, preguntar)
  • Opcional: formato solicitado (9:16, 16:9, 1:1)
  • Opcional: preferencia de estilo de subtítulos

Herramientas

  • Whisper: whisper --model tiny.en --word_timestamps True --output_format json (rápido; para idiomas que no sean inglés usar --model base)
  • ffmpeg: añadir -hwaccel videotoolbox en macOS para decodificación, -preset ultrafast para renderizados. Final: -c:v libx264 -crf 20
  • Scripts: ~/projects/clipify/scripts/
    • analyze.py — línea de tiempo de hablantes a partir de dos archivos de movimiento ROI
    • build_pan.py — expresión de recorte ffmpeg con cortes duros
    • build_ass.py — subtítulos ASS al estilo Opus desde JSON de Whisper
    • audio_align.py — encontrar el offset de un subclip dentro de una fuente más larga

Directorio de trabajo: /tmp/clipify/ (crear al inicio)


Flujo de trabajo

Paso 1 — Encontrar las partes más divertidas

mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en

Leer JSON, seleccionar 3-5 candidatos. Señales de humor: remates/reacciones, reversiones, pausas incómodas, autocríticas, picos de audio.

Para cada uno: [inicio, fin, por-qué-es-divertido, título sugerido]. Apuntar a 10-25s. Mostrar lista, dejar que el usuario elija.

Paso 2 — Recortar

ffmpeg -y -ss "$INICIO" -t "$DURACION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4

Paso 3 — Formato de salida

Preguntar: "¿9:16 (TikTok/Reels), 16:9 (YouTube), o 1:1 (feed de Insta)?"

Paso 4 — Si es 16:9 → 9:16: paneo o pantalla dividida

4a — Paneo entre rostros

  1. Muestrear un fotograma, identificar ROIs faciales (zona boca+mentón como x,y,w,h)
  2. Extraer energía de movimiento por fotograma en cada ROI mediante ffmpeg tblend+signalstats
  3. Construir línea de tiempo del hablante: python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json
  4. Elegir coordenadas x de paneo para la franja vertical (ancho de recorte = 608 para fuente 1920)
  5. Generar expresión x y renderizar: python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X

4b — Pantalla dividida

Dos mosaicos apilados (1080x960 cada uno), hablante activo arriba. Construir expresión de habilitación desde segments.json.

Paso 5 — Subtítulos

Tres estilos: opus (grande y negrita, palabra activa en amarillo), karaoke (fragmentos de 4 palabras, resaltado verde), minimal (Helvetica limpio).

whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$SALIDA.mp4"

Paso 6 — Entregar

  • Guardar en <directorio_fuente>/clipify_out/
  • Imprimir: nombre, duración, qué fue divertido, ruta de salida
  • Abrir la primera salida para revisión
  • Ofrecer iterar

Errores comunes

  • No ajustar demasiado los ROIs (máximo 2 iteraciones)
  • Verificar cortes de escena en el clip (select='gt(scene,0.3)')
  • Fuente 4K: reducir a 1080p primero o duplicar todas las coordenadas
  • Usar Whisper sobre el clip recortado (no la fuente completa) para las marcas de tiempo de subtítulos
  • Si la fuente tiene subtítulos quemados, usar audio_align.py para encontrar el master limpio

Requisitos

  • ffmpeg con libx264 Y libass (para quemar subtítulos). Verificar: ffmpeg -filters 2>&1 | grep subtitles. La fórmula predeterminada de Homebrew ffmpeg NO incluye libass. Usar el tap homebrew-ffmpeg: brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Si brew se queja sobre CLT desactualizado, ejecutar softwareupdate --install "Command Line Tools for Xcode <version>" primero (verificar softwareupdate --list para la etiqueta exacta).
  • whisper (openai-whisper): brew install openai-whisper o pip install openai-whisper
  • Python 3 + numpy
  • macOS recomendado (VideoToolbox), funciona en Linux sin el flag hwaccel

Solución alternativa si no hay libass

Si ffmpeg carece del filtro subtitles/ass, usar drawtext como alternativa para subtítulos simples (una palabra a la vez, menos bonito pero funcional). O reinstalar ffmpeg con libass.

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Skills relacionados