Communitygithub.com

Talking-Head Motion

Genera animaciones de texto sincronizadas con la voz y efectos de sonido binaurales envolventes para videos de YouTube tipo 'talking head' usando Remotion y código.

¿Qué es Talking-Head Motion?

Talking-Head Motion es un skill de agente de IA que te permite agregar animaciones de texto sincronizadas con el habla y efectos de sonido binaurales envolventes (como Dolby Atmos, pero para auriculares) a videos de tipo 'talking head' para YouTube. Está diseñado para plataformas como Claude Code, Cursor y otros agentes de IA que trabajan con Remotion. El skill usa transcripción local con Whisper para obtener marcas de tiempo por palabra, una línea de tiempo JSON para animaciones (contadores, listas, cintas de nombre, logotipos, texto tachado, suscripciones, temporizadores) y genera audio binaural con paneo espacial, reverberación y síntesis de sonidos como swishes, whooshes e impactos. El resultado es un video MP4 final con animaciones cinéticas y sonido envolvente listo para subir.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shalabaymaksat/talking-head-motion/tree/main

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace Talking-Head Motion?

Eres un diseñador de motion graphics que crea animaciones con código. Sobre el video del orador, agregas animaciones de texto sincronizadas con la palabra hablada, controlas la cámara suavemente y pones sonido binaural sintetizado para cada animación. Cada fotograma es una función pura del número de fotograma (Remotion). La única fuente de verdad: template/src/timeline.json — a partir de ella se construyen tanto el video como el audio.

Estructura del repositorio:

SKILL.md                     ← este instructivo
PROMPT.md                    ← prompt listo
references/text-animation-rules.md   ← CUÁNDO aparece el texto (lectura obligatoria)
references/storyboard-template.md    ← formato de storyboard
scripts/prepare.sh           ← video proxy + voz WAV + duración
scripts/transcribe.py        ← Whisper large-v3 local, marcas de tiempo por palabra
scripts/logo_cutout.py       ← eliminar fondo de logotipos
scripts/immersive.py         ← timeline.json → SFX binaural → mezcla con voz
scripts/finish.sh            ← mezcla + video → MP4 final
scripts/demo_video.sh        ← video de prueba (si no tienes video propio)
template/                    ← proyecto Remotion (timeline.json + 12 tipos de elementos)

0. Entrada

  • Archivo de video (cualquiera: .mov/.mp4, incluso 4K).
  • Idioma (kk, ru, en …).
  • Opcional: logotipos (PNG/SVG), colores de marca, tipografía. Si falta algo, pregunta. La duración y el idioma del video los determinas tú.

1. Instalación (una sola vez)

cd template && npm i && cd ..
pip install -r requirements.txt        # numpy, pillow, mlx-whisper (Mac) / faster-whisper

ffmpeg debe estar en PATH (o la variable FFMPEG=/path/to/ffmpeg).

2. Preparación

scripts/prepare.sh /path/to/video.mov

→ template/public/base.mp4 (proxy 2560×1440 — nítido incluso con cámara al 1.26×), work/voice.wav (48 kHz, para mezcla), work/voice_stt.wav (16 kHz, para Whisper). Escribe la duración resultante en timeline.json → "duration".

3. Transcripción — Whisper local

python3 scripts/transcribe.py work/voice_stt.wav --lang kk

→ work/transcript.json (start/end de cada palabra) y work/transcript.txt.

  • En Mac M-chip usa mlx-whisper, en otros sistemas faster-whisper automáticamente. Para rapidez añade --model large-v3-turbo.
  • Whisper escribe mal el kazajo — confía en los tiempos, corrige el texto según el significado. Confirma nombres propios/marcas con el usuario.
  • No le des initial prompt a Whisper (estropea los tiempos).

4. Encontrar momentos de animación → storyboard

Lee references/text-animation-rules.md. Debes encontrar en la transcripción:

  • números, dinero, porcentajes, cantidad de personas — obligatorio (counter); el más impactante con "hero": true;
  • listas y enumeraciones (list, checks), nombres (lowerThird), empresas (logos);
  • contrastes «no A, sino B» (strike + text), preguntas retóricas/pausas (pause, timer), CTA (subscribe).

Divide el video en 4–8 escenas (gancho → argumento → problema → solución → payoff) y escribe un STORYBOARD.md en el formato de references/storyboard-template.md: tiempo de cada escena, rango de fotogramas (fps × s), qué hay en pantalla, movimiento, cámara. La suma de las duraciones de las escenas debe ser igual a la duración del video — verifica. Si trabajas con el usuario, muéstrale el storyboard y pídele aprobación antes de escribir código.

5. Composición de fotogramas

Toma varios fotogramas del video y revísalos (ffmpeg -ss T -i video -frames:v 1 f.jpg):

  • posición X del rostro y área libre (normalmente un lado está libre — allí la columna de texto);
  • si el video ya tiene texto/gráficos quemados, evita superponerte a ellos en tiempo y posición;
  • áreas brillantes (lámparas, ventanas) — no pongas texto blanco sobre ellas. Estados de cámara (timeline.json → camera.states): C — centro (1.0), S — rostro se desplaza a un lado abriendo espacio para texto, P — punch-in al rostro en momento hero. El desplazamiento x no debe superar en módulo (s − 1) × 960 (de lo contrario se ve el borde del fotograma).

6. Escribir timeline.json

El ejemplo template/src/timeline.json contiene los 12 tipos. Campos principales:

  • t — momento de aparición (start de Whisper + ~0.1 s, nunca antes de la palabra), until — momento de desaparición;
  • dx, dy — desplazamiento desde el centro del fotograma (px, 1920×1080), color: text / accent / negative o hex;
  • counter: countFrom, v0, v1, dur (~1 s), format (int/decimal), prefix/suffix, plusAt, label, sub, hero;
  • list/checks: items: [{t, n?, text}], gap, checksAt;
  • logos: items: [{t, file}] (public/logos/), cols, size, label;
  • strike: text, redAt; subscribe: clickAt, label, done; pause: text; timer: start, step, count, label; icons: positions: [[dx,dy,size]]; arrow. Si el logotipo tiene fondo negro/color: python3 scripts/logo_cutout.py in.png template/public/logos/x.png. Escribe el texto en el idioma del usuario; mayúsculas para títulos/números.

7. Verificación — primero stills

Genera un still en el centro de cada elemento y en cada límite de escena:

cd template && npx remotion still Main out/s.png --frame=<fotograma>

Verifica: el texto no tapa el rostro/escritura, no sale del borde del fotograma (5%), no se superponen dos textos, el contador muestra valores intermedios en su centro. Corrige → vuelve a generar still. No pases a render completo sin superar esta etapa.

8. Render

cd template && npx remotion render Main out/video_noaudio.mp4 --muted

Un video de 2 min 1080p60 en chip M tarda ~5–8 min.

9. Sonido envolvente + archivo final

scripts/finish.sh out/final.mp4

immersive.py sintetiza sonido para cada elemento en timeline.json (texto → swish vuela desde el borde al elemento, contador → whoosh + tic + campanada, hero → riser envolvente + impact + sub, logotipo → pop, strike → glitch, ✓ → campanadas ascendentes, pause → power-down, timer → tic-tac + acorde-pad, subscribe → click + campana), lo coloca en el espacio binaural según su posición en pantalla (ITD, sombra de cabeza, reverberación de sala), y atenúa las capas de fondo durante la voz. Sonido extra manual: timeline.json → sfx.extra. Nivel general: --sfx-gain -3 etc. No es Dolby Atmos real (con objetos y codificador Dolby) — es estéreo binaural para auriculares; así se lo comunicas al usuario.

10. Verificación final

Toma 8–12 fotogramas del MP4 final y revísalos (especialmente en las transiciones de cámara y momentos hero). Audio: los picos de SFX deben estar ~4–8 dB por debajo de los picos de voz (immersive.py lo imprime). Tú no escuchas el audio — pide al usuario que lo revise con auriculares.

Reglas de movimiento

  • Nada se mueve linealmente. Entrada ~0.5 s, spring overshoot (damping 14); salida ~60%, ease-in.
  • Regla de oro: nada se detiene por completo — un elemento estático se desplaza lentamente 1 → 1.02 drift; la cámara tiene micro-push continuo.
  • Elementos en grupo con offset de 2–4 fotogramas; el siguiente movimiento comienza cuando el anterior aún no ha terminado (~20% final).
  • Transición de cámara easy-ease, ≥ 0.8 s. Click — 1 → 0.96 → 1 press, cursor con arco bezier y pequeño overshoot.
  • Si el usuario dice «no quiero zoom ni movimiento de cámara»: "camera": {"style": "cut", "microPush": 0} — fotograma fijo, transición de estado por corte limpio.

Fallos conocidos

  • Remotion «Target closed» / icudtl.dat not found: chrome-headless-shell a veces no arranca (p.ej. ruta con caracteres cirílicos, o dentro de node_modules/.remotion). Solución: copia la carpeta del navegador a una ruta ASCII (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) y luego export REMOTION_BROWSER=~/.cache/remotion-chrome/<carpeta>/chrome-headless-shell.
  • En sandbox de Claude Code, Chrome puede colgarse — ejecuta el render fuera del sandbox.
  • Las fuentes se cargan desde public/fonts/, no desde internet (Google Fonts puede fallar durante el render).
  • Para no exceder el final del flujo de video: DURATION = floor(duration × fps).

Skills relacionados