Communitygithub.com

talking-head-motion

Adiciona animações de texto sincronizadas com a fala (contadores, listas, placa de nome, logotipos, oposição, ✓, subscribe, contagem regressiva) e efeitos sonoros imersivos binaural (como 'Dolby Atmos') a vídeos YouTube do tipo talking-head, tudo via código com Remotion.

O que é talking-head-motion?

Este skill transforma qualquer vídeo de um apresentador (talking-head) em uma produção cinemática profissional, combinando animações de texto sincronizadas com a fala e efeitos sonoros imersivos binaural. Ele analisa automaticamente a transcrição do vídeo usando Whisper (local, sem nuvem) e identifica os melhores momentos para animações, como números, listas, citações, placas de nome e call-to-action. O skill usa Remotion para gerar cada frame como uma função pura do número do frame, garantindo precisão frame a frame. O áudio binaural simula um espaço 3D, posicionando cada som de acordo com a posição na tela, criando uma experiência imersiva semelhante ao Dolby Atmos, mas otimizada para fones de ouvido. Ele suporta qualquer idioma, logotipos personalizados, cores de marca e fontes, e é ideal para YouTubers, criadores de conteúdo e profissionais de marketing que querem vídeos de alta qualidade sem precisar de um motion designer tradicional.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shalabaymaksat/talking-head-motion/tree/main

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Talking-Head Motion

Você é um motion designer que cria animações com código. Sobre o vídeo do apresentador, você insere animações de texto sincronizadas com a fala, controla suavemente a câmera e adiciona som binaural sintetizado para cada animação. Cada frame é uma função pura do número do frame (Remotion). A única fonte da verdade: template/src/timeline.json — a partir dele, tanto o vídeo quanto o áudio são construídos.

Estrutura do repositório:

SKILL.md                     ← este guia
PROMPT.md                    ← prompt pronto
references/text-animation-rules.md   ← QUANDO o texto aparece (leitura obrigatória)
references/storyboard-template.md    ← formato do storyboard
scripts/prepare.sh           ← proxy de vídeo + WAV de voz + duração
scripts/transcribe.py        ← Whisper large-v3 local, timecodes das palavras
scripts/logo_cutout.py       ← remoção de fundo de logotipos
scripts/immersive.py         ← timeline.json → SFX binaural → mix com voz
scripts/finish.sh            ← mix + vídeo → MP4 final
scripts/demo_video.sh        ← vídeo de teste (se você não tiver o seu)
template/                    ← projeto Remotion (timeline.json + 12 tipos de elemento)

0. Entrada

  • Arquivo de vídeo (qualquer: .mov/.mp4, até 4K).
  • Idioma (kk, ru, en …).
  • Opcional: logotipos (PNG/SVG), cores da marca, fonte. Se algo faltar, pergunte. A duração e o idioma do vídeo são detectados automaticamente.

1. Instalação (uma vez)

cd template && npm i && cd ..
pip install -r requirements.txt        # numpy, pillow, mlx-whisper (Mac) / faster-whisper

O ffmpeg deve estar no PATH (ou a variável FFMPEG=/path/to/ffmpeg).

2. Preparação

scripts/prepare.sh /caminho/para/video.mov

→ template/public/base.mp4 (proxy 2560×1440 — mesmo com câmera com zoom de 1.26×, fica nítido), work/voice.wav (48 kHz, para mixagem), work/voice_stt.wav (16 kHz, para Whisper). A duração resultante deve ser escrita em timeline.json → "duration".

3. Transcrição — Whisper local

python3 scripts/transcribe.py work/voice_stt.wav --lang kk

→ work/transcript.json (start/end de cada palavra) e work/transcript.txt.

  • Em Mac com chip M, usa mlx-whisper; em outros, faster-whisper é selecionado automaticamente. Para mais velocidade, use --model large-v3-turbo.
  • Whisper pode errar o texto (especialmente em kk) — confie nos timecodes, corrija o texto manualmente com base no contexto. Confirme nomes de marcas/pessoas com o usuário.
  • Não forneça initial prompt ao Whisper (isso corrompe os timecodes).

4. Encontrar momentos de animação → storyboard

Leia references/text-animation-rules.md. Da transcrição, encontre:

  • números, dinheiro, porcentagens, contagem de pessoas — obrigatório (counter); o mais forte deles deve ser "hero": true;
  • listas e enumerações (list, checks), nomes (lowerThird), empresas (logos);
  • oposição "A não B" (strike + text), pergunta retórica/pausa (pause, timer), CTA (subscribe).

Divida o vídeo em 4–8 cenas (gancho → argumento → problema → solução → payoff) e escreva STORYBOARD.md no formato de references/storyboard-template.md: tempo de cada cena, intervalo de frames (fps × s), o que está na tela, movimento, câmera. A soma das durações das cenas deve ser igual à duração do vídeo — verifique. Se estiver trabalhando com o usuário, mostre o storyboard e peça aprovação antes de codificar.

5. Composição do frame

Capture alguns frames do vídeo (ffmpeg -ss T -i video -frames:v 1 f.jpg):

  • posição x do rosto e área vazia (geralmente um lado está vazio — aí vai a coluna de texto);
  • o vídeo já tem texto/gráfico embutido? Se sim, anote o tempo e a posição, não sobreponha;
  • áreas claras (luzes, janelas) — não coloque texto branco sobre elas.

Estados da câmera (timeline.json → camera.states): C — centro (1.0), S — rosto deslocado para um lado, abrindo espaço para texto, P — punch-in no rosto no momento hero. O deslocamento x não deve exceder (s − 1) × 960 (senão a borda do quadro aparece).

6. Escrever timeline.json

O exemplo em template/src/timeline.json contém todos os 12 tipos. Campos principais:

  • t — momento de entrada (início da palavra no Whisper + ~0.1 s, nunca antes da palavra), until — momento de saída;
  • dx, dy — deslocamento do centro do frame (px, 1920×1080), color: text / accent / negative ou hex;
  • counter: countFrom, v0, v1, dur (~1 s), format (int/decimal), prefix/suffix, plusAt, label, sub, hero;
  • list/checks: items: [{t, n?, text}], gap, checksAt;
  • logos: items: [{t, file}] (public/logos/), cols, size, label;
  • strike: text, redAt; subscribe: clickAt, label, done; pause: text; timer: start, step, count, label; icons: positions: [[dx,dy,size]]; arrow.

Se o logotipo tiver fundo preto/colorido: python3 scripts/logo_cutout.py in.png template/public/logos/x.png. Escreva o texto no idioma do usuário; letras maiúsculas para títulos/números.

7. Verificação — stills primeiro

Para cada elemento e em cada fronteira de cena, gere um still:

cd template && npx remotion still Main out/s.png --frame=<frame>

Verifique: o texto não cobre o rosto/escrita, não sai da borda (5%), dois textos não se sobrepõem, o contador mostra um valor intermediário no centro. Ajuste → still novamente. Não passe para a renderização completa sem passar por esta etapa.

8. Renderização

cd template && npx remotion render Main out/video_noaudio.mp4 --muted

2 min de vídeo 1080p60 em chip M leva ~5–8 min.

9. Áudio imersivo + arquivo final

scripts/finish.sh out/final.mp4

immersive.py sintetiza som para cada elemento no timeline.json (texto → swish voando da borda para o elemento, contador → whoosh + clique + zumbido, hero → riser giratório ao redor do rosto + impacto + sub, logotipo → pop, strike → glitch, ✓ → zumbidos ascendentes, pause → power-down, timer → tique-taque + acorde-pad, subscribe → clique + sino), posiciona no espaço binaural de acordo com a posição na tela (ITD, sombra da cabeça, reverberação ambiente), e reduz o volume das camadas de fundo durante a fala. Som extra manual: timeline.json → sfx.extra. Ganho geral: --sfx-gain -3 etc. Não é Dolby Atmos real (com objetos e codificador Dolby) — é estéreo binaural para fones de ouvido; avise o usuário assim.

10. Verificação final

Extraia 8–12 frames do MP4 final (especialmente nas transições de câmera e momentos hero). Áudio: o pico dos SFX deve estar ~4–8 dB abaixo do pico da voz (immersive.py já imprime isso). Você não ouve o áudio — peça ao usuário para ouvir com fones de ouvido.

Regras de movimento

  • Nada se move linearmente. Entrada ~0.5 s, spring overshoot (damping 14); saída ~60%, ease-in.
  • Regra de ouro: nada para completamente — um elemento parado deriva suavemente 1 → 1.02; a câmera tem micro-push contínuo.
  • Elementos em grupo têm offset de 2–4 frames; o próximo movimento começa quando o anterior está ~20% de terminar.
  • Transição de câmera em easy-ease, ≥ 0.8 s. Clique: 1 → 0.96 → 1 press, cursor em arco (bezier) com pequeno overshoot.
  • Se o usuário disser "não quero zoom / movimento de câmera": "camera": {"style": "cut", "microPush": 0} — quadro fixo, transição puramente por corte.

Problemas conhecidos

  • Remotion "Target closed" / icudtl.dat not found: chrome-headless-shell às vezes não inicia (ex.: caminho com caracteres cirílicos, ou dentro de node_modules/.remotion). Solução: copie a pasta do navegador para um caminho ASCII (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) e defina export REMOTION_BROWSER=~/.cache/remotion-chrome/<pasta>/chrome-headless-shell.
  • O Chrome pode travar dentro do sandbox do Claude Code — execute a renderização fora do sandbox.
  • As fontes são carregadas de public/fonts/, não da internet (Google Fonts pode falhar durante a renderização).
  • Para não ultrapassar o final do fluxo de vídeo, use DURATION = floor(duration × fps).

Habilidades Relacionadas