Talking-Head Motion
Você é um motion designer que cria animações com código. Sobre o vídeo do apresentador, você insere animações de texto sincronizadas com a fala, controla suavemente a câmera e adiciona som binaural sintetizado para cada animação. Cada frame é uma função pura do número do frame (Remotion). A única fonte da verdade: template/src/timeline.json — a partir dele, tanto o vídeo quanto o áudio são construídos.
Estrutura do repositório:
SKILL.md ← este guia
PROMPT.md ← prompt pronto
references/text-animation-rules.md ← QUANDO o texto aparece (leitura obrigatória)
references/storyboard-template.md ← formato do storyboard
scripts/prepare.sh ← proxy de vídeo + WAV de voz + duração
scripts/transcribe.py ← Whisper large-v3 local, timecodes das palavras
scripts/logo_cutout.py ← remoção de fundo de logotipos
scripts/immersive.py ← timeline.json → SFX binaural → mix com voz
scripts/finish.sh ← mix + vídeo → MP4 final
scripts/demo_video.sh ← vídeo de teste (se você não tiver o seu)
template/ ← projeto Remotion (timeline.json + 12 tipos de elemento)
0. Entrada
- Arquivo de vídeo (qualquer: .mov/.mp4, até 4K).
- Idioma (
kk,ru,en…). - Opcional: logotipos (PNG/SVG), cores da marca, fonte. Se algo faltar, pergunte. A duração e o idioma do vídeo são detectados automaticamente.
1. Instalação (uma vez)
cd template && npm i && cd ..
pip install -r requirements.txt # numpy, pillow, mlx-whisper (Mac) / faster-whisper
O ffmpeg deve estar no PATH (ou a variável FFMPEG=/path/to/ffmpeg).
2. Preparação
scripts/prepare.sh /caminho/para/video.mov
→ template/public/base.mp4 (proxy 2560×1440 — mesmo com câmera com zoom de 1.26×, fica nítido), work/voice.wav (48 kHz, para mixagem), work/voice_stt.wav (16 kHz, para Whisper). A duração resultante deve ser escrita em timeline.json → "duration".
3. Transcrição — Whisper local
python3 scripts/transcribe.py work/voice_stt.wav --lang kk
→ work/transcript.json (start/end de cada palavra) e work/transcript.txt.
- Em Mac com chip M, usa
mlx-whisper; em outros,faster-whisperé selecionado automaticamente. Para mais velocidade, use--model large-v3-turbo. - Whisper pode errar o texto (especialmente em kk) — confie nos timecodes, corrija o texto manualmente com base no contexto. Confirme nomes de marcas/pessoas com o usuário.
- Não forneça initial prompt ao Whisper (isso corrompe os timecodes).
4. Encontrar momentos de animação → storyboard
Leia references/text-animation-rules.md. Da transcrição, encontre:
- números, dinheiro, porcentagens, contagem de pessoas — obrigatório (
counter); o mais forte deles deve ser"hero": true; - listas e enumerações (
list,checks), nomes (lowerThird), empresas (logos); - oposição "A não B" (
strike+text), pergunta retórica/pausa (pause,timer), CTA (subscribe).
Divida o vídeo em 4–8 cenas (gancho → argumento → problema → solução → payoff) e escreva STORYBOARD.md no formato de references/storyboard-template.md: tempo de cada cena, intervalo de frames (fps × s), o que está na tela, movimento, câmera. A soma das durações das cenas deve ser igual à duração do vídeo — verifique.
Se estiver trabalhando com o usuário, mostre o storyboard e peça aprovação antes de codificar.
5. Composição do frame
Capture alguns frames do vídeo (ffmpeg -ss T -i video -frames:v 1 f.jpg):
- posição x do rosto e área vazia (geralmente um lado está vazio — aí vai a coluna de texto);
- o vídeo já tem texto/gráfico embutido? Se sim, anote o tempo e a posição, não sobreponha;
- áreas claras (luzes, janelas) — não coloque texto branco sobre elas.
Estados da câmera (timeline.json → camera.states): C — centro (1.0), S — rosto deslocado para um lado, abrindo espaço para texto, P — punch-in no rosto no momento hero. O deslocamento x não deve exceder (s − 1) × 960 (senão a borda do quadro aparece).
6. Escrever timeline.json
O exemplo em template/src/timeline.json contém todos os 12 tipos. Campos principais:
t— momento de entrada (início da palavra no Whisper + ~0.1 s, nunca antes da palavra),until— momento de saída;dx,dy— deslocamento do centro do frame (px, 1920×1080),color:text/accent/negativeou hex;counter:countFrom,v0,v1,dur(~1 s),format(int/decimal),prefix/suffix,plusAt,label,sub,hero;list/checks:items: [{t, n?, text}],gap,checksAt;logos:items: [{t, file}](public/logos/),cols,size,label;strike:text,redAt;subscribe:clickAt,label,done;pause:text;timer:start,step,count,label;icons:positions: [[dx,dy,size]];arrow.
Se o logotipo tiver fundo preto/colorido: python3 scripts/logo_cutout.py in.png template/public/logos/x.png.
Escreva o texto no idioma do usuário; letras maiúsculas para títulos/números.
7. Verificação — stills primeiro
Para cada elemento e em cada fronteira de cena, gere um still:
cd template && npx remotion still Main out/s.png --frame=<frame>
Verifique: o texto não cobre o rosto/escrita, não sai da borda (5%), dois textos não se sobrepõem, o contador mostra um valor intermediário no centro. Ajuste → still novamente. Não passe para a renderização completa sem passar por esta etapa.
8. Renderização
cd template && npx remotion render Main out/video_noaudio.mp4 --muted
2 min de vídeo 1080p60 em chip M leva ~5–8 min.
9. Áudio imersivo + arquivo final
scripts/finish.sh out/final.mp4
immersive.py sintetiza som para cada elemento no timeline.json (texto → swish voando da borda para o elemento, contador → whoosh + clique + zumbido, hero → riser giratório ao redor do rosto + impacto + sub, logotipo → pop, strike → glitch, ✓ → zumbidos ascendentes, pause → power-down, timer → tique-taque + acorde-pad, subscribe → clique + sino), posiciona no espaço binaural de acordo com a posição na tela (ITD, sombra da cabeça, reverberação ambiente), e reduz o volume das camadas de fundo durante a fala. Som extra manual: timeline.json → sfx.extra. Ganho geral: --sfx-gain -3 etc.
Não é Dolby Atmos real (com objetos e codificador Dolby) — é estéreo binaural para fones de ouvido; avise o usuário assim.
10. Verificação final
Extraia 8–12 frames do MP4 final (especialmente nas transições de câmera e momentos hero). Áudio: o pico dos SFX deve estar ~4–8 dB abaixo do pico da voz (immersive.py já imprime isso). Você não ouve o áudio — peça ao usuário para ouvir com fones de ouvido.
Regras de movimento
- Nada se move linearmente. Entrada ~0.5 s, spring overshoot (damping 14); saída ~60%, ease-in.
- Regra de ouro: nada para completamente — um elemento parado deriva suavemente 1 → 1.02; a câmera tem micro-push contínuo.
- Elementos em grupo têm offset de 2–4 frames; o próximo movimento começa quando o anterior está ~20% de terminar.
- Transição de câmera em easy-ease, ≥ 0.8 s. Clique: 1 → 0.96 → 1 press, cursor em arco (bezier) com pequeno overshoot.
- Se o usuário disser "não quero zoom / movimento de câmera":
"camera": {"style": "cut", "microPush": 0}— quadro fixo, transição puramente por corte.
Problemas conhecidos
- Remotion "Target closed" /
icudtl.dat not found: chrome-headless-shell às vezes não inicia (ex.: caminho com caracteres cirílicos, ou dentro denode_modules/.remotion). Solução: copie a pasta do navegador para um caminho ASCII (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) e definaexport REMOTION_BROWSER=~/.cache/remotion-chrome/<pasta>/chrome-headless-shell. - O Chrome pode travar dentro do sandbox do Claude Code — execute a renderização fora do sandbox.
- As fontes são carregadas de
public/fonts/, não da internet (Google Fonts pode falhar durante a renderização). - Para não ultrapassar o final do fluxo de vídeo, use
DURATION = floor(duration × fps).