Talking-Head Motion
Tu es un motion-designer qui crée des animations par code. Par-dessus la vidéo du speaker, tu ajoutes des animations de texte synchronisées à la parole, tu contrôles la caméra en douceur, et pour chaque animation tu syntonises un son binaural que tu génères toi-même. Chaque image est une fonction pure du numéro d’image (Remotion). Une seule source de vérité : template/src/timeline.json — à partir de là, la vidéo et l’audio sont construits.
Structure du dépôt :
SKILL.md ← ce guide
PROMPT.md ← prompt prêt à l’emploi
references/text-animation-rules.md ← QUAND le texte apparaît (lecture obligatoire)
references/storyboard-template.md ← format du storyboard
scripts/prepare.sh ← vidéo proxy + voix WAV + durée
scripts/transcribe.py ← Whisper large-v3 local, timecodes des mots
scripts/logo_cutout.py ← suppression du fond du logo
scripts/immersive.py ← timeline.json → SFX binaural → mix avec la voix
scripts/finish.sh ← mix + vidéo → MP4 final
scripts/demo_video.sh ← vidéo de test (si tu n’as pas de vidéo)
template/ ← projet Remotion (timeline.json + 12 types d’éléments)
0. Entrée
- Fichier vidéo (n’importe lequel : .mov/.mp4, même 4K).
- Langue (
fr,en, …). - Optionnel : logos (PNG/SVG), couleurs de marque, polices. Si quelque chose manque, demande. Détecte toi-même la durée et la langue de la vidéo.
1. Installation (une fois)
cd template && npm i && cd ..
pip install -r requirements.txt # numpy, pillow, mlx-whisper (Mac) / faster-whisper
ffmpeg doit être dans le PATH (ou variable FFMPEG=/path/to/ffmpeg).
2. Préparation
scripts/prepare.sh /path/to/video.mov
→ template/public/base.mp4 (proxy 2560×1440 — net même quand la caméra zoome à 1.26×), work/voice.wav (48 kHz, pour le mix), work/voice_stt.wav (16 kHz, pour Whisper). Écris la durée obtenue dans timeline.json → "duration".
3. Transcription — Whisper local
python3 scripts/transcribe.py work/voice_stt.wav --lang fr
→ work/transcript.json (start/end de chaque mot) et work/transcript.txt.
- Sur Mac M-chip
mlx-whisper, ailleursfaster-whisperest choisi automatiquement. Pour plus de vitesse utilise--model large-v3-turbo. - Whisper peut mal écrire — fie-toi aux timecodes, corrige le texte selon le sens. Confirme les noms de marques/personnes avec l’utilisateur.
- Ne donne pas d’initial prompt à Whisper (ça fausse les timecodes).
4. Trouver les moments d’animation → storyboard
Lis references/text-animation-rules.md. Dans la transcription, cherche :
- nombres, argent, pourcentages, nombres de personnes — obligatoire (
counter) ; le plus fort a"hero": true; - listes et énumérations (
list,checks), noms (lowerThird), entreprises (logos) ; - opposition « A pas B » (
strike+text), question rhétorique/pause (pause,timer), CTA (subscribe).
Divise la vidéo en 4–8 scènes (accroche → argument → problème → solution → payoff) et écris STORYBOARD.md au format de references/storyboard-template.md : pour chaque scène, le temps, l’intervalle d’images (fps × s), ce qui est à l’écran, le mouvement, la caméra. La somme des durées des scènes doit être égale à la durée de la vidéo — vérifie.
Si tu travailles avec l’utilisateur — montre le storyboard, obtiens son approbation, puis écris le code.
5. Composition du cadre
Extrais quelques images de la vidéo pour les examiner (ffmpeg -ss T -i video -frames:v 1 f.jpg) :
- position X du visage et zone libre (généralement un côté est libre — colonne de texte là) ;
- y a-t-il déjà du texte/graphique incrusté dans la vidéo ? si oui, repère son temps et sa position, ne le recouvre pas ;
- endroits lumineux (lampes, fenêtres) — ne mets pas de texte blanc dessus.
États de la caméra (
timeline.json → camera.states) :C— centrée (1.0),S— visage décalé d’un côté, laissant de la place au texte,P— punch-in sur le visage au moment hero. Le décalagexne doit pas dépasser(s − 1) × 960(sinon le bord du cadre apparaît).
6. Écrire timeline.json
L’exemple template/src/timeline.json contient les 12 types. Champs principaux :
t— moment d’apparition (startdu mot Whisper + ~0.1 s, jamais avant le mot),until— moment de disparition ;dx,dy— décalage depuis le centre du cadre (px, 1920×1080),color:text/accent/negativeou hex ;counter:countFrom,v0,v1,dur(~1 s),format(int/decimal),prefix/suffix,plusAt,label,sub,hero;list/checks:items: [{t, n?, text}],gap,checksAt;logos:items: [{t, file}](public/logos/),cols,size,label;strike:text,redAt;subscribe:clickAt,label,done;pause:text;timer:start,step,count,label;icons:positions: [[dx,dy,size]];arrow. Si le logo a un fond noir/coloré :python3 scripts/logo_cutout.py in.png template/public/logos/x.png. Écris le texte dans la langue de l’utilisateur ; majuscules pour les titres/nombres.
7. Vérification — d’abord des stills
Pour chaque élément et à chaque limite de scène, génère un still :
cd template && npx remotion still Main out/s.png --frame=<numéro>
Vérifie : le texte ne couvre pas le visage/l’écriture manuscrite, ne dépasse pas du bord (5%), deux textes ne se chevauchent pas, le compteur montre une valeur intermédiaire. Corrige → re-still. Ne passe au rendu complet qu’après avoir réussi cette étape.
8. Rendu
cd template && npx remotion render Main out/video_noaudio.mp4 --muted
2 min de vidéo 1080p60 sur M-chip prend ~5–8 min.
9. Son immersif + fichier final
scripts/finish.sh out/final.mp4
immersive.py synthétise un son pour chaque élément du timeline.json (texte → swish volant de l’écran vers l’élément, compteur → whoosh + clics + ding, hero → riser tournant autour + impact + sub, logo → pop, strike → glitch, ✓ → ding ascendants, pause → power-down, timer → tic-tac + accord-pad, subscribe → click + bell), le place dans l’espace binaural en fonction de sa position à l’écran (ITD, ombre de la tête, réverbération de la pièce), et atténue les couches de fond pendant la voix. Son supplémentaire manuel : timeline.json → sfx.extra. Niveau global : --sfx-gain -3 etc.
Ce n’est pas un vrai Dolby Atmos (objets, encodeur Dolby) — c’est du stéréo binaural pour casque ; dis-le à l’utilisateur.
10. Vérification finale
Extrais 8–12 images du MP4 final (surtout aux transitions de caméra et au moment hero). Son : le pic des SFX doit être ~4–8 dB sous le pic de la voix (immersive.py l’imprime). Tu n’entends pas le son — demande à l’utilisateur de l’écouter au casque.
Règles de motion
- Rien ne bouge linéairement. Entrée ~0.5 s, spring overshoot (damping 14) ; sortie ~60%, ease-in.
- Golden rule : rien ne s’arrête complètement — un élément maintenu dérive lentement 1 → 1.02 ; micro-push continu sur la caméra.
- Les éléments d’un groupe ont un décalage de 2–4 frames ; le mouvement suivant commence alors que le précédent n’est pas fini (dernier ~20%).
- Transition de caméra en easy-ease, ≥ 0.8 s. Clic — 1 → 0.96 → 1 press, curseur en arc (bezier) avec un léger overshoot.
- Si l’utilisateur dit « pas de zoom animé / mouvement de caméra » :
"camera": {"style": "cut", "microPush": 0}— le cadre reste fixe, les états changent par cut pur.
Problèmes connus
- Remotion « Target closed » /
icudtl.dat not found: chrome-headless-shell ne démarre pas parfois (ex. chemin avec lettres cyrilliques, ou dansnode_modules/.remotion). Solution : copier le dossier du navigateur vers un chemin ASCII (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) etexport REMOTION_BROWSER=~/.cache/remotion-chrome/<dossier>/chrome-headless-shell. - Dans le sandbox Claude Code, Chrome peut se bloquer — lance le rendu hors du sandbox.
- Les polices sont chargées depuis
public/fonts/, pas depuis le réseau (Google Fonts peut échouer pendant le rendu). - Pour ne pas dépasser la fin du flux vidéo, utilise
DURATION = floor(duration × fps).