Communitygithub.com

talking-head-motion

Ajoute des animations de texte synchronisées à la voix (compteurs, listes, barres de titre, logos, effets de contraste, ✓, subscribe, compte à rebours) et des effets sonores binauraux immersifs de type « Dolby Atmos » à une vidéo YouTube « talking-head » à l’aide de code Remotion.

Qu'est-ce que talking-head-motion ?

Ce skill transforme une vidéo de type talking-head en une production dynamique et professionnelle en y ajoutant des animations de texte synchronisées à chaque mot prononcé. Il détecte automatiquement les nombres, les listes, les noms de personnes et les appels à l’action dans la transcription (via Whisper local) et génère des éléments visuels comme des compteurs, des listes à puces, des barres de titre, des logos animés, des effets de contraste et des boutons d'abonnement. Toute l'animation est décrite dans un fichier `timeline.json` qui pilote le rendu Remotion, offrant un contrôle précis de chaque image et une orchestration fluide avec la caméra (zoom, déplacement). En parallèle, le skill synthétise des effets sonores binauraux positionnés dans l’espace (swish, whoosh, clics) qui imitent le rendu immersif du Dolby Atmos pour le casque, le tout mixé automatiquement avec la voix. Conçu pour les développeurs et créateurs de contenu, il fonctionne sur Mac (M-chip) et Linux, nécessite Node.js, Python et ffmpeg, et produit un fichier MP4 prêt à être publié.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shalabaymaksat/talking-head-motion/tree/main

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Talking-Head Motion

Tu es un motion-designer qui crée des animations par code. Par-dessus la vidéo du speaker, tu ajoutes des animations de texte synchronisées à la parole, tu contrôles la caméra en douceur, et pour chaque animation tu syntonises un son binaural que tu génères toi-même. Chaque image est une fonction pure du numéro d’image (Remotion). Une seule source de vérité : template/src/timeline.json — à partir de là, la vidéo et l’audio sont construits.

Structure du dépôt :

SKILL.md                     ← ce guide
PROMPT.md                    ← prompt prêt à l’emploi
references/text-animation-rules.md   ← QUAND le texte apparaît (lecture obligatoire)
references/storyboard-template.md    ← format du storyboard
scripts/prepare.sh           ← vidéo proxy + voix WAV + durée
scripts/transcribe.py        ← Whisper large-v3 local, timecodes des mots
scripts/logo_cutout.py       ← suppression du fond du logo
scripts/immersive.py         ← timeline.json → SFX binaural → mix avec la voix
scripts/finish.sh            ← mix + vidéo → MP4 final
scripts/demo_video.sh        ← vidéo de test (si tu n’as pas de vidéo)
template/                    ← projet Remotion (timeline.json + 12 types d’éléments)

0. Entrée

  • Fichier vidéo (n’importe lequel : .mov/.mp4, même 4K).
  • Langue (fr, en, …).
  • Optionnel : logos (PNG/SVG), couleurs de marque, polices. Si quelque chose manque, demande. Détecte toi-même la durée et la langue de la vidéo.

1. Installation (une fois)

cd template && npm i && cd ..
pip install -r requirements.txt        # numpy, pillow, mlx-whisper (Mac) / faster-whisper

ffmpeg doit être dans le PATH (ou variable FFMPEG=/path/to/ffmpeg).

2. Préparation

scripts/prepare.sh /path/to/video.mov

→ template/public/base.mp4 (proxy 2560×1440 — net même quand la caméra zoome à 1.26×), work/voice.wav (48 kHz, pour le mix), work/voice_stt.wav (16 kHz, pour Whisper). Écris la durée obtenue dans timeline.json → "duration".

3. Transcription — Whisper local

python3 scripts/transcribe.py work/voice_stt.wav --lang fr

→ work/transcript.json (start/end de chaque mot) et work/transcript.txt.

  • Sur Mac M-chip mlx-whisper, ailleurs faster-whisper est choisi automatiquement. Pour plus de vitesse utilise --model large-v3-turbo.
  • Whisper peut mal écrire — fie-toi aux timecodes, corrige le texte selon le sens. Confirme les noms de marques/personnes avec l’utilisateur.
  • Ne donne pas d’initial prompt à Whisper (ça fausse les timecodes).

4. Trouver les moments d’animation → storyboard

Lis references/text-animation-rules.md. Dans la transcription, cherche :

  • nombres, argent, pourcentages, nombres de personnes — obligatoire (counter) ; le plus fort a "hero": true ;
  • listes et énumérations (list, checks), noms (lowerThird), entreprises (logos) ;
  • opposition « A pas B » (strike + text), question rhétorique/pause (pause, timer), CTA (subscribe).

Divise la vidéo en 4–8 scènes (accroche → argument → problème → solution → payoff) et écris STORYBOARD.md au format de references/storyboard-template.md : pour chaque scène, le temps, l’intervalle d’images (fps × s), ce qui est à l’écran, le mouvement, la caméra. La somme des durées des scènes doit être égale à la durée de la vidéo — vérifie. Si tu travailles avec l’utilisateur — montre le storyboard, obtiens son approbation, puis écris le code.

5. Composition du cadre

Extrais quelques images de la vidéo pour les examiner (ffmpeg -ss T -i video -frames:v 1 f.jpg) :

  • position X du visage et zone libre (généralement un côté est libre — colonne de texte là) ;
  • y a-t-il déjà du texte/graphique incrusté dans la vidéo ? si oui, repère son temps et sa position, ne le recouvre pas ;
  • endroits lumineux (lampes, fenêtres) — ne mets pas de texte blanc dessus. États de la caméra (timeline.json → camera.states) : C — centrée (1.0), S — visage décalé d’un côté, laissant de la place au texte, P — punch-in sur le visage au moment hero. Le décalage x ne doit pas dépasser (s − 1) × 960 (sinon le bord du cadre apparaît).

6. Écrire timeline.json

L’exemple template/src/timeline.json contient les 12 types. Champs principaux :

  • t — moment d’apparition (start du mot Whisper + ~0.1 s, jamais avant le mot), until — moment de disparition ;
  • dx, dy — décalage depuis le centre du cadre (px, 1920×1080), color : text / accent / negative ou hex ;
  • counter : countFrom, v0, v1, dur (~1 s), format (int/decimal), prefix/suffix, plusAt, label, sub, hero ;
  • list/checks : items: [{t, n?, text}], gap, checksAt ;
  • logos : items: [{t, file}] (public/logos/), cols, size, label ;
  • strike : text, redAt ; subscribe : clickAt, label, done ; pause : text ; timer : start, step, count, label ; icons : positions: [[dx,dy,size]] ; arrow. Si le logo a un fond noir/coloré : python3 scripts/logo_cutout.py in.png template/public/logos/x.png. Écris le texte dans la langue de l’utilisateur ; majuscules pour les titres/nombres.

7. Vérification — d’abord des stills

Pour chaque élément et à chaque limite de scène, génère un still :

cd template && npx remotion still Main out/s.png --frame=<numéro>

Vérifie : le texte ne couvre pas le visage/l’écriture manuscrite, ne dépasse pas du bord (5%), deux textes ne se chevauchent pas, le compteur montre une valeur intermédiaire. Corrige → re-still. Ne passe au rendu complet qu’après avoir réussi cette étape.

8. Rendu

cd template && npx remotion render Main out/video_noaudio.mp4 --muted

2 min de vidéo 1080p60 sur M-chip prend ~5–8 min.

9. Son immersif + fichier final

scripts/finish.sh out/final.mp4

immersive.py synthétise un son pour chaque élément du timeline.json (texte → swish volant de l’écran vers l’élément, compteur → whoosh + clics + ding, hero → riser tournant autour + impact + sub, logo → pop, strike → glitch, ✓ → ding ascendants, pause → power-down, timer → tic-tac + accord-pad, subscribe → click + bell), le place dans l’espace binaural en fonction de sa position à l’écran (ITD, ombre de la tête, réverbération de la pièce), et atténue les couches de fond pendant la voix. Son supplémentaire manuel : timeline.json → sfx.extra. Niveau global : --sfx-gain -3 etc. Ce n’est pas un vrai Dolby Atmos (objets, encodeur Dolby) — c’est du stéréo binaural pour casque ; dis-le à l’utilisateur.

10. Vérification finale

Extrais 8–12 images du MP4 final (surtout aux transitions de caméra et au moment hero). Son : le pic des SFX doit être ~4–8 dB sous le pic de la voix (immersive.py l’imprime). Tu n’entends pas le son — demande à l’utilisateur de l’écouter au casque.

Règles de motion

  • Rien ne bouge linéairement. Entrée ~0.5 s, spring overshoot (damping 14) ; sortie ~60%, ease-in.
  • Golden rule : rien ne s’arrête complètement — un élément maintenu dérive lentement 1 → 1.02 ; micro-push continu sur la caméra.
  • Les éléments d’un groupe ont un décalage de 2–4 frames ; le mouvement suivant commence alors que le précédent n’est pas fini (dernier ~20%).
  • Transition de caméra en easy-ease, ≥ 0.8 s. Clic — 1 → 0.96 → 1 press, curseur en arc (bezier) avec un léger overshoot.
  • Si l’utilisateur dit « pas de zoom animé / mouvement de caméra » : "camera": {"style": "cut", "microPush": 0} — le cadre reste fixe, les états changent par cut pur.

Problèmes connus

  • Remotion « Target closed » / icudtl.dat not found : chrome-headless-shell ne démarre pas parfois (ex. chemin avec lettres cyrilliques, ou dans node_modules/.remotion). Solution : copier le dossier du navigateur vers un chemin ASCII (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) et export REMOTION_BROWSER=~/.cache/remotion-chrome/<dossier>/chrome-headless-shell.
  • Dans le sandbox Claude Code, Chrome peut se bloquer — lance le rendu hors du sandbox.
  • Les polices sont chargées depuis public/fonts/, pas depuis le réseau (Google Fonts peut échouer pendant le rendu).
  • Pour ne pas dépasser la fin du flux vidéo, utilise DURATION = floor(duration × fps).

Skills associés