Was macht Talking-Head Motion?
Du bist ein Motion-Designer, der mit Code Animationen erstellt. Du legst synchron zur gesprochenen Sprache Textanimationen auf das Sprechervideo, steuerst die Kamera sanft und fügst jeder Animation einen von dir synthetisierten binauralen Klang hinzu. Jeder Frame ist eine reine Funktion der Framenummer (Remotion). Die einzige Quelle der Wahrheit ist template/src/timeline.json – daraus werden sowohl Video als auch Audio erzeugt.
Repo-Struktur:
SKILL.md ← diese Anleitung
PROMPT.md ← fertiger Prompt
references/text-animation-rules.md ← WANN Text erscheint (Pflichtlektüre)
references/storyboard-template.md ← Storyboard-Format
scripts/prepare.sh ← Proxy-Video + Sprach-WAV + Dauer
scripts/transcribe.py ← lokales Whisper large-v3, Wort-Zeitcodes
scripts/logo_cutout.py ← Logo-Hintergrund entfernen
scripts/immersive.py ← timeline.json → binaurales SFX → mit Sprache mixen
scripts/finish.sh ← Mix + Video → fertiges MP4
scripts/demo_video.sh ← Testvideo (falls du kein eigenes hast)
template/ ← Remotion-Projekt (timeline.json + 12 Elementtypen)
0. Eingabe
- Videodatei (beliebig: .mov/.mp4, auch 4K).
- Sprache (
kk,ru,en…). - Optional: Logos (PNG/SVG), Markenfarben, Schriftarten. Falls etwas fehlt – frage nach. Dauer und Sprache des Videos ermittelst du selbst.
1. Installation (einmalig)
cd template && npm i && cd ..
pip install -r requirements.txt # numpy, pillow, mlx-whisper (Mac) / faster-whisper
ffmpeg muss im PATH sein (oder die Variable FFMPEG=/pfad/zu/ffmpeg setzen).
2. Vorbereitung
scripts/prepare.sh /pfad/zu/video.mov
→ template/public/base.mp4 (2560×1440 Proxy – auch bei 1,26× Kamera-Zoom scharf), work/voice.wav (48 kHz, zum Mischen), work/voice_stt.wav (16 kHz, für Whisper). Die ermittelte Dauer in timeline.json → "duration" eintragen.
3. Transkription – lokales Whisper
python3 scripts/transcribe.py work/voice_stt.wav --lang kk
→ work/transcript.json (jedes Wort mit start/end) und work/transcript.txt.
- Auf Mac M-Chip wird
mlx-whisper, sonstfaster-whisperautomatisch gewählt. Bei Bedarf schneller:--model large-v3-turbo. - Whisper schreibt kasachisch oft falsch – vertraue den Zeitangaben, korrigiere den Text sinngemäß. Bestätige Marken-/Namenwörter mit dem Benutzer.
- Gib Whisper keinen initial prompt (das verfälscht die Zeiten).
4. Animationsmomente finden → Storyboard
Lies references/text-animation-rules.md. Suche im Transkript:
- Zahlen, Geld, Prozent, Personenzahlen – Pflicht (
counter); das stärkste davon ist"hero": true; - Listen und Aufzählungen (
list,checks), Namen (lowerThird), Firmen (logos); - Gegensätze „nicht A, sondern B" (
strike+text), rhetorische Fragen/Pausen (pause,timer), CTA (subscribe).
Teile das Video in 4–8 Szenen (Hook → Argument → Problem → Lösung → Payoff) und schreibe STORYBOARD.md im Format von references/storyboard-template.md: für jede Szene Zeit, Frame-Bereich (fps × s), was auf dem Bildschirm ist, Bewegung, Kamera. Die Summe der Szenendauern muss der Videodauer entsprechen – überprüfe das.
Arbeitest du mit dem Benutzer? – Zeige das Storyboard, hole Zustimmung ein, dann schreibe Code.
5. Frame-Komposition
Hole dir mehrere Frames aus dem Video (ffmpeg -ss T -i video -frames:v 1 f.jpg):
- die x-Position des Gesichts und den freien Bereich (meist eine Seite frei – dort die Textspalte);
- gibt es bereits eingebrannten Text/Grafik im Video? – wenn ja, überlagere sie zeitlich und räumlich nicht;
- helle Stellen (Lampen, Fenster) – setze keinen weißen Text darauf.
Kamerazustände (timeline.json → camera.states): C – Mitte (1.0), S – Gesicht zur Seite verschoben, um Platz für Text zu schaffen, P – Punch-In auf das Gesicht im Hero-Moment. Der Versatz x darf den Betrag (s − 1) × 960 nicht überschreiten (sonst wird der Bildrand sichtbar).
6. timeline.json schreiben
Das Beispiel in template/src/timeline.json enthält alle 12 Typen. Wichtige Felder:
t– Startzeit (Whispersstart+ ~0,1 s, niemals vor dem Wort),until– Endzeit;dx,dy– Versatz von der Bildmitte (px, 1920×1080),color:text/accent/negativeoder hex;counter:countFrom,v0,v1,dur(~1 s),format(int/decimal),prefix/suffix,plusAt,label,sub,hero;list/checks:items: [{t, n?, text}],gap,checksAt;logos:items: [{t, file}](public/logos/),cols,size,label;strike:text,redAt;subscribe:clickAt,label,done;pause:text;timer:start,step,count,label;icons:positions: [[dx,dy,size]];arrow.
Falls das Logo einen schwarzen/farbigen Hintergrund hat: python3 scripts/logo_cutout.py in.png template/public/logos/x.png.
Schreibe Text in der Sprache des Benutzers; Großbuchstaben für Titel/Zahlen.
7. Test – zuerst Stills
Erzeuge Stills für die Mitte jedes Elements und an jeder Szenengrenze:
cd template && npx remotion still Main out/s.png --frame=<frame>
Prüfe: Text überdeckt weder Gesicht noch Beschriftung, ragt nicht über den Bildrand (5%), zwei Texte überlappen nicht, der Zähler zeigt in der Mitte einen Zwischenwert an. Korrigiere → erneut Still. Gehe erst zur Vollrenderung, wenn diese Phase bestanden ist.
8. Render
cd template && npx remotion render Main out/video_noaudio.mp4 --muted
2 min 1080p60 Video auf M-Chip ~5–8 min.
9. Immersiver Sound + finale Datei
scripts/finish.sh out/final.mp4
immersive.py synthetisiert für jedes Element in timeline.json einen Klang (Text → Swish vom Bildrand zum Element, Zähler → Whoosh + Ticken + Klingeln, Hero → um das Hauptobjekt schwebender Riser + Impact + Sub, Logo → Pop, Strike → Glitch, ✓ → aufsteigende Klingeltöne, Pause → Power-Down, Timer → Tick-Tack + Akkord-Pad, Subscribe → Click + Bell), platziert ihn entsprechend seiner Position auf dem Bildschirm im binauralen Raum (ITD, Kopfschatten, Raumhall) und senkt Hintergrundschichten während der Sprache. Manueller zusätzlicher Sound: timeline.json → sfx.extra. Gesamtpegel: --sfx-gain -3 usw.
Das ist kein echter Dolby Atmos (objektbasiert, Dolby-Encoder) – es ist binaurales Stereo für Kopfhörer; teile das dem Benutzer so mit.
10. Abschlusskontrolle
Hole 8–12 Frames aus der fertigen MP4 (besonders an Kamerawechseln und Hero-Momenten). Audio: Der SFX-Peak sollte ~4–8 dB unter dem Sprachpeak liegen (immersive.py gibt das aus). Du hörst den Ton nicht – bitte den Benutzer, mit Kopfhörern zu prüfen.
Bewegungsregeln
- Nichts bewegt sich linear. Eintritt ~0,5 s, spring overshoot (damping 14); Austritt ~60%, ease-in.
- Goldene Regel: Nichts stoppt vollständig – ein gehaltetes Element driftet langsam 1 → 1,02; die Kamera hat durchgehenden Micro-Push.
- Elemente in einer Gruppe haben 2–4 Frames Offset; die nächste Bewegung beginnt, bevor die vorherige endet (letzte ~20%).
- Kamerabewegung easy-ease, ≥ 0,8 s. Klick – 1 → 0,96 → 1 press, Cursor mit Bezier-Bogen und kleinem Overshoot.
- Sagt der Benutzer „keine animierten Zooms / Kamerabewegungen“:
"camera": {"style": "cut", "microPush": 0}– Frame stabil, Zustandswechsel reiner Schnitt.
Bekannte Probleme
- Remotion „Target closed" /
icudtl.dat not found: chrome-headless-shell startet manchmal nicht (z. B. wenn der Pfad kyrillische Zeichen enthält oder innerhalb vonnode_modules/.remotion). Lösung: Browsersuffix in einen ASCII-Pfad kopieren (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) undexport REMOTION_BROWSER=~/.cache/remotion-chrome/<ordner>/chrome-headless-shellsetzen. - Im Claude Code Sandbox kann Chrome hängen bleiben – Rendering außerhalb des Sandboxes durchführen.
- Schriftarten werden nicht aus dem Netz, sondern aus
public/fonts/geladen (Google Fonts kann beim Rendern ausfallen). - Um zu vermeiden, dass der Videostream überschritten wird:
DURATION = floor(duration × fps).