Sprach-↔-Video-Synchronisation
Regel null: Die Tonspur gibt den Takt vor. Das Bild wird an der gemessenen Audiospur ausgerichtet, niemals an geschätzten Dauern.
1. Erzählung schreiben
- Beginne mit der Situation des Betrachters, nicht mit einer Definition. Eine Handlungslinie; Ursache vor Wirkung.
- Konvertiere Zahlen in eine fühlbare Skala („die Größe eines Telefonbuchs“, nicht „3,2 MB“).
- Metaphern müssen Gewicht haben; der Erzähler hat einen Standpunkt.
- Beschreibe nicht, was das Bild bereits zeigt; sage, was das Bild nicht zeigen kann.
- Beende mit einem Rückgriff auf den Anfang. Kapitelübergänge übergeben: Die letzte Zeile von Kapitel N bereitet die erste Zeile von N+1 vor.
- Budgetiere nach Sprechgeschwindigkeit: Englisch ≈ 125–150 Wörter/min (TTS-Stimmen variieren – eine Probe messen); Portugiesisch ≈ 140–160 Wörter/min; Chinesisch ≈ 4–5,5 Zeichen/s.
Format für die Skriptdatei (ein Absatz = eine Einstellung, | trennt Untertitelblöcke):
# KAPITEL 1 Warum Karten lügen
Jede Karte, die du gesehen hast | wurde von jemandem gezeichnet | mit einem Grund.
Mercator wollte, dass Seeleute | einen geraden Kurs halten.
## gap 0.6
## gap <Sekunden> fordert eine Pause von mindestens dieser Länge nach dem Absatz an (Verweildauer für das letzte Bild). Erzeuge sie im Audio – SSML <break time="600ms"/> für TTS oder eingefügte Stille beim Zusammenfügen von Absatzdateien. Das Timeline-Tool verschiebt niemals Timings; es überprüft die Pause.
2. Skript sperren
Zeige das vollständige Skript mit Wortanzahl und geschätzter Dauer an und hole eine explizite „Genehmigt“-Bestätigung ein. Nach der Sperre werden alle Timings vom Audio abgeleitet; eine Wortänderung verschiebt alle nachfolgenden Einstellungen.
3. Sprache produzieren
- TTS (Standard, wenn keine Aufnahme): Frage den Benutzer nach einer bevorzugten Engine/Stimme. Das Senden von Text an einen Cloud-TTS (ElevenLabs, Azure, OpenAI, Google, edge-tts) teilt das Skript mit diesem Anbieter – vorher bestätigen. Lokale Optionen (Kokoro, Piper) bleiben auf der Maschine.
- Aufgenommene VO: Akzeptiere WAV 48 kHz. Schneide Stille ab, lasse Atemgeräusche natürlich, normalisiere später im Mix.
- Behalte entweder eine Datei pro Absatz oder eine Hauptdatei plus Zeitstempel; beide funktionieren mit dem Timeline-Tool.
4. Zeitstempel abrufen
Verwende Wort- oder Segment-Zeitstempel aus der TTS-API-Antwort oder führe eine Forced-Alignment des Audios mit dem Skript durch (WhisperX, whisper-timestamped, stable-ts oder Whisper mit word_timestamps=True). Normalisiere sie in folgendes JSON:
{"segments": [{"text": "Jede Karte, die du gesehen hast", "start": 0.00, "end": 1.42,
"words": [{"word": "Jede", "start": 0.00, "end": 0.21}]}]}
5. Timeline erstellen
python3 <plugin-root>/scripts/build_timeline.py words.json --script script.txt --fps 30 \
--out-dir timeline/ --max-chars 42 --min-dwell 1.0
Erzeugt timeline.json (Einstellungen mit Start-/End-Frames, Untertitelblöcken, Kapitelstarts), captions.srt, captions.vtt und Warnungen für: Skriptwörter, die im Audio fehlen (oder Audiowörter, die im Skript fehlen), zu lange oder zu schnelle Untertitel zum Lesen, Einstellungen, deren letzter Untertitel weniger als --min-dwell Sekunden vor der nächsten Einstellung endet (füge eine Pause im Audio hinzu oder führe zusammen), angeforderte ## gap-Pausen, die das Audio nicht enthält, und Stille länger als 3 s. Wörter, die ein Forced-Aligner nicht zeitlich zuordnen konnte (häufig bei Zahlen in WhisperX), werden zwischen ihren Nachbarn interpoliert. Speise timeline.json in die Komposition ein; tippe niemals Rahmenzahlen von Hand.
6. Untertitel-Regeln
- ≤42 Zeichen pro Zeile, ≤2 Zeilen, ≥1,0 s auf dem Bildschirm, ≈17 Zeichen/s Lesegeschwindigkeit maximal.
- Trenne an Satzgrenzen, niemals zwischen Artikel und Nomen.
- Halte Untertitel außerhalb der unteren Plattform-UI-Zone im 9:16-Format und fern von Text auf dem Bildschirm-UI.
- Eingebrannte Untertitel für soziale Medien; Sidecar-SRT/VTT für YouTube und Web-Player.
7. Mix
| Ebene | Zielwert |
|---|---|
| Integrierte Lautheit (final) | −14 LUFS für soziales Netz/Web (−16 akzeptabel); −23 LUFS für Rundfunk |
| True Peak | ≤ −1 dBTP |
| Musik unter VO | ducke 8–12 dB während Sprache vorhanden ist, 150–300 ms Attack/Release |
| SFX | ≈10 dB unter Musik; am verursachenden Frame, nicht danach |
Messe mit <plugin-root>/scripts/qc.sh loudness final.mp4 (füge -23 für Rundfunk hinzu). Wenn HyperFrames-Audio-Skills installiert sind, bietet hyperframes-audio Ducking („Voiceover-Carve“), EQ und Automation innerhalb der Komposition; andernfalls verwende FFmpeg sidechaincompress und loudnorm (zwei Durchgänge).
8. Vorschau-Checkpoint
Rendere die ersten ≤30 s mit Stimme, Untertiteln und Musik und frage: „Stimme, Tempo, Untertitelgröße und Rhythmus – okay?“ Eine Tempowechsel nach diesem Punkt bedeutet, dass TTS erneut ausgeführt und alles neu getimt werden muss.