script-to-video · Text → vertikales Kurzerklärvideo
Drei Grundsätze, zu denen alle Entscheidungen zurückkehren:
- Deterministische Zeitleiste: Animationen sind reine Funktionen
setTime(t)– zum gleichen Zeitpunkt wird immer das gleiche Bild gerendert. Dies ermöglicht beliebiges Springen zur Überprüfung, parallele Screenshots in mehreren Abschnitten, beweisbare Schleifen und eine Änderung einer Konstanten für die gesamte Geschwindigkeitsänderung. - Die tatsächliche Länge der Sprachaufnahme treibt die Zeitleiste: Zuerst die Sprachaufnahme machen, die Dauer jedes Satzes messen, dann die Szenengrenzen festlegen – Bild und Ton sind von Natur aus synchron, keine ASR-Abgleich erforderlich.
- Die Augen des Benutzers sollten nicht die erste Qualitätskontrolle sein: Programmatische Prüfungen (Überschreitungen/Überlappungen) auf Null zu bringen, ist eine Vorbedingung für Screenshots. Die Sichtprüfung von Schlüsselbildern ist die letzte Tür für die Ästhetik.
Ablauf (neun Schritte, bei Nichtbestehen eines Schrittes Rücksprung zur vorherigen Stufe)
Text ─▶ ① Datenverfassung ─▶ ② Text + Untertitel-Blöcke ─▶ ③ Sprachaufnahme (tatsächliche Dauer)
─▶ ④ Zeitleisten-Sync ─▶ ⑤ Animation anim.html ─▶ ⑥ Doppelte Prüfung auf Null + Sichtprüfung Schlüsselbilder
─▶ ⑦ Musik + Mischung + Mastering ─▶ ⑧ Frame-für-Frame-Screenshots → Codierung → Synthese ─▶ ⑨ Sieben Prüfungen → Auslieferung
① Datenverfassung
Das gesamte Skript durchlesen und alle Zahlen/Fakten/Personennamen, die im Video erscheinen sollen, in einer Liste festschreiben (in shots/facts.md). Danach dürfen alle Bilder, Texte und Untertitel nur aus dieser Liste zitieren, keine Ad-hoc-Ergänzungen.
- Nachweisbare Zahlen vergrößern, nicht nachweisbare Details auslassen (lieber weniger Information als falsche Information).
- Jede Zahl nur einmal nennen, am emotionalen Höhepunkt.
- Zahlen müssen mit einem „Ereignis“ erscheinen: begleitendes Zeichnen/Wachstum, synchrones Zählen, herabfallen.
② Text und Untertitel-Blöcke
Das Sprechertext-Skript schreiben (shots/vo_lines.json): ein Satz pro Zeile, jeder Satz 4–12 Sekunden, insgesamt 8–16 Sätze.
- Die ersten 5 Sekunden entscheiden über die Vollendung: Geld/Konflikt/Spannung – eines der drei in den ersten Satz packen (z.B. „Was, wenn ich dir X gebe, um eine Straße zu bauen – würdest du es annehmen?“).
- Strukturreferenz: Haken → Problem → Ablehnung → Lösung → Überprüfung → Abrechnung → Person → Abschluss (kürzbar).
- Für jeden Satz manuell die Untertitel-Blöcke angeben (
"cues": [...], einzelner Block ≤ 18 Zeichen), stabiler als maschinelles Schneiden nach Satzzeichen.
③ Sprachaufnahme
python templates/vo_tts.py (Standard: edge-tts, kostenlos; bei lokaler GPU kann auf Stimmklon-Modell gewechselt werden, siehe references/audio.md). Jeder Satz gibt eine Wav-Datei + tatsächliche Dauer in audio/vo/vo_dur.json aus.
- Chinesische Zahlen/Jahreszahlen Zeichen für Zeichen umschreiben (2022 → 二零二二); Dezimalpunkt in „Punkt“ umwandeln.
- TTS gelegentlich leere Antworten: Skript muss Wiederholungen + Fortsetzung an Unterbrechungspunkten unterstützen.
④ Zeitleisten-Synchronisation
python templates/sync.py: Szenendauer = 0,25s Vorlauf + Satzlänge + Endatmung (0,5–1,9s), automatisch TL (Zeitleiste), CUES (Untertitel) zurück in anim.html schreiben und shots/timeline.json für die Musikmischung generieren. Nach Austausch der Sprachaufnahme muss der Schritt wiederholt werden, mit Skalierung der VO-Aktionszeitpunkte innerhalb der Szene nach dem Verhältnis der alten zur neuen Dauer.
⑤ Animation
templates/anim.html kopieren und Szenen anpassen. Grundgerüst enthält: Blaupausen-Designsystem, Hilfsfunktionen, Prüfungsfunktionen, Scanline-Übergänge, Untertitelebene, 3 Beispielszenen. Kernmuster:
- Jede Szene
defscene(id, cam=>{...; return (t,d)=>{...}}), render ist eine reine Funktion. - Zwei Bewegungsebenen: Hauptaktion (Linien zeichnen / herabfallen lassen) + Dauerhafte Ebene (gestrichelte Linie / Schweben / Pulsieren).
- Kamera hat immer 1,4%–3% sanften Zoom – das Bild ist kein Standbild.
- „Alt raus, neu rein“: Alte Elemente vollständig abtreten lassen, bevor neue erscheinen, keine überlappende Überlagerung.
- Visuelle Richtlinien und Bewegungssprache: references/design-system.md und references/motion.md lesen.
⑥ Prüfung + Sichtkontrolle (Qualitätstor, nicht überspringbar)
Im Browser auditText() (Textüberläufe) und auditOverlap() (Elementüberlappungen) ausführen, auf Null bringen vor Screenshots. Die Prüfung erfasst nicht „hässlich“: Von jeder Szene den Frame mit dem Spitzeninhalt per Screenshot sichtprüfen (Textbeschneidung / Kompositionslücken / Stilfarbabweichungen / Grafikformen), Defekte sofort beheben. Bei designbedingten Überlappungen dem Element data-okov="1" hinzufügen, um es freizustellen.
⑦ Ton
python templates/music.py programmatisch leichte Hintergrundmusik synthetisieren (kein Urheberrechtsrisiko); oder eigene Musikstücke verwenden (Urheberrecht beachten).
python templates/mix.py: VO auf RMS normalisieren → Musik mit Ducking (bei Sprachpassagen leiser) → Soundeffekte nur Akzente (pro Szene ≤2 Thud, keine Whoosh-Untermalung – Soundeffekte sind Satzzeichen, keine Hintergrundmusik) → Eigene Spitzenhüllkurvenbegrenzung → ffmpeg loudnorm zwei Durchgänge auf -14 LUFS / TP -1,5.
⑧ Rendern
python templates/shoot.py 0 <dur> a --html anim.html # ×N Segmente parallel
python templates/render.py # Codieren → letzter Frame prüfen → zusammenfügen → synthetisieren
Playwright Frame-für-Frame-Screenshots (device_scale_factor=2, JPEG q93) → Segmente x264 crf19 → Letzten Frame jedes Segments gegen Quellbild prüfen (RMS<8, fehlerhafte Segmente abfangen) → concat → Video+Audio-Synthese (pan explizit auf Stereo kopieren, +faststart).
⑨ Sieben Prüfungen
python templates/check.py: Nahtlose Schleife (erster/letzter Frame RMS<5) · Tonspur vorhanden · Untertitel-Sichtbarkeit · Stilfarb-Reihenfolge (pro Frame B>G>R, um Farbverschiebung zu verhindern) · Leere Frames · Größe/Dauer · faststart. Nur bei vollständig bestandenem Test ausliefern.
Auslieferungsgegenstand: Fertiges mp4 + srt-Untertitel + Veröffentlichungstext (Titel ≤15 Zeichen / einzeilige Kurzbeschreibung / Tags).
Umgebung
python 3.10+, pip install playwright numpy soundfile pillow edge-tts
playwright install chromium
ffmpeg (im PATH verfügbar)
Verzeichnisvereinbarung (pro Projekt)
<project>/
├── shots/vo_lines.json # Text + Untertitel-Blöcke (einzige Inhaltsquelle)
├── shots/facts.md # Datenverfassung
├── shots/timeline.json # Von sync.py generiert, für Musikmischung
├── tools/web/anim.html # Animation (von templates/anim.html kopiert und angepasst)
├── audio/vo|music|mix/ # Ton
└── out/ # Frames, Segmente, fertiges Video
Rote Linien
- Nicht erfinden: Daten, Personen, Ereignisse müssen eine Quelle haben;
[zu überprüfen]wird nicht gelöscht, bevor die Sprachaufnahme erfolgt. - Rot nur für „Entscheidungs“-Bedeutungen (Ablehnung/Abnahme-Siegel), niemals als Dekoration.
- Verwendung externer Musik erst nach Genehmigung; standardmäßig programmatisch synthetisierte Musik verwenden.
- Bei realen Personen/Unternehmen mit Nachnamen und Zahlen vor der Auslieferung jeden Punkt mit der Datenverfassung abgleichen.
Referenzen
| Datei | Inhalt |
|---|---|
| references/design-system.md | Visuelles System: Farbdisziplin, drei Schriftgrade, Bildunterschriften, Zeichengrammatik |
| references/motion.md | Bewegungssprachkatalog: Wann welche Bewegung mit welchen Parametern |
| references/audio.md | Ton-Pipeline: TTS-Auswahl, Mischformel, Mastering-Ziele |
| references/pitfalls.md | Fehlerliste (nach Kosten sortiert – bei Problemen zuerst hier nachschlagen) |
| templates/ | Direkt ausführbares Grundgerüst und Pipeline-Skripte |