Vox-artige Erklärvideo-Pipeline
Erstellen Sie ein komplettes, vertontes, untertitteltes und mit Musik unterlegtes Erklärvideo aus einem einzigen Thema. Die Pipeline läuft in sechs Phasen, von denen jede Artefakte produziert, die die nächste Phase benötigt. Das Voiceover wird VOR der Animation generiert, da die VO-Dauer alle Timing-Entscheidungen bestimmt.
THEMA → 1.Skript → 2.Voiceover → 3.Keyframes → 4.Animation → 5.Musik → 6.Montage
(Claude) (xAI TTS) (Seedream) (Omni Flash) (MiniMax) (ffmpeg)
Voraussetzungen
ATLASCLOUD_API_KEY-Umgebungsvariable gesetzt (erhalten Sie einen unter atlascloud.ai – kostenlose Credits bei der Anmeldung)ffmpegundffprobeinstalliert (mit libass für das Einbrennen von Untertiteln)- Python 3.10+ mit
requests - ~3–8 $ an API-Credits pro 60-Sekunden-Film (siehe Kostentabelle in
references/atlas-cloud-api.md)
Überprüfen Sie vor dem Tätigen von API-Aufrufen die aktuellen Endpunkt-Pfade und Modell-IDs unter https://www.atlascloud.ai/docs – Medienmodell-APIs entwickeln sich schnell weiter. Die Muster in references/atlas-cloud-api.md wurden im Juli 2026 überprüft.
Projektstruktur
Erstellen Sie dieses Layout für jeden Film und behalten Sie es bei – jede Phase liest daraus und schreibt hinein:
projekt/
├── brief.md # Thema, Blickwinkel, Ziellänge, Zielgruppe
├── script.json # Beats mit Erzähltext, Shot-Beschreibungen, Untertiteln
├── audio/
│ ├── vo/ # beat_01.mp3 ... beat_NN.mp3
│ ├── vo_durations.json
│ └── music.mp3
├── frames/ # keyframe_01.png ... style_anchor.png
├── clips/ # clip_01.mp4 ... (stumme animierte Clips)
├── subs/ # captions.ass
└── final/ # film.mp4
Phase 1 – Skript
Sie schreiben dies selbst. Kein API-Aufruf. Dies ist die Phase, die die Qualität am meisten bestimmt – ein großartiges Skript mit durchschnittlichen Bildern schlägt das Gegenteil.
Lesen Sie references/vox-style-guide.md (Abschnitt Schreiben) vor dem Entwurf. Kernregeln:
- Struktur als Beats. Ein Beat = ein Erzählabsatz (1–3 Sätze, 8–14 Sekunden gesprochen) + ein Bild. Ein 60-Sekunden-Film hat 6–8 Beats; 3 Minuten haben 16–22 Beats.
- Vox-Erzählbogen: Kaltstart-Hook (eine überraschende konkrete Tatsache oder Frage) → Kontext („um X zu verstehen, muss man zurückgehen zu...“) → sich steigernde Erklärung mit einem klaren roten Faden → Komplikation oder Wendung → Auflösung, die den Hook neu einrahmt.
- Stimme: Zweite Person willkommen („Sie haben wahrscheinlich schon gesehen...“), Präsens für historische Erzählung, konkrete Zahlen statt Abstraktionen, kurze Aussagesätze. Kein Räuspern, kein „in diesem Video werden wir."
- Eine Idee pro Beat. Wenn ein Satz ein zweites Konzept einführt, teilen Sie den Beat.
Schreiben Sie script.json:
{
"title": "Tang-Goldzeitalter",
"topic": "Wie das China der Tang-Dynastie die größte Stadt der Welt baute",
"style_seed": "Mixed-Media-Papiercollage, Tuschewäsche-Chinesische Berge, Zinnoberrot und gealterte Cremepalette",
"accent_color": "#C0392B",
"beats": [
{
"id": 1,
"narration": "Im siebten Jahrhundert baute das Tang-China Chang'an – die größte, reichste Stadt der Erde. Die ganze Welt kam zu ihren Toren.",
"visual": "Kaiser Taizong thront in der Mitte als Papierausschnitt, Hofleute flankieren ihn, Pagoden und Tuschewäsche-Berge im Hintergrund, roter Siegelstempel oben rechts mit der Aufschrift 盛唐",
"caption_text": null,
"motion": "langsames Heranzoomen auf den Kaiser, Wolken ziehen nach links, subtile Parallaxe zwischen den Ausschnittebenen"
}
]
}
caption_text ist für kinetische Typografie-Momente auf dem Bildschirm (eine wichtige Statistik oder ein Begriff) – die meisten Beats lassen ihn null; Erzählungs-Untertitel werden bei der Montage behandelt. motion wird zum Animations-Prompt in Phase 4.
Phase 2 – Voiceover (xAI TTS v1)
Generieren Sie eine Audiodatei pro Beat und messen Sie dann die Dauern. Diese Dauern sind die Master-Uhr für den gesamten Film.
Rufen Sie den Atlas Cloud Audio-Endpunkt pro Beat auf (Modell: xAI TTS v1 – siehe references/atlas-cloud-api.md für die genaue Anfrageform und Stimmauswahl-Anleitung). Wählen Sie EINE Stimme für den gesamten Film. Vox-Register: gemessen, warm, leicht ironisch – vermeiden Sie „Filmtrailer“-Stimmen.
Nach der Generierung untersuchen Sie jede Datei und schreiben Sie audio/vo_durations.json:
ffprobe -v error -show_entries format=duration -of csv=p=0 audio/vo/beat_01.mp3
{"beats": [{"id": 1, "file": "audio/vo/beat_01.mp3", "duration": 9.83}], "total": 61.2}
Prüfen Sie die Gesamtlänge gegen die Vorgaben im Brief. Wenn ein Beat zu lang läuft, kürzen Sie den Erzähltext und generieren Sie nur diesen Beat neu.
Phase 3 – Keyframes (Seedream 5.0 Pro)
Ein Keyframe pro Beat, alle in einem einheitlichen visuellen Stil. Konsistenz ist das schwierige Problem; lösen Sie es mit dem Style-Anchor-Muster:
- Generieren Sie den Anchor. Verwenden Sie
bytedance/seedream-v5.0-pro/text-to-imagefür Beat 1 (normalerweise der Titel/Hook-Frame). Bauen Sie das Prompt aus dem Style-Block inreferences/vox-style-guide.md(Abschnitt Visuelle Grammatik) + demvisualdes Beats + demstyle_seedund deraccent_colordes Films. Fordern Sie 16:9, 2K an. - Überprüfen Sie den Anchor, bevor Sie fortfahren. Generieren Sie neu, bis der Stil stimmt – jeder andere Frame erbt ihn.
- Generieren Sie die restlichen Frames mit dem Edit-Modell. Verwenden Sie
bytedance/seedream-v5.0-pro/editmit dem Anchor als Referenzbild (bis zu 10 Referenzen unterstützt; Anchor + optional der vorherige Frame). Prompt: „Behalten Sie den genauen Kunststil, die Palette, die Papiercollagen-Behandlung und die Randrahmung der Referenz bei. Neue Szene: {beat.visual}"
Dies verankert Palette, Textur und Rahmung im gesamten Film, wie es ein menschlicher Art Director tun würde.
Jedes Prompt sollte mit dem Style-Suffix enden (siehe Style-Guide), das den Vox-Look kodiert: Papierausschnitte mit weißen Rändern, Halbtonpunkte, Klebestreifen, kräftige flache geometrische Akzente, großzügige Ränder, einzelne Akzentfarbe.
Frames mit gesetztem caption_text: Weisen Sie Seedream an, den Text in einer kräftigen, schmalen serifenlosen Schriftart darzustellen, da die Typografie-Wiedergabe von Seedream 5.0 Pro stark ist. Halten Sie es unter 5 Wörtern pro Frame.
Phase 4 – Animation (Gemini Omni Flash)
Animieren Sie jedes Keyframe über Bild-zu-Video zu einem Clip. Ziel-Clip-Dauer = VO-Dauer des Beats + 0,5 s Spielraum (auf die unterstützten Inkremente des Modells aufrunden).
Bewegungs-Prompts für die Collagen-Ästhetik sollten SUBTIL sein – das ist der häufigste Fehlermodus. Der Vox-Look ist „Bewegungsgrafik“, nicht „Filmmaterial“. Gute Bewegungsvokabeln:
- langsames Heranzoomen / Herauszoomen (2D-Kamera, kein 3D-Dolly)
- Parallaxe-Verschiebung zwischen Ausschnittebenen
- Wolken/Rauch, die seitlich ziehen
- Papierelemente, die vom Bildrand hereingleiten und sich setzen
- Halbtonpunkte oder Textur, die sanft schimmern
- ein einzelnes Element, das animiert (Fahne weht, Wasser kräuselt sich), während alles andere stillhält
Verbieten Sie in jedem Prompt ausdrücklich: „keine Kameraverwacklung, keine 3D-Rotation, keine Verformung von Gesichtern oder Text, kein Stildrift, Elemente bleiben flache Papierausschnitte."
Polling Sie jede Generierungsaufgabe bis zum Abschluss ab und laden Sie sie nach clips/clip_NN.mp4 herunter. Generierungen fallen manchmal aus oder driften ab – überprüfen Sie jeden Clip; generieren Sie alle neu, bei denen Text verzerrt wird oder der Stil bricht. Planen Sie ~15 % Neugenerierung ein.
Phase 5 – Musik (MiniMax Music 2.6)
Ein instrumentaler Hintergrund für den gesamten Film. Fordern Sie is_instrumental: true an – Gesang stört den Erzähltext.
Prompt-Formel: {Stimmung} {genre-angrenzende Textur}, {Tempo}, {Instrumentierung}, {Bogen}. Beispiel für ein Geschichtsstück: „kontemplativer cineastischer Untergrund, Filzklavier und weiche Streicher mit leichtem Percussion-Puls, 90 bpm, baut sich allmählich von spärlich zu voll auf, dokumentarischer Stil". Passen Sie die Instrumentierung an das Thema an (Guzheng/Dizi-Texturen für das Tang-Stück; analoger Synth-Puls für ein Technologie-Thema).
Music 2.6 generiert Lieder mit fester Länge; wenn der Track kürzer als der Film ist, loopen Sie ihn bei der Montage mit einem Crossfade; wenn er länger ist, kürzen Sie ihn mit einem Fade-Out. Lassen Sie niemals zu, dass der Musikbogen gegen den Filmbogen kämpft – ein Drop in der Mitte des Tracks, der auf einen ruhigen Beat fällt, ist störend. Hören Sie sich das Ergebnis daher gegen die Form des Films an.
Phase 6 – Montage (ffmpeg, lokal)
Lesen Sie references/ffmpeg-assembly.md für vollständige Rezepte. Die Sequenz:
- Passen Sie jeden Clip an die VO-Dauer seines Beats an (trimmen oder letztes Frame halten), normalisieren Sie auf 1920x1080 30fps.
- Verbinden Sie die Clips in der Reihenfolge.
- Erstellen Sie die VO-Spur, indem Sie die Beat-Audios mit 0,5 s Lücken verbinden, die dem Video-Timing entsprechen.
- Generieren Sie
subs/captions.assaus dem Skript – Vox-artige eingebrannte Untertitel: fette serifenlose Schrift, weiß mit schwerem schwarzem Rand, unten zentriert, max. 2 Zeilen, teilen Sie die Erzählung an Satzglied-Grenzen und timen Sie jeden Abschnitt innerhalb seines Beat-Fensters. - Mischen Sie Audio: VO auf voller Lautstärke, Musik auf -12 bis -15 dB unter der Erzählung abgesenkt (Sidechain-Kompression oder eine einfache Lautstärkeautomatisierung – Rezepte in der Referenz).
- Brennen Sie Untertitel + Attribution („Erstellt mit ...“ klein unten rechts, falls gewünscht) und kodieren Sie: H.264, CRF 18, AAC 192k,
-movflags +faststart.
Abschließende Qualitätskontrolle vor der Auslieferung: Achten Sie auf (a) Untertitel-/VO-Synchronisationsdrift, (b) Musik, die die Erzählung überdeckt, (c) einen Clip, dessen Bewegung sichtbar loopt, (d) Stildrift zwischen Frames. Beheben Sie Probleme in der Phase, in der sie entstanden sind, nicht mit Montage-Hacks.
Orchestrierungshinweise
- Führen Sie die Phasen beim ersten Mal streng in der Reihenfolge aus; danach kann jede Phase isoliert erneut ausgeführt werden, da alle Zustände in den Projektdateien leben.
- Die API-Generierung ist langsam (Videoclips: 1–4 Min. pro Stück). Reichen Sie alle Animationsaufgaben gleichzeitig ein und pollten Sie dann – serialisieren Sie nicht.
- Führen Sie jedes gesendete Prompt in einer
prompts.log-Datei – Reproduzierbarkeit ist wichtig und Benutzer werden einzelne Beats anpassen und neu generieren wollen. - Die Kosten skalieren linear mit der Anzahl der Beats. Nennen Sie dem Benutzer vor Phase 3 (der ersten kostenintensiven Phase) eine ungefähre Kostenschätzung:
Beats × ($0,10 Bild + ~$1,20 pro 10-s-Clip) + ~$0,50 Audio.
Referenzen
references/vox-style-guide.md– vor Phase 1 und Phase 3 lesen. Die visuelle Grammatik, die Schreibstimme und die Prompt-Vorlagen.references/atlas-cloud-api.md– vor Phase 2 lesen. Endpunkte, Modell-IDs, asynchrones Aufgabenmuster, Polling-Code, Kosten.references/ffmpeg-assembly.md– vor Phase 6 lesen. Anpassen, Verbinden, Untertitel, Ducking und Kodierungsrezepte.