atharhive/vox-explainer

Vox-inspirierte Erklärvideo-Pipeline

Produzieren Sie ein komplettes, erzähltes, untertiteltes und vertontes Erklärvideo aus einem einzigen Thema. Die Pipeline durchläuft sechs Stufen, die jeweils Artefakte für die nächste Stufe erzeugen. Voiceover wird VOR der Animation generiert, da die VO-Dauer alle Timing-Entscheidungen steuert.

THEMA → 1.Skript → 2.Voiceover → 3.Keyframes → 4.Animation → 5.Musik → 6.Zusammenbau
         (Claude)   (xAI TTS)    (Seedream)    (Omni Flash)  (MiniMax)  (ffmpeg)

Voraussetzungen

• ATLASCLOUD_API_KEY Umgebungsvariable gesetzt (erhältlich unter atlascloud.ai – kostenlose Credits bei Registrierung)
• ffmpeg und ffprobe installiert (mit libass für das Einbrennen von Untertiteln)
• Python 3.10+ mit requests
• ~3–8 $ API-Guthaben pro 60-Sekunden-Film (siehe Kostentabelle in references/atlas-cloud-api.md)

Prüfen Sie vor jedem API-Aufruf die aktuellen Endpunkt-Pfade und Modell-IDs unter https://www.atlascloud.ai/docs – Media-Modell-APIs entwickeln sich schnell. Die Muster in references/atlas-cloud-api.md wurden im Juli 2026 verifiziert.

Projektstruktur

Legen Sie dieses Layout für jeden Film an und behalten Sie es bei – jede Stufe liest daraus und schreibt hinein:

projekt/
├── brief.md                  # Thema, Blickwinkel, Ziellänge, Zielgruppe
├── script.json               # Beats mit Erzählung, Shot-Beschreibungen, Untertiteln
├── audio/
│   ├── vo/                   # beat_01.mp3 ... beat_NN.mp3
│   ├── vo_durations.json
│   └── music.mp3
├── frames/                   # keyframe_01.png ... style_anchor.png
├── clips/                    # clip_01.mp4 ... (stumm animierte Clips)
├── subs/                     # captions.ass
└── final/                    # film.mp4

Stufe 1 – Skript

Dies schreiben Sie selbst. Kein API-Aufruf. Diese Stufe bestimmt die Qualität am meisten – ein gutes Skript mit durchschnittlichen Bildern schlägt das Gegenteil.

Lesen Sie references/vox-style-guide.md (Abschnitt Schreiben) vor dem Entwurf. Kernregeln:

1. Struktur als Beats. Ein Beat = ein Erzählabsatz (1–3 Sätze, 8–14 Sekunden gesprochen) + ein Bild. Ein 60-Sekunden-Film hat 6–8 Beats; 3 Minuten haben 16–22 Beats.
2. Vox-Erzählbogen: Cold-Open-Hook (eine überraschende konkrete Tatsache oder Frage) → Kontext („um X zu verstehen, müssen wir zurück zu...“) → eskalierende Erklärung mit einem klaren roten Faden → Komplikation oder Wendung → Auflösung, die den Hook neu einrahmt.
3. Stimme: Du-Form („Sie haben wahrscheinlich schon gesehen...“), Präsens für historische Erzählung, konkrete Zahlen statt Abstraktionen, kurze Aussagesätze. Kein Räuspern, kein „in diesem Video werden wir“.
4. Eine Idee pro Beat. Wenn ein Satz ein zweites Konzept einführt, teilen Sie den Beat.

Schreiben Sie script.json:

{
  "title": "Tang Goldenes Zeitalter",
  "topic": "Wie das China der Tang-Dynastie die größte Stadt der Welt baute",
  "style_seed": "Mixed-Media-Paper-Collage, Tusche-wasch-Chinesische Berge, Zinnoberrot und Altcreme-Palette",
  "accent_color": "#C0392B",
  "beats": [
    {
      "id": 1,
      "narration": "Im siebten Jahrhundert baute das Tang-China Chang'an – die größte, reichste Stadt der Erde. Die ganze Welt kam zu ihren Toren.",
      "visual": "Kaiser Taizong thront in der Mitte als Papierausschnitt, Hofleute flankieren ihn, Pagoden und Tusche-wasch-Berge im Hintergrund, roter Siegelstempel oben rechts mit der Aufschrift 盛唐",
      "caption_text": null,
      "motion": "Langsamer Push-In auf den Kaiser, Wolken ziehen nach links, subtile Parallaxe zwischen den Ausschnittebenen"
    }
  ]
}

caption_text ist für On-Screen-Kinetische-Typographie-Momente (eine Schlüsselstatistik oder ein Begriff) – die meisten Beats lassen ihn null; Erzähluntertitel werden beim Zusammenbau behandelt. motion wird zum Animations-Prompt in Stufe 4.

Stufe 2 – Voiceover (xAI TTS v1)

Erzeugen Sie eine Audiodatei pro Beat, messen Sie dann die Dauern. Diese Dauern sind die Master-Clock für den gesamten Film.

Rufen Sie den Atlas-Audio-Endpunkt pro Beat auf (Modell: xAI TTS v1 – siehe references/atlas-cloud-api.md für die genaue Request-Form und Stimmauswahl). Wählen Sie EINE Stimme für den gesamten Film. Vox-Register: gemessen, warm, leicht ironisch – vermeiden Sie „Kino-Trailer“-Stimmen.

Nach der Generierung prüfen Sie jede Datei und schreiben audio/vo_durations.json:

ffprobe -v error -show_entries format=duration -of csv=p=0 audio/vo/beat_01.mp3

{"beats": [{"id": 1, "file": "audio/vo/beat_01.mp3", "duration": 9.83}], "total": 61.2}

Prüfen Sie die Gesamtlänge gegen das Briefing. Wenn ein Beat zu lang ist, straffen Sie die Erzählung und generieren Sie nur diesen Beat neu.

Stufe 3 – Keyframes (Seedream 5.0 Pro)

Ein Keyframe pro Beat, alle in einem einheitlichen visuellen Stil. Konsistenz ist das schwierige Problem; lösen Sie es mit dem Style-Anchor-Muster:

1. Erzeugen Sie den Anchor. Verwenden Sie bytedance/seedream-v5.0-pro/text-to-image für Beat 1 (normalerweise der Titel-/Hook-Frame). Bauen Sie den Prompt aus dem Style-Block in references/vox-style-guide.md (Abschnitt Visuelle Grammatik) + dem visual des Beats + dem style_seed des Films und der accent_color. Fordern Sie 16:9, 2K an.
2. Überprüfen Sie den Anchor vor dem Fortfahren. Generieren Sie neu, bis der Stil stimmt – jeder andere Frame erbt ihn.
3. Generieren Sie die restlichen Frames mit dem Edit-Modell. Verwenden Sie bytedance/seedream-v5.0-pro/edit mit dem Anchor als Referenzbild (bis zu 10 Referenzen unterstützt; Anchor + optional der vorherige Frame). Prompt: „Behalten Sie den exakten Kunststil, die Palette, die Papiercollage-Behandlung und die Randumrahmung der Referenz bei. Neue Szene: {beat.visual}"

Dies verriegelt Palette, Textur und Rahmung über den gesamten Film hinweg, wie es ein menschlicher Art Director tun würde.

Jeder Prompt sollte mit dem Style-Suffix enden (siehe Style-Guide), das den Vox-Look kodiert: Papierausschnitte mit weißen Rändern, Halbtonpunkte, Klebestreifen, kräftige flache geometrische Akzente, großzügige Ränder, einzelne Akzentfarbe.

Frames mit gesetztem caption_text: Weisen Sie Seedream an, den Text in einer kräftigen, komprimierten serifenlosen Schrift darzustellen, da Seedream 5.0 Pro stark in der Typographie-Rendering ist. Bleiben Sie unter 5 Wörtern pro Frame.

Stufe 4 – Animation (Gemini Omni Flash)

Animieren Sie jedes Keyframe in einen Clip via Bild-zu-Video. Ziel-Clip-Dauer = VO-Dauer dieses Beats + 0,5 s Luft (auf die vom Modell unterstützten Schritte aufrunden).

Bewegungs-Prompts für die Collage-Ästhetik sollten SUBTIL sein – dies ist der häufigste Fehlermodus. Der Vox-Look ist „Bewegungsgrafik“, nicht „Footage“. Gutes Bewegungsvokabular:

• langsamer Push-In / Pull-Out (2D-Kamera, keine 3D-Dolly)
• Parallax-Drift zwischen Ausschnittebenen
• Wolken/Rauch seitlich driftend
• Papierelemente, die vom Bildschirmrand hereingleiten und sich setzen
• Halbtonpunkte oder Textur, die sanft schimmern
• ein einzelnes Element, das sich bewegt (Flagge weht, Wasser kräuselt sich), während alles andere still hält

Verbieten Sie explizit in jedem Prompt: „keine Kamera-Verwacklung, keine 3D-Rotation, kein Verformen von Gesichtern oder Text, kein Stil-Drift, Elemente bleiben flache Papierausschnitte."

Überwachen Sie jede Generierungsaufgabe bis zum Abschluss und laden Sie sie nach clips/clip_NN.mp4 herunter. Generationen schlagen manchmal fehl oder driften ab – überprüfen Sie jeden Clip; generieren Sie alle neu, bei denen Text sich verzieht oder der Stil bricht. Planen Sie ~15 % Neugenerierung ein.

Stufe 5 – Musik (MiniMax Music 2.6)

Ein instrumentaler Soundtrack für den gesamten Film. Fordern Sie is_instrumental: true an – Gesang kämpft mit der Erzählung.

Prompt-Formel: {Stimmung} {Genre-angrenzende Textur}, {Tempo}, {Instrumentierung}, {Bogen}. Beispiel für ein historisches Stück: „kontemplativer cineastischer Underscore, Klavier mit Filz und sanfte Streicher mit leichtem Percussion-Puls, 90 bpm, baut allmählich von spärlich zu voll auf, Dokumentarstil". Passen Sie die Instrumentierung an das Thema an (Guzheng/Dizi-Texturen für das Tang-Stück; analoger Synth-Puls für ein Tech-Thema).

Music 2.6 generiert Lieder mit fester Länge; wenn der Track kürzer ist als der Film, loopen Sie ihn beim Zusammenbau mit einem Crossfade; wenn länger, kürzen Sie ihn mit einem Fade-Out. Lassen Sie niemals den Musikbogen gegen den Filmbogen laufen – ein Mid-Track-Drop, der auf einem ruhigen Beat landet, ist irritierend, also hören Sie das Ergebnis gegen die Form des Films ab.

Stufe 6 – Zusammenbau (ffmpeg, lokal)

Lesen Sie references/ffmpeg-assembly.md für vollständige Rezepte. Die Reihenfolge:

1. Passen Sie jeden Clip an die VO-Dauer seines Beats an (trimmen oder letztes Bild halten), normalisieren Sie auf 1920x1080 30fps.
2. Konkatenieren Sie die Clips in der richtigen Reihenfolge.
3. Erstellen Sie die VO-Spur durch Konkatenation der Beat-Audiodateien mit 0,5 s Lücken, die der Video-Timing entsprechen.
4. Generieren Sie subs/captions.ass aus dem Skript – Vox-artige eingebrannte Untertitel: fette Serifenlose, weiß mit schwerem schwarzem Rand, unten zentriert, max. 2 Zeilen, teilen Sie die Erzählung an Satzgrenzen und timen Sie jeden Teil innerhalb des Beat-Fensters.
5. Mischen Sie das Audio: VO bei voller Lautstärke, Musik auf -12 bis -15 dB unter der Erzählung abgesenkt (Sidechain-Kompression oder einfache Lautstärke-Automation – Rezepte in der Referenz).
6. Brennen Sie Untertitel + Quellenangabe („Erstellt mit ...“ klein unten rechts, falls gewünscht) und kodieren Sie: H.264, CRF 18, AAC 192k, -movflags +faststart.

Abschließende QC-Prüfung vor der Auslieferung: achten Sie auf (a) Sync-Drift von Untertiteln/VO, (b) Musik, die die Erzählung überlagert, (c) einen Clip, dessen Bewegung sichtbar loopt, (d) Stil-Drift zwischen Frames. Beheben Sie Probleme in der Stufe, in der sie entstanden sind, nicht mit Zusammenbau-Hacks.

Orchestrierungshinweise

• Führen Sie die Stufen beim ersten Mal strikt in der Reihenfolge aus; danach kann jede Stufe isoliert neu gestartet werden, da alle Zustände in den Projektdateien leben.
• API-Generierung ist langsam (Video-Clips: 1–4 min pro Stück). Reichen Sie alle Animationsaufgaben gleichzeitig ein und pollieren Sie dann – serialisieren Sie nicht.
• Führen Sie eine prompts.log-Datei mit jedem gesendeten Prompt – Reproduzierbarkeit ist wichtig, und Benutzer werden einzelne Beats optimieren und neu generieren wollen.
• Die Kosten skalieren linear mit den Beats. Geben Sie dem Benutzer vor Stufe 3 (der ersten kostenintensiven Stufe) eine ungefähre Kostenschätzung: Beats × ($0,10 Bild + ~$1,20 pro 10s Clip) + ~$0,50 Audio.

Referenzen

• references/vox-style-guide.md – lesen Sie vor Stufe 1 und Stufe 3. Die visuelle Grammatik, Schreibstimme und Prompt-Vorlagen.
• references/atlas-cloud-api.md – lesen Sie vor Stufe 2. Endpunkte, Modell-IDs, asynchrones Aufgabenmuster, Polling-Code, Kosten.
• references/ffmpeg-assembly.md – lesen Sie vor Stufe 6. Conform, Concat, Untertitel, Ducking und Kodierungsrezepte.