AsLSX99/ai-video-workflow

KI-Video-Workflow (Codex Director's Cut)

Dieser Workflow löst ein Problem: Mit möglichst wenig Geld und möglichst niedriger Fehlschlagrate aus einer Idee ein KI-Video erstellen, mit dem man zufrieden ist. Die Methode basiert auf einem Praxisartikel von Eian (x.com/EianLu/article/2118317430665613741). In diesem Skill wird der Regisseur von Claude auf Codex umgestellt – du hast nur Codex, also lass Codex alles am Stück erledigen: Geschichte schreiben, Prompts schreiben, Bilder malen, Postproduktionscode schreiben.

Kernprinzip: Fehler abfangen, bevor Geld ausgegeben wird

Die Kostenstaffelung bestimmt die Reihenfolge aller Arbeiten:

• Ein paar Zeichen im Prompt ändern: fast kostenlos
• Ein Bild neu zeichnen: keine zusätzlichen Kosten
• Ein Video neu generieren: Bezahlung pro Sekunde (2.5 ca. ¥1,5/Sek., 2.0 mini ca. ¥0,5/Sek., 720p)

Daher: Fehler, die im Text gefunden werden können, landen nicht im Bild; Fehler, die im Bild gefunden werden können, landen nicht im Video. Jeder Schritt hat eine eigene Prüfinstanz, und erst wenn die vorherige Stufe „Bestanden“ sagt, geht es weiter.

Aufgabenverteilung

Rolle	Verantwortung
Ich (Mensch)	Richtung wählen, Stil bestätigen, Ausgaben genehmigen, Bewegtbild ansehen, Ton hören
Codex (Regisseur + Zeichner)	Geschichte und Storyboard schreiben, alle Prompts schreiben, mit eigenen Bildtools Konzeptzeichnungen/Sampleframes/Start-Endframes erstellen, jedes Bild auf Fehler prüfen, ffmpeg/Python-Postproduktionscode schreiben
Seedance (Animator)	Start-/Endframes in einige Sekunden Video verwandeln
Unabhängige Auditsession	Für jede Stufe eine neue, frische Session öffnen, nur das Material geben, keine Schlussfolgerungen, nur Fehler finden, keine Dateien ändern

Unabhängige Audits sind das Geheimnis der niedrigen Fehlschlagrate: Die Hauptsession unterhält sich lange mit dir, weiß, was du sagen willst, und ergänzt beim Lesen des Materials automatisch. Die neue Session weiß nichts, und wenn sie etwas nicht versteht, bedeutet das, dass es wirklich nicht klar genug erklärt wurde. Die Auditsession bekommt nur das Material der aktuellen Stufe, keine Schlussfolgerungen und keine anderen Dateien.

Umgebungscheck (Erste Aufgabe bei Arbeitsbeginn)

python scripts/env_check.py ausführen, um Codex, ffmpeg, Python ≥3.9 und die Umgebungsvariable ARK_API_KEY zu prüfen. Fehlendes zuerst dem Nutzer mitteilen.

Neues Projektverzeichnis anlegen, alle Dateien darin ablegen. Empfohlene Struktur:

Projektverzeichnis/
├── 00-story/        # Geschichte, Storyboard
├── 01-style/        # Stil, Konzeptzeichnungen
├── 02-frames/       # Start-Endframes pro Einstellung
├── 03-prompts/      # Videoprompts pro Einstellung
├── 04-videos/       # Generierte Clips (alte Versionen immer behalten)
├── 05-post/         # Postproduktions-Zwischendateien, Endprodukt
└── review-log.md    # Prüfergebnisse und Kostenaufzeichnungen pro Stufe

Start-Prompt

Den gesamten Inhalt von templates/00-director.md an Codex senden, um das Projekt zu starten. Es fragt dich zuerst nach Länge, Seitenverhältnis, Gesamtbudget, Musik und Untertiteln, dann checkt es die Umgebung. Danach kommunizierst du nur noch mit ihm.

Acht-Schritte-Workflow

Jeder Schritt enthält: Was zu tun ist → Welche Vorlage zu verwenden ist → Bestehensbedingungen.

Schritt 1: Idee → Vollständige Geschichte

• Die grobe Idee Codex erzählen, gemeinsam die Handlung bis zur endgültigen Version ausarbeiten. Bevorzugte Struktur: Episodisch (keine Übergänge zwischen Einstellungen, am stabilsten), kontinuierlich ist am anfälligsten für Patzer.
• 5 Kriterien für eine gute Geschichte: ① Logisch konsistent (jede Wendung hinterfragen: Warum passiert das? Wo kommt das her? Ist es erreichbar?) ② In einem Satz erklärbar, was ausgedrückt werden soll ③ Fesselt von Anfang an ④ Reaktionen von Nebenfiguren wirken echt (jede Wendung in 3 Phasen: Problem → Wie der Protagonist es löst → Wie die Nebenfiguren reagieren, die Reaktionen müssen zeitlich gestaffelt sein) ⑤ Visuell mit KI umsetzbar (Schwachstellenliste vermeiden: sich kreuzende Personen, kleine Gegenstände in Händen, Text, Spiegelreflexionen, Links-Rechts-Asymmetrie, Lichtwechsel innerhalb einer Einstellung, eine Person macht drei Aktionen nacheinander, Aufsicht ohne Gesicht, zu viele Nebenfiguren).
• Vorlage: templates/01-story.md ausfüllen und an Codex senden.
• Bestehensbedingung: Neue Auditsession öffnen, nur die finale Geschichte geben, mit templates/02-story-review.md prüfen, „Bestanden“ erhalten.

Schritt 2: Storyboard (in der Vorphase am wichtigsten – Komposition und Farbgebung sind wichtiger als die Handlung)

• Für jede Einstellung notieren: Zeit im Film, Generierungsdauer (aufgerundet, 0,5 Sekunden extra lassen), Einstellungsgröße, Kameraposition, Kamerabewegung, wer wohin geht (links/rechts im Bild), durch welche Mimik die Handlung vorangetrieben wird, was sich bewegt, wie zur nächsten Einstellung übergeleitet wird.
• 6 harte Anforderungen: ① Jede Einstellung neuer Blickwinkel, maximal 2 mal frontale Perspektive auf Augenhöhe im gesamten Film ② Immer etwas in Bewegung im Bild ③ Wechsel zwischen Ganzkörper-/Halb-/Nahaufnahmen ④ Mindestens ein Objekt pro Einstellung bewegt sich, Bewegung und Ruhe bewusst einsetzen ⑤ Kamerabewegung begründet (einem Objekt folgen / langsam heranzoomen / langsam herauszoomen) ⑥ Goldener Schnitt: Kopf oder Augen liegen bei 38 % oder 62 % von links.
• Farbgebung separat entwerfen, Farbtabelle pro Szene; Bild in Schwarzweiß prüfen: Wenn sich Figur und Hintergrund nicht unterscheiden lassen, Farbschema überarbeiten.
• Referenzmaterial vorhanden: Codex soll Frame für Frame die Kameraposition und das Verhältnis von Ein- und Austritt messen und dann nachahmen.
• Vorlage: templates/03-storyboard.md.
• Bestehensbedingung: Grobe Farbblock-Skizze (1920 × 1080 mit Markierung bei 38 %/62 %) zur Bestätigung durch den Nutzer.

Schritt 3: Stil festlegen, Konzeptzeichnungen erstellen

• Am besten Referenzbilder direkt an Codex geben. Codex schreibt Prompts und zeichnet selbst. Der Nutzer prüft nur den Stil.
• Jede Figur und jedes feste Requisit eine Konzeptzeichnung: Frontansicht, Seitenansicht, verschiedene Emotionen. Feste Merkmale genau verorten (Tätowierung am linken Arm).
• Bestehensbedingung: Nutzer bestätigt den Stil, erst dann dürfen die offiziellen Einstellungen gezeichnet werden.

Schritt 4: Start- und Endframes pro Einstellung (der wichtigste Schritt zur Reduzierung der Fehlschlagrate)

• Reihenfolge: Zuerst von der KI schreiben lassen, „Was ist im Startframe zu sehen, was im Endframe, was passiert dazwischen“ → Prüfung bestehen, dann zeichnen (spart Kontingent) → Zuerst den inhaltsreichsten Endframe zeichnen → Aus dem Endframe durch Änderung den Startframe ableiten (gleiche Kameraposition und Komposition sicherstellen) → Bei gleichem Ort und gleicher Kameraposition nur lokal ändern → Bei Heranzoomen den Startframe zuschneiden und vergrößert als Endframe verwenden → Prüfen auf 16:9 und gleiche Größe von Start- und Endframe.
• Nach dem Zeichnen mit templates/04-frame-check.md Punkt für Punkt 8 Prüfungen durchführen (Aktion/Requisit bereits im Startframe vorhanden, Reaktion vorausschauend platziert, nicht alle Posen gleich, Bewegungsraum lassen, Windrichtung einheitlich, in Handygröße prüfen, vergrößern auf überzählige Objekte prüfen, Start-/Endframe überlappen auf Verschiebung prüfen).
• Kleine Objekte wie Regen, Hüte, Tätowierungen müssen sowohl im Start- als auch im Endframe gezeichnet sein – nur als Text beschrieben verschwinden sie während des Filmens.
• Bestehensbedingung: Alle 8 Prüfungen bestanden, Nutzer stimmt Änderungen zu, dann weiter.

Schritt 5: Videoprompts schreiben, vor dem Einreichen prüfen

• Feste 7-teilige Struktur: [Stil] [Kamera] [Komposition & Farbgebung] [Figuren] [Sekunde für Sekunde] [Ton] [Einschränkungen]; jede Sekunde festhalten. Vorlage: templates/05-video-prompt.md.
• Vor dem Schreiben die 20 Fehlerquellen aus references/pitfall-table.md durchgehen – bei Problemen zuerst den Prompt verdächtigen, dann das Modell.
• Bestehensbedingung: Vor dem Einreichen jedes Prompts neue Auditsession mit templates/06-pre-submit-review.md öffnen, jeden Detail des Prompts und des Bildes abgleichen (die Historie hat schon Bechergrößenunterschiede von 13 %, fehlende Hüte und links/rechts-Vertauschungen aufgedeckt). Erst wenn „Bestanden“ dasteht, einreichen, und erst wenn der Nutzer das Angebot bestätigt hat, Geld ausgeben.

Schritt 6: Video generieren

• Mit scripts/seedance.py einreichen (720p, Start-Endframe-Modus), durch Polling die Clips abrufen.
• Spartipps: 720p produzieren und später auf 1080p hochskalieren; nicht erst Testclips drehen, sondern gleich den ersten offiziellen Shot; neue Vorgehensweise zuerst mit ein oder zwei schwierigsten Einstellungen testen, wenn es klappt, alle einreichen; bei knappem Budget 2.0 mini verwenden (ca. 1/3 Preis), für nicht komplexe Einstellungen ausreichend; Ton vor der Verwendung anhören (2.5 fügt oft Musik hinzu, auch wenn „keine Musik“ angegeben wurde).
• Vorgehen bei Problemen: ① Kann es weggeschnitten werden? (Problem nur in den ersten/letzten paar Frames) ② Kann es mit Code behoben werden? ③ Erst dann neu drehen, und zwar zuerst Prompt oder Start-/Endframe ändern, dann nur diese Einstellung neu drehen. Alte Clips niemals löschen, sondern am Ende alte und neue gemeinsam auswählen.
• Bestehensbedingung: Nutzer hat sich das Bewegtbild angesehen und den Ton gehört.

Schritt 7: Zusammenschnitt, Übergänge, Farbkorrektur, Hochskalieren

• Alles mit Code machen, Codex schreibt ffmpeg/Python-Skripte. Vorlage: templates/07-postprocess.md (Übergänge mit Bewegungsunschärfe, 8–16 Halbframes Shutter; nur Sättigung und Helligkeit anpassen, Farbton nicht ändern; BT.601 dekodieren, verlustfrei zwischenverarbeiten, als BT.709 ausliefern; mit Lanczos auf 1080p hochskalieren, leichte Schärfung; Beat-Snapping nur mit gemessenen Schlägen aus dem Originaltrack).
• Nach Fertigstellung die 3 Frames vor und nach jedem Schnitt stichprobenartig prüfen.

Schritt 8: Gesamtprüfung und Auslieferung

• Neue Auditsession öffnen, nur das fertige Video geben, keine Schlussfolgerungen, es soll es wie ein Zuschauer zum ersten Mal von Anfang bis Ende ansehen. Vorlage: templates/08-final-review.md.
• Codex eine Zusammenfassung schreiben lassen zur Archivierung: Stil, Prompts, gemachte Fehler, alles im Projektverzeichnis ablegen, für das nächste Projekt direkt wiederverwendbar.

Vier-Thread-Modus (optional, fortgeschritten)

Wenn das Projekt komplex ist oder das Budget groß, templates/09-four-threads.md an Codex senden: Vier Sessions – Hauptausführung + Audit + Überwachung + Stellvertreter – arbeiten zusammen. Der Stellvertreter darf nur innerhalb des Gesamtbudgets Einreichungen genehmigen. Für alltägliche kleine Projekte nicht nötig, die einfache Auditsession reicht.

Eiserne Regeln (in alle Untersessions einschreiben)

1. Bevor ich die Geschichte bestätigt habe, wird kein Bild gezeichnet; bevor ich den Stil bestätigt habe, werden keine offiziellen Einstellungen gezeichnet.
2. Vor dem Einreichen eines Videogenerierungsauftrags muss die unabhängige Prüfung „Bestanden“ sein, und ich muss dem Preis zustimmen, bevor Geld ausgegeben wird.
3. Bei Videoproblemen: zuerst schneiden, dann mit Code reparieren, zuletzt das Drehbuch ändern und neu drehen – nur diese eine Einstellung.
4. Neue Versionen als neue Dateien speichern, alte Dateien nicht überschreiben oder löschen.
5. Wenn ich mir ein Bewegtbild nicht angesehen oder einen Ton nicht gehört habe, mir klar sagen „Habe ich nicht gesehen / nicht gehört“.
6. Kein Guthaben aufladen, keine Kontingente kaufen; wenn die Schnittstelle „Kontingent erschöpft“ zurückgibt, anhalten und die vorhandenen Clips zu einem Rohschnitt zusammenfügen und mir zeigen.
7. Wenn Codex-Kontingent aufgebraucht ist, warten, bis es sich erholt hat; nicht zu viele Bilder auf einmal zeichnen; bei kleineren Änderungen den geänderten Teil ausschneiden und wieder in das Originalbild einfügen.

Datei-Index

• templates/ – 10 Prompt-Vorlagen, nach 00–09 nummeriert entsprechend dem Workflow, [Eckige Klammern] ausfüllen und senden
• references/pitfall-table.md – Tabelle der 20 häufigsten Fehlerquellen des Modells, beim Prompt-Schreiben Punkt für Punkt abgleichen
• references/roles.md – Aufgabenverteilung und Rollenbeschreibung für den Vier-Thread-Modus
• scripts/env_check.py – Umgebungscheck
• scripts/seedance.py – Seedance-Einreichung/Abruf/Download