Was macht KI-Videokurz — erzählte Keyframes + Bild-zu-Video?
Ersetzt den Three.js-Renderer durch eine generative Pipeline. Die Strenge von
../SKILL.md bleibt erhalten: Fakten zuerst, Wort-Zeitsteuerung als einzige Uhr, ein
festgelegter Look, Messungen statt Adjektive und Tore, die bestanden werden müssen, bevor
die nächste Ausgabe getätigt wird.
Nachgewiesene Referenz: ~/Videos/ramayana-part1/part1-startframe.jpg (Keyframe) und
ramayana-part1-v1.mp4 (Clip). Prämie: 2D-indische mythologische Comic-Buch-Illustration,
dicke schwarze Tinte, warmes Gold-Licht, 720x1280.
Details befinden sich in:
PLAN.md— Phasen, Tore, Risiken, noch offene EntscheidungenPIPELINE.md— Stufen-Verträge, genaue Befehle, ZustandsautomatSHOT-PLANNING.md— Algorithmus für Zeitsteuerung zu EinstellungenSTYLE-LOCK.md— fixierter Stilblock, Figurenübersicht, PalettenzielePROMPTS.md— Prompt-Algebra, Bewegungsklassen, ModerationsleiterAUDIO.md— generierte Raga-Partitur + synthetisierte SFX, Pegel, DuckingQA.md— Torkontrollen, Schwellenwerte, Fehler-Taxonomie../references/mythic/— der gemessene Stil-Standard: Startbild, Arbeitsclip, bestehende Prompts, Palettennummern../templates/mythic/— One-Shot-Vibes-Generator und der kinetische Lebensdurchlauftools/CONTRACTS.md— die dreizehn CLIs, die dieser Workflow voraussetztmissions/garuda-jatayu.md— der Pilot: wörtliches Skript, Besetzung, visuelle Regeln, Abnahmekriterien
Harte Regeln
- Die Erzählung ist die Uhr. Jeder Schnitt wird von echten Wort-Zeitstempeln
abgeleitet. Keine Einstellungsgrenze wird erfunden, bevor
timeline.jsonexistiert. - Wörtliches Skript.
<project>/script-tagged.txtist byte-identisch mit dem Skript des Benutzers.script-spoken.txtunterscheidet sich nur durch entfernte[...]-Tags. Ein Hash-Check läuft in Tor G0. - Zwei Prompts pro Einstellung, niemals einen.
keyframePromptbeschreibt ein Standbild.videoPromptbeschreibt 5 Sekunden Bewegung ausgehend von diesem Standbild. Die Wiederverwendung des Keyframe-Prompts als Video-Prompt ist der häufigste Qualitätsfehler (er erzeugt leblose, driftende Clips). - Ein festgelegter Look. Stilblock + Figurenübersicht sind Konstanten in
style-lock.json. Prompts werden daraus zusammengesetzt, nie freihändig. - Einen Clip niemals mehr als 1,12x dehnen. Wenn ein Beat mehr Zeit braucht, plane eine weitere Einstellung oder eine Verlängerung (+4 s). Dehnung war der größte Kompromiss im ersten Durchlauf.
- Kein ungeprüftes Bild erreicht das Video. Keyframes bestehen zuerst eine Kontaktbogen-Prüfung und die Text-Artefakt-Prüfung. Videocredits sind die teure Stufe.
- Resumierbar durch Konstruktion. Jede Stufe schreibt
state/<stufe>.jsonmit einem Eingabe-Hash. Wiederholen ist idempotent. Ein Durchlauf, der bei Einstellung 6 von 28 stirbt, muss bei Einstellung 6 neu starten. - Generierte Medien sofort herunterladen. vibes CDN-URLs laufen ab.
- Musik und SFX werden generiert, nicht lizenziert. Lokale Raga-Engine für die Partitur, lokaler Synth für Effekte, optionale quota-begrenzte ElevenLabs-Heldentakes. Pegel: Stimme -16, Musik -24 geduckt -3, SFX -18. Untertitel bleiben aus.
- Kompromisse melden, niemals verstecken. Jedes Tor, das ausgesetzt wurde, kommt in
den Abschlussbericht und in
README.md.
Pipeline
script-tagged.txt
│ S0 parsen + hash + beat-map
▼
script.json ──► S1 TTS (elevenlab) ──► tts/*.mp3 + tts/*.words.json
│ S2 timeline + pausenplan
▼
timeline.json
│ S3 einstellungsplanung
▼
shots.json
┌────────────────┴────────────────┐
S4 prompt-aufbereitung S5 keyframes (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 clips (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 sound ───┤
cues -> music + sfx -> mix │ S8 montage (ffmpeg)
▼
final.mp4 + QA
Parallelität: S1 segmentiert mit 3 gleichzeitig (Service-Limit). S5 mit 4. S6 mit 3.
S1/S2 und S4 können überlappen, sobald script.json existiert. S7 benötigt nur
timeline.json + shots.json, daher werden Musik und SFX gerendert, während S6 noch läuft;
nur der finale Mix und S8 warten auf den letzten Clip.
Stufen-Befehle
Namen sind Verträge aus tools/CONTRACTS.md; implementiere oder rufe sie wie gezeigt auf.
PROJ=~/Videos/garuda-jatayu
# S0 — das Skript parsen, den Hash behalten, die Beat-Map erstellen
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — pro Segment synthetisieren (eleven_v4 + inline audio tags)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — Audio messen, geplante Pausen einfügen, die Master-Uhr bauen
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — Einstellungen aus Wortgrenzen ableiten (niemals aus Schätzungen)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — die zwei Prompts pro Einstellung zusammenbauen
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — Keyframes, konditioniert auf Figurenübersicht + Locations
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — Clips, 3 parallel, fortsetzbar, eingebaute Moderationsleiter
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — Sound: Cue-Sheet, Partitur, SFX, Mix
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL, Überblendungs-/Schnittgraph, muxen mit dem Mix
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# Tore
python tools/qa.py "$PROJ" --gate all
Tore (kein Tor, keine nächste Ausgabe)
| Tor | Prüfungen | blockiert |
|---|---|---|
| G0 Skript | wörtlicher Hash, jeder Satz hat einen Beat + Besetzung + Location | S1 |
| G1 Timing | Wort-Monotonie, Abdeckung, Gesamtlänge == Timeline-Ende +-100 ms | S3 |
| G2 Storyboard | jede Klausel abgedeckt, Dauer in [4.0, 5.6] s, Schnitte auf Wortenden | S5 |
| G3 Keyframes | 720x1280, blattkonsistent, keine Textartefakte, Figurenanzahlen | S6 |
| G4 Clips | 720x1280/24 fps/125 f, Drift im Bereich, Bewegung vorhanden | S7 |
| G5 Montage | Dauer +-0.3 s, Überblendungs-Offsets, keine schwarzen/eingefrorenen Übergänge | Auslieferung |
| G6 Final | 720x1280, 24 fps, AAC vorhanden, -16 LUFS +-1, Loudness True Peak <= -1.0 dBTP | Auslieferung |
| G6b Audio | Stimme-Boden-Abstand >= 6 LU in Sprachfenstern, Ducking 2.5-3.5 dB, Cue-Kanten sauber, Summen ergeben Mix | Auslieferung |
G3 und die visuelle Hälfte von G4 benötigen eine Sichtprüfung pro Batch. Alles
andere ist maschinell prüfbar.
Fehler-Playbook
| Symptom | Ursache | Behebung |
|---|---|---|
| TTS 503 / Solver offline | Decaptcha-Kanal ausgefallen | curl 127.0.0.1:8000/health, Kanal neustarten, dann erneut versuchen |
CONTENT_POLICY beim Senden | Moderationsvokabular | gleichen Prompt zweimal, dann Lexikon neutralisieren (PROMPTS.md), dann kürzen |
| Clip driftet / steht auf | kein Positur-fixierender Satz | „Behalte ihre Posen und Positionen aus dem ersten Bild“ hinzufügen |
| Clip ist ein Standbild | Bewegungsparagraph fehlt oder zu schwach | einen expliziten Kameraparagraphen + einen Sekundärbewegungsparagraphen |
| Figuren unterscheiden sich pro Bild | keine Referenzkonditionierung | Figurenübersicht über files=[...] übergeben |
| Gemini 401 | Cookie abgelaufen | __Secure-1PSID + __Secure-1PSIDTS aus Helium CDP neu extrahieren |
| vibes 401 | zwischengespeicherte Sitzung veraltet | ~/.vibes-session.json löschen, autoSession() neu anmelden lassen |
| falsche Ausgabegröße | Startbild nicht 720x1280 | Bild mit ImageOps.fit neu erstellen |
| Schnitt landet neben dem Takt | Einstellungszeit erfunden | S3 von timeline.json aus erneut ausführen |
| Lauf mitten im Batch gestorben | kein Status | erwartet: denselben Befehl erneut ausführen, er setzt fort |
SFX-Vorschau gibt quota_exceeded zurück | das anonyme ElevenLabs-Vorschau-Kontingent ist aufgebraucht (~2 Anfragen) | erwartet: der lokale Synth hat immer jeden Cue gerendert; Heldentakes nur einfrieren, wenn das Kontingent frisch ist |
Liefergegenstände
<projekt>/
final.mp4 720x1280, 24 fps, H.264/AAC, -16 LUFS
README.md Pipeline + genaue Befehle + Kompromisse
script-tagged.txt wörtliche Eingabe
script-spoken.txt nur gesprochener Text
script.json geparste Segmente, Beats, Besetzung, Locations
timing.json Wörter pro Segment
timeline.json Master-Uhr inkl. Pausen
shots.json Einstellungsplan (die EDL)
style-lock.json Stilblock + Figurenübersicht + Vorlagen
style/ character-sheet.png, plates/*.png
prompts/ <einstellung>.keyframe.txt, <einstellung>.video.txt
keyframes/ <einstellung>.jpg + manifest.json
clips/ <einstellung>.mp4 + <einstellung>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <stufe>.json
qa/ Torberichte, Kontaktbögen
Siehe PLAN.md vor dem Start eines neuen Videos: es enthält die getroffenen Entscheidungen
(Stimme, Emotions-Tags, Einstellungskadenz, Sound, Untertitel) und die Phasen, die sie
umsetzen.