Communitygithub.com

KI-Videokurz — erzählte Keyframes + Bild-zu-Video

Zeigt einem Agenten, wie man einen „KI-Videokurz” plant, erstellt oder schneidet, so dass das konkrete Ergebnis ein fertiger Videoclip ist. Der Ablauf führt durch KI-Videokurz — erzählte Keyframes + Bild-zu-Video, harte Regeln und Pipeline. Verwende es, wenn ein neuer Auftrag dieses Handwerk erfordert.

Was ist KI-Videokurz — erzählte Keyframes + Bild-zu-Video?

Diese Fähigkeit definiert eine generative Pipeline für die Erstellung von Kurzvideos, die einen Three.js-Renderer durch eine KI-gesteuerte Bild-zu-Video-Produktion ersetzt. Sie legt strenge Regeln fest: Die Erzählung dient als einzige Zeitgeber, jedes Skript wird bytegenau überprüft, es werden zwei Prompts pro Einstellung (einer für das Keyframe, einer für die Bewegung) verwendet, und es gibt einen klar definierten Stil mit einer Figurenübersicht und Farbpalette. Die Pipeline besteht aus acht Stufen (S0–S8), die von der Skriptanalyse über TTS, Timing, Keyframe-Generierung (mit Gemini), Videoclip-Generierung (mit vibes.ai), Sounddesign (mit lokalem Raga-Engine und Synth) bis hin zur finalen Montage mit ffmpeg reichen. Jede Stufe schreibt ihren Zustand in JSON-Dateien, sodass die Verarbeitung jederzeit unterbrochen und fortgesetzt werden kann. Harte Gates (G0–G6) stellen sicher, dass nur geprüfte Ergebnisse in die nächste Phase übergehen. Die Fähigkeit ist für Plattformen wie Claude Code (dank der detaillierten CLI-Befehle) und Cursor geeignet, da sie sich auf reproduzierbare, messbare Ergebnisse und die Vermeidung von Qualitätsmängeln (wie leblose Clips durch Wiederverwendung des Keyframe-Prompts) konzentriert.

Funktioniert mit✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht KI-Videokurz — erzählte Keyframes + Bild-zu-Video?

Ersetzt den Three.js-Renderer durch eine generative Pipeline. Die Strenge von ../SKILL.md bleibt erhalten: Fakten zuerst, Wort-Zeitsteuerung als einzige Uhr, ein festgelegter Look, Messungen statt Adjektive und Tore, die bestanden werden müssen, bevor die nächste Ausgabe getätigt wird.

Nachgewiesene Referenz: ~/Videos/ramayana-part1/part1-startframe.jpg (Keyframe) und ramayana-part1-v1.mp4 (Clip). Prämie: 2D-indische mythologische Comic-Buch-Illustration, dicke schwarze Tinte, warmes Gold-Licht, 720x1280.

Details befinden sich in:

  • PLAN.md — Phasen, Tore, Risiken, noch offene Entscheidungen
  • PIPELINE.md — Stufen-Verträge, genaue Befehle, Zustandsautomat
  • SHOT-PLANNING.md — Algorithmus für Zeitsteuerung zu Einstellungen
  • STYLE-LOCK.md — fixierter Stilblock, Figurenübersicht, Palettenziele
  • PROMPTS.md — Prompt-Algebra, Bewegungsklassen, Moderationsleiter
  • AUDIO.md — generierte Raga-Partitur + synthetisierte SFX, Pegel, Ducking
  • QA.md — Torkontrollen, Schwellenwerte, Fehler-Taxonomie
  • ../references/mythic/ — der gemessene Stil-Standard: Startbild, Arbeitsclip, bestehende Prompts, Palettennummern
  • ../templates/mythic/ — One-Shot-Vibes-Generator und der kinetische Lebensdurchlauf
  • tools/CONTRACTS.md — die dreizehn CLIs, die dieser Workflow voraussetzt
  • missions/garuda-jatayu.md — der Pilot: wörtliches Skript, Besetzung, visuelle Regeln, Abnahmekriterien

Harte Regeln

  1. Die Erzählung ist die Uhr. Jeder Schnitt wird von echten Wort-Zeitstempeln abgeleitet. Keine Einstellungsgrenze wird erfunden, bevor timeline.json existiert.
  2. Wörtliches Skript. <project>/script-tagged.txt ist byte-identisch mit dem Skript des Benutzers. script-spoken.txt unterscheidet sich nur durch entfernte [...]-Tags. Ein Hash-Check läuft in Tor G0.
  3. Zwei Prompts pro Einstellung, niemals einen. keyframePrompt beschreibt ein Standbild. videoPrompt beschreibt 5 Sekunden Bewegung ausgehend von diesem Standbild. Die Wiederverwendung des Keyframe-Prompts als Video-Prompt ist der häufigste Qualitätsfehler (er erzeugt leblose, driftende Clips).
  4. Ein festgelegter Look. Stilblock + Figurenübersicht sind Konstanten in style-lock.json. Prompts werden daraus zusammengesetzt, nie freihändig.
  5. Einen Clip niemals mehr als 1,12x dehnen. Wenn ein Beat mehr Zeit braucht, plane eine weitere Einstellung oder eine Verlängerung (+4 s). Dehnung war der größte Kompromiss im ersten Durchlauf.
  6. Kein ungeprüftes Bild erreicht das Video. Keyframes bestehen zuerst eine Kontaktbogen-Prüfung und die Text-Artefakt-Prüfung. Videocredits sind die teure Stufe.
  7. Resumierbar durch Konstruktion. Jede Stufe schreibt state/<stufe>.json mit einem Eingabe-Hash. Wiederholen ist idempotent. Ein Durchlauf, der bei Einstellung 6 von 28 stirbt, muss bei Einstellung 6 neu starten.
  8. Generierte Medien sofort herunterladen. vibes CDN-URLs laufen ab.
  9. Musik und SFX werden generiert, nicht lizenziert. Lokale Raga-Engine für die Partitur, lokaler Synth für Effekte, optionale quota-begrenzte ElevenLabs-Heldentakes. Pegel: Stimme -16, Musik -24 geduckt -3, SFX -18. Untertitel bleiben aus.
  10. Kompromisse melden, niemals verstecken. Jedes Tor, das ausgesetzt wurde, kommt in den Abschlussbericht und in README.md.

Pipeline

script-tagged.txt
   │ S0  parsen + hash + beat-map
   ▼
script.json ──► S1 TTS (elevenlab) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 timeline + pausenplan
                                        ▼
                                   timeline.json
                                        │ S3 einstellungsplanung
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 prompt-aufbereitung           S5 keyframes (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 clips (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 sound ───┤
                   cues -> music + sfx -> mix           │ S8 montage (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

Parallelität: S1 segmentiert mit 3 gleichzeitig (Service-Limit). S5 mit 4. S6 mit 3. S1/S2 und S4 können überlappen, sobald script.json existiert. S7 benötigt nur timeline.json + shots.json, daher werden Musik und SFX gerendert, während S6 noch läuft; nur der finale Mix und S8 warten auf den letzten Clip.

Stufen-Befehle

Namen sind Verträge aus tools/CONTRACTS.md; implementiere oder rufe sie wie gezeigt auf.

PROJ=~/Videos/garuda-jatayu

# S0 — das Skript parsen, den Hash behalten, die Beat-Map erstellen
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — pro Segment synthetisieren (eleven_v4 + inline audio tags)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — Audio messen, geplante Pausen einfügen, die Master-Uhr bauen
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — Einstellungen aus Wortgrenzen ableiten (niemals aus Schätzungen)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — die zwei Prompts pro Einstellung zusammenbauen
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — Keyframes, konditioniert auf Figurenübersicht + Locations
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — Clips, 3 parallel, fortsetzbar, eingebaute Moderationsleiter
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — Sound: Cue-Sheet, Partitur, SFX, Mix
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL, Überblendungs-/Schnittgraph, muxen mit dem Mix
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# Tore
python tools/qa.py "$PROJ" --gate all

Tore (kein Tor, keine nächste Ausgabe)

TorPrüfungenblockiert
G0 Skriptwörtlicher Hash, jeder Satz hat einen Beat + Besetzung + LocationS1
G1 TimingWort-Monotonie, Abdeckung, Gesamtlänge == Timeline-Ende +-100 msS3
G2 Storyboardjede Klausel abgedeckt, Dauer in [4.0, 5.6] s, Schnitte auf WortendenS5
G3 Keyframes720x1280, blattkonsistent, keine Textartefakte, FigurenanzahlenS6
G4 Clips720x1280/24 fps/125 f, Drift im Bereich, Bewegung vorhandenS7
G5 MontageDauer +-0.3 s, Überblendungs-Offsets, keine schwarzen/eingefrorenen ÜbergängeAuslieferung
G6 Final720x1280, 24 fps, AAC vorhanden, -16 LUFS +-1, Loudness True Peak <= -1.0 dBTPAuslieferung
G6b AudioStimme-Boden-Abstand >= 6 LU in Sprachfenstern, Ducking 2.5-3.5 dB, Cue-Kanten sauber, Summen ergeben MixAuslieferung

G3 und die visuelle Hälfte von G4 benötigen eine Sichtprüfung pro Batch. Alles andere ist maschinell prüfbar.

Fehler-Playbook

SymptomUrsacheBehebung
TTS 503 / Solver offlineDecaptcha-Kanal ausgefallencurl 127.0.0.1:8000/health, Kanal neustarten, dann erneut versuchen
CONTENT_POLICY beim SendenModerationsvokabulargleichen Prompt zweimal, dann Lexikon neutralisieren (PROMPTS.md), dann kürzen
Clip driftet / steht aufkein Positur-fixierender Satz„Behalte ihre Posen und Positionen aus dem ersten Bild“ hinzufügen
Clip ist ein StandbildBewegungsparagraph fehlt oder zu schwacheinen expliziten Kameraparagraphen + einen Sekundärbewegungsparagraphen
Figuren unterscheiden sich pro Bildkeine ReferenzkonditionierungFigurenübersicht über files=[...] übergeben
Gemini 401Cookie abgelaufen__Secure-1PSID + __Secure-1PSIDTS aus Helium CDP neu extrahieren
vibes 401zwischengespeicherte Sitzung veraltet~/.vibes-session.json löschen, autoSession() neu anmelden lassen
falsche AusgabegrößeStartbild nicht 720x1280Bild mit ImageOps.fit neu erstellen
Schnitt landet neben dem TaktEinstellungszeit erfundenS3 von timeline.json aus erneut ausführen
Lauf mitten im Batch gestorbenkein Statuserwartet: denselben Befehl erneut ausführen, er setzt fort
SFX-Vorschau gibt quota_exceeded zurückdas anonyme ElevenLabs-Vorschau-Kontingent ist aufgebraucht (~2 Anfragen)erwartet: der lokale Synth hat immer jeden Cue gerendert; Heldentakes nur einfrieren, wenn das Kontingent frisch ist

Liefergegenstände

<projekt>/
  final.mp4             720x1280, 24 fps, H.264/AAC, -16 LUFS
  README.md             Pipeline + genaue Befehle + Kompromisse
  script-tagged.txt     wörtliche Eingabe
  script-spoken.txt     nur gesprochener Text
  script.json           geparste Segmente, Beats, Besetzung, Locations
  timing.json           Wörter pro Segment
  timeline.json         Master-Uhr inkl. Pausen
  shots.json            Einstellungsplan (die EDL)
  style-lock.json       Stilblock + Figurenübersicht + Vorlagen
  style/                character-sheet.png, plates/*.png
  prompts/              <einstellung>.keyframe.txt, <einstellung>.video.txt
  keyframes/            <einstellung>.jpg + manifest.json
  clips/                <einstellung>.mp4 + <einstellung>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <stufe>.json
  qa/                   Torberichte, Kontaktbögen

Siehe PLAN.md vor dem Start eines neuen Videos: es enthält die getroffenen Entscheidungen (Stimme, Emotions-Tags, Einstellungskadenz, Sound, Untertitel) und die Phasen, die sie umsetzen.

Verwandte Skills