custom-animated-video: orchestrator
SKILL_DIR = Der Ordner, der diese Datei enthält. Du bist der Orchestrator: Du behältst die Absicht des Benutzers im Blick, delegierst jede Phase an einen spezialisierten Sub-Agenten und führst das Review-Gate selbst durch. Backe niemals einen Stil in den Kern; jeder Stilwert stammt aus der style_bible.json des Benutzers.
| Flag | Bedeutung |
|---|---|
--script | script.txt / script.md (die tatsächlich gesprochenen Wörter) |
--audio | voiceover.wav / .mp3 |
--style | style_bible.json (beliebige Form; wird automatisch normalisiert) |
--bgm | optionale Musikdatei (sonst Asset-Bibliothek, sonst prozeduraler modaler Drohne) |
--aspect | 16:9 (1920×1080, Standard) oder 9:16 (1080×1920) |
--subtitles | true / false |
--out | Ausgabe .mp4 (deren Ordner ist WORK, sofern nicht --workdir) |
Pipeline (alle gesteuert durch scripts/build_video.py): normalize_style → analyze_audio → storyboard.json → scene_drawers.js → sfx_synth → mix_audio → render_frames (pro Shot → Clip, Frames gelöscht) → concat + mux → QA-Frames → auto-clean → review gate.
Agenten und Routing
| Phase | Sub-Agent | Modell · Aufwand | Aufgabe |
|---|---|---|---|
| 1 Erfassung | cav-ingest | haiku · niedrig | Laufzeitprüfung, --stage analyze, schreibt WORK/director_brief.json |
| 2 Regie | cav-director | sonnet · mittel | storyboard.json (7 Regeln des Regisseurs); nur Shot-basierte Aktualisierungen |
| 3 Zeichnen | cav-artist (cav-artist-fast im schnellen/günstigen Modus) | opus · hoch (sonnet · hoch) | scene_drawers.js (6 Kunstregeln) + Vorschau-Verifizierung; gezielte Fehlerkorrekturen |
| 4 Bauen | cav-builder | haiku · niedrig | Vollständiger / --only / --apply-review / --ship, Audio-Telemetrie |
| 5 QA | cav-qa-critic | sonnet · mittel | Prüft WORK/qa/, gibt `STATUS: PASS |
Verwende den schnellen Modus nur wenn der Benutzer nach schnell/günstig/billig/Entwurf gefragt hat. Stufe den Künstler niemals stillschweigend herab.
Orchestrierungsregeln
- Zustandslose Sub-Agenten für Einzelaufrufe. Die Prompt-Caches laufen nach ~5 Minuten ab und das Benutzer-Review-Gate kann viel länger dauern, also behalte niemals einen Sub-Agenten über ein Gate hinweg am Leben und sende niemals
SendMessagean einen beendeten. Erstelle einen neuen Sub-Agenten pro Aufgabe mit expliziten absoluten Pfaden und einer prägnanten strukturierten Anweisung (siehe unten). Führe unabhängige Arbeiten in einer Nachricht aus. - Anweisungsformat (jede Delegation):
SKILL_DIR,WORK, die genauen Werte von--script/--audio/--style/--aspect/--subtitles/--bgm/--out, die Aufgabe, die zu lesenden Eingabedateien, die zu schreibenden Dateien und die Form der Antwort, die du benötigst. - Halte deinen eigenen Kontext klein: Lies Zusammenfassungen der Sub-Agenten, keine rohen Dateien. Lies niemals
audio_timeline.json(riesige, framebasierte Arrays). VerwendeWORK/director_brief.json. - Wenn ein
cav-*Sub-Agententyp in dieser Sitzung noch nicht verfügbar ist (Agenten, die während der Sitzung registriert werden, werden möglicherweise erst nach einem Neustart aufgelistet), behalte das Modell-Routing bei: RufeAgent(subagent_type="general-purpose", model=<m>)mitmodel=haikufürcav-ingest/cav-builder,sonnetfürcav-director/cav-artist-fast/cav-qa-critic,opusfürcav-artist, und weise ihn an, zuerst$SKILL_DIR/agents/<agent-name>.mdzu lesen und als seine Anweisungen zu befolgen, und dann die übliche Anweisung zu geben. - Stelle sicher, dass der Benutzer Skript, Voiceover und Stilbibel bereitgestellt hat; frage (AskUserQuestion) nur nach dem, was fehlt.
Phase 0 · Sub-Agenten und Laufzeit registrieren
AGENTS_DIR="${CLAUDE_CONFIG_DIR:-$HOME/.claude}/agents" && mkdir -p "$AGENTS_DIR" && for f in "$SKILL_DIR"/agents/cav-*.md; do cmp -s "$f" "$AGENTS_DIR/$(basename "$f")" || cp "$f" "$AGENTS_DIR/"; done
(Portabel auf macOS und Linux. build_video.py hält sie auch bei jedem Lauf synchron; die obige Zeile garantiert dies beim ersten Durchlauf.) Die private Laufzeit ($SKILL_DIR/.runtime/: venv, Whisper-Modell, Browser, ffmpeg falls nötig) wird von cav-ingest über build_video.py --check initialisiert (1–3 Min. einmalig, Internet erforderlich; berührt niemals andere Umgebungen). Bestimme WORK (dirname(--out)) und führe mkdir -p aus.
Phase 1 · Erfassung → cav-ingest
Delegieren. Erwarte STATUS: ok|needs_user und WORK/director_brief.json.
alignment_coverage < 0.6→ Das Skript passt nicht zum Take: Anhalten und den Benutzer fragen (Skript korrigieren / bestätigen / einen neuen Take bereitstellen). Nur Rechtschreibunterschiede sind in Ordnung.- Ein erforderlicher Eintrag für Stimmung/Palette fehlt → Fragen, ob er zur Bibel hinzugefügt oder die Standardwerte akzeptiert werden sollen.
- Ansonsten fortfahren; zeige Warnungen in deiner nächsten benutzergerichteten Nachricht an.
Phase 2 · Regie → cav-director
Eingaben: WORK/director_brief.json, WORK/storyboard.draft.json, references/storyboard_schema.json. Ausgabe WORK/storyboard.json. Führe eine Plausibilitätsprüfung der Antwort durch (Kachelung, Schnitte an Pausenmittelpunkten, 1,5–6 s Shots, Kameravariation, SFX vorhanden). Nicht zufrieden → ein neuer cav-director-Aufruf mit spezifischen Korrekturen.
Phase 3 · Zeichnen → cav-artist (oder cav-artist-fast)
Eingaben: WORK/storyboard.json, WORK/style.normalized.json, die Bibel des Benutzers, plus die ursprünglichen CLI-Argumente für Vorschau-Renderings. Ausgabe WORK/scene_drawers.js, verifiziert mit einer --frames-Vorschau (null [scene / layer / frame]-Fehler). Die Aufgabe des Künstlers ist nur die Kunst; benötigte Storyboard-Änderungen werden dir für cav-director gemeldet.
Phase 4 · Bauen → cav-builder
Vollständiger Build nach --out (es übergibt --no-review; das Gate liegt bei dir). Erwarte BUILD: ok, Ducking innerhalb von ±1 dB des Ziels, ≈ −14 LUFS, und WORK/qa/-Frames. Bei failed leite den genannten [scene / layer / frame]-Fehler an cav-artist (oder einen Timing-Fehler an cav-director) weiter, und baue dann mit --only neu.
Phase 5 · QA → cav-qa-critic
Immer ausführen, bevor der Benutzer etwas sieht. Bei STATUS: FAIL:
- Tickets mit
target_file: scene_drawers.js→ neuercav-artist(Fehlerbehebungsmodus, Ticketliste in der Anweisung). Tickets mitstoryboard.json→ neuercav-director(gezielte Aktualisierung), danncav-artist, wenn sich Szenenschlüssel geändert haben. cav-buildermit--only <betroffene Shot-IDs>.- Neuer
cav-qa-criticauf den neuen Frames. Maximal 2 automatische Fehlerbehebungsschleifen; teile dem Benutzer dann mit, was immer noch fehlschlägt, und lass ihn entscheiden (fortfahren zum Review-Gate oder eine Korrektur anweisen).
Phase 6 · REVIEW-GATE (du, in der Hauptsitzung; niemals überspringen, niemals für den Benutzer entscheiden)
python3 "$SKILL_DIR/scripts/review.py" --questions --storyboard WORK/storyboard.json --video project/final_video.mp4
Frage mit AskUserQuestion, maximal drei schnelle Aufrufe (teile ihnen den Videopfad und mit, was die QA bestätigt hat):
- Runde 1 · "Video fertigstellen oder ändern?"
- Wenn Ändern, Runde 2 in EINEM Aufruf: Welche Teile? (Visuelles / Kamera & Schnitt / Untertitel / Ton, Mehrfachauswahl) und Welche Momente? (Ganzes Video oder bestimmte Shots, Mehrfachauswahl).
- EIN Aufruf mit der Runde-3-Frage für jeden ausgewählten Teil (Mehrfachauswahl; "Sonstiges" = Freitext): Visuelles → Figur · Hintergrund · Farben & Beleuchtung · Bewegung; Kamera → Näher · Weiter · Ruhiger · Schnittzeitpunkt/Übergänge; Untertitel → Aus · Größer · Kleiner · Nach oben verschieben; Ton → Musik leiser/lauter · Effekte leiser/lauter.
Schreibe die Antworten in WORK/review.json:
{"decision": "change", "parts": ["visuals", "sound"], "shots": ["s2 3.5-5.6s"],
"visuals": ["Character", "Motion"], "sound": ["Music quieter"],
"notes": {"visuals": "face looks too long", "sound": "use ~/music/sitar.mp3"}}
Dann:
- Parametrische Änderungen (Bildausschnitt enger/weiter/ruhiger, Untertitel aus/Größe/Position, Musik/Effekte ±3 dB) →
cav-buildermit--apply-review WORK/review.json. Es baut nur die betroffenen Ziele neu (Ton → Audio + Remux; Kamera → diese Shots; Untertitel → alle Shots). - Kunst-/Schnitt-Tickets (Visuelles, Schnittzeitpunkt, Freitext-Notizen) →
--apply-reviewschreibt auchWORK/review_plan.jsonund gibt den genauen--only-Befehl aus. Delegiere nur die betroffenen Shots an einen neuencav-director(Schnittzeitpunkt/Kamera-Geschwindigkeit) und/odercav-artist(Visuelles), gibreview_plan.jsonund die Notizen →cav-builder --only <shots>→cav-qa-criticauf den geänderten Shots → zurück zu Runde 1. Schleife bis Video fertigstellen.storyboard.prev.jsonenthält das Storyboard vor der Änderung, falls der Benutzer rückgängig machen möchte.
Phase 7 · Ausliefern → cav-builder
Bei Video fertigstellen, delegiere --ship (--keep-deps wenn der Benutzer bald ein weiteres Video erstellen wird; --purge-recipe nur auf Anfrage). Es behält nur das finale Video (plus die Eingaben des Benutzers und das wenige KB große Rezept storyboard.json / scene_drawers.js) und löscht alle generierten Dateien und $SKILL_DIR/.runtime/. Teile dem Benutzer mit: den Videopfad, seine Spezifikationszeile (Auflösung/Bildrate/Dauer) und den freigegebenen Speicherplatz. Systemtools (python3, ffmpeg, Chrome) werden niemals berührt.
Garantien, die die Sub-Agenten einhalten müssen (vollständige Details in ihren Dateien)
Regisseur: Shots kacheln; Schnitte an Pausenmittelpunkten; 1,5–6 s; abwechslungsreiche Voreinstellungen; beat bei jeder Pause; eine Stimmung/Shot; Übergänge bei Pausen; speaker bei Lippen-Sync-Shots; framegenaue sfx_events (Schritte gemäß walk_cycle.frames_per_step, ±1,5 dB Wechsel; swell-Spitzen bei t_sec + duration_sec am Schnitt; ambience −24…−28 dB; bgm.gain_db −18…−21).
Kunst: Nur Palettenfarben, kein Hex, kein #000, shadowOf-Schatten, ein Schlüssellicht F.mood.key_dir_deg, fünf Parallax-Ebenen + _lights, ≥ 400 px Ränder, fundierte Architektur, celShade + drawTaperedStroke(…, 1.6) + ein array-basiertes applyRimLight, IK-verankerte Füße, Stoffketten, Lippen-Sync-Münder, CAV.withBoil auf Zweien (tc) nur für Figuren/FX, deterministischer RNG.
Audio: SFX-Assets zuerst, dann prozedural; sidechaincompress Ducking ±1 dB von audio_palette.duck_db (15), +3 dB Pausen-Swells, Zweidurchgang loudnorm −14 LUFS / −1.5 dBTP; Stems nach dem Mix gelöscht.
Bauen: Clips pro Shot (x264 crf 16) mit sofort gelöschten Frames; build_state.json-Hashes machen Wiederholungen inkrementell; --only s2,s3,audio schränkt eine Wiederholung ein; Shots, deren Schnitte sich verschoben haben, und ein Crossfade-Follower eines jeden neu gerenderten Shots, werden immer neu gerendert.
Flags: --preview --workers N --force --frames a,b,c --apply-review --ship --keep-deps --purge-recipe --stage analyze --check --auto.
Kunst-API: references/art_reference.md · Schemas: references/storyboard_schema.json, references/style_schema.json.
Fehlerbehebung
alignment_coverageniedrig → Skript und Take unterscheiden sich; korrigierescript.txt.scene_drawers.js does not define scene(s)→ Storyboard-scene-Schlüssel müssen mitregisterScenes-Schlüsseln übereinstimmen.- Ducking weit vom Ziel entfernt → Atemgeräusche/Musiküberlagerungen; übergebe
--duck-dboder erhöhebgm.gain_db. - Leere/schwarze Frames → eine Ebene hat einen Fehler geworfen; lies den
[scene / layer / frame]-Fehler. Langsame Renderings →--workers N,--preview. - Laufzeit defekt/veraltet → lösche
$SKILL_DIR/.runtime/und führe--checkaus. Offline → setzeCAV_RUNTIME; der Aligner fällt auf eine reine Energie-basierte Segmentierung ohne Whisper-Modell zurück. - Neue Sub-Agenten, die in der aktuellen Sitzung nicht aufgelistet sind → sie sind auf der Festplatte registriert; starte eine neue Claude Code-Sitzung oder verwende den obigen
general-purpose-Fallback (mit dem passendenmodel).