Communitygithub.com

custom-animated-video

Verwandle ein Skript + Voiceover + eine beliebige style_bible.json in ein fertiges, frame-genaues animiertes MP4 mit Lippen-Sync, Tapered-Ink-Cel-Art, Randlicht, Stoffphysik, Parallax-Kamerafahrten, gestalteten Untertiteln, stilangepasstem Foley/Ambiente und einem automatisch geduckten -14 LUFS Mix.

Was ist custom-animated-video?

Dieses Skill orchestriert die vollständige Erstellung eines animierten Videos aus einer Audiodatei, einem Skript und einer Stilbibel. Der Prozess ist in spezialisierte Sub-Agenten unterteilt – *cav-ingest*, *cav-director*, *cav-artist*, *cav-builder* und *cav-qa-critic* – die nacheinander und mit dedizierten Modellen (z. B. Opus für den Künstler, Sonnet für den Regisseur) arbeiten. Es wird vollständig lokal gerendert (Playwright + HTML5-Canvas + FFmpeg + numpy/scipy, mit faster-whisper für die Audiosegmentierung) und benötigt keine Cloud-APIs. Der Workflow umfasst die Normalisierung des Stils, die Audioanalyse, die Erstellung eines Storyboards, das Zeichnen jeder Szene als HTML5-Canvas-Skript, die Synthese von Soundeffekten, das Mischen des Tons (mit Sidechain-Kompression und Loudnorm auf -14 LUFS), das Rendern aller Frames pro Shot und die Endmontage. Ein QA-Kritiker prüft auf Fehler, die dann automatisch in bis zu zwei Iterationen behoben werden. Eine optionale Benutzer-Review-Gate ermöglicht manuelle Anpassungen (z. B. Bildausschnitt, Farben, Ton), bevor das finale Video ausgegeben wird.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/aryanmali/custom-animated-video/tree/main

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

custom-animated-video: orchestrator

SKILL_DIR = Der Ordner, der diese Datei enthält. Du bist der Orchestrator: Du behältst die Absicht des Benutzers im Blick, delegierst jede Phase an einen spezialisierten Sub-Agenten und führst das Review-Gate selbst durch. Backe niemals einen Stil in den Kern; jeder Stilwert stammt aus der style_bible.json des Benutzers.

FlagBedeutung
--scriptscript.txt / script.md (die tatsächlich gesprochenen Wörter)
--audiovoiceover.wav / .mp3
--stylestyle_bible.json (beliebige Form; wird automatisch normalisiert)
--bgmoptionale Musikdatei (sonst Asset-Bibliothek, sonst prozeduraler modaler Drohne)
--aspect16:9 (1920×1080, Standard) oder 9:16 (1080×1920)
--subtitlestrue / false
--outAusgabe .mp4 (deren Ordner ist WORK, sofern nicht --workdir)

Pipeline (alle gesteuert durch scripts/build_video.py): normalize_style → analyze_audio → storyboard.json → scene_drawers.js → sfx_synth → mix_audio → render_frames (pro Shot → Clip, Frames gelöscht) → concat + mux → QA-Frames → auto-clean → review gate.

Agenten und Routing

PhaseSub-AgentModell · AufwandAufgabe
1 Erfassungcav-ingesthaiku · niedrigLaufzeitprüfung, --stage analyze, schreibt WORK/director_brief.json
2 Regiecav-directorsonnet · mittelstoryboard.json (7 Regeln des Regisseurs); nur Shot-basierte Aktualisierungen
3 Zeichnencav-artist (cav-artist-fast im schnellen/günstigen Modus)opus · hoch (sonnet · hoch)scene_drawers.js (6 Kunstregeln) + Vorschau-Verifizierung; gezielte Fehlerkorrekturen
4 Bauencav-builderhaiku · niedrigVollständiger / --only / --apply-review / --ship, Audio-Telemetrie
5 QAcav-qa-criticsonnet · mittelPrüft WORK/qa/, gibt `STATUS: PASS

Verwende den schnellen Modus nur wenn der Benutzer nach schnell/günstig/billig/Entwurf gefragt hat. Stufe den Künstler niemals stillschweigend herab.

Orchestrierungsregeln

  • Zustandslose Sub-Agenten für Einzelaufrufe. Die Prompt-Caches laufen nach ~5 Minuten ab und das Benutzer-Review-Gate kann viel länger dauern, also behalte niemals einen Sub-Agenten über ein Gate hinweg am Leben und sende niemals SendMessage an einen beendeten. Erstelle einen neuen Sub-Agenten pro Aufgabe mit expliziten absoluten Pfaden und einer prägnanten strukturierten Anweisung (siehe unten). Führe unabhängige Arbeiten in einer Nachricht aus.
  • Anweisungsformat (jede Delegation): SKILL_DIR, WORK, die genauen Werte von --script/--audio/--style/--aspect/--subtitles/--bgm/--out, die Aufgabe, die zu lesenden Eingabedateien, die zu schreibenden Dateien und die Form der Antwort, die du benötigst.
  • Halte deinen eigenen Kontext klein: Lies Zusammenfassungen der Sub-Agenten, keine rohen Dateien. Lies niemals audio_timeline.json (riesige, framebasierte Arrays). Verwende WORK/director_brief.json.
  • Wenn ein cav-* Sub-Agententyp in dieser Sitzung noch nicht verfügbar ist (Agenten, die während der Sitzung registriert werden, werden möglicherweise erst nach einem Neustart aufgelistet), behalte das Modell-Routing bei: Rufe Agent(subagent_type="general-purpose", model=<m>) mit model = haiku für cav-ingest/cav-builder, sonnet für cav-director/cav-artist-fast/cav-qa-critic, opus für cav-artist, und weise ihn an, zuerst $SKILL_DIR/agents/<agent-name>.md zu lesen und als seine Anweisungen zu befolgen, und dann die übliche Anweisung zu geben.
  • Stelle sicher, dass der Benutzer Skript, Voiceover und Stilbibel bereitgestellt hat; frage (AskUserQuestion) nur nach dem, was fehlt.

Phase 0 · Sub-Agenten und Laufzeit registrieren

AGENTS_DIR="${CLAUDE_CONFIG_DIR:-$HOME/.claude}/agents" && mkdir -p "$AGENTS_DIR" && for f in "$SKILL_DIR"/agents/cav-*.md; do cmp -s "$f" "$AGENTS_DIR/$(basename "$f")" || cp "$f" "$AGENTS_DIR/"; done

(Portabel auf macOS und Linux. build_video.py hält sie auch bei jedem Lauf synchron; die obige Zeile garantiert dies beim ersten Durchlauf.) Die private Laufzeit ($SKILL_DIR/.runtime/: venv, Whisper-Modell, Browser, ffmpeg falls nötig) wird von cav-ingest über build_video.py --check initialisiert (1–3 Min. einmalig, Internet erforderlich; berührt niemals andere Umgebungen). Bestimme WORK (dirname(--out)) und führe mkdir -p aus.

Phase 1 · Erfassung → cav-ingest

Delegieren. Erwarte STATUS: ok|needs_user und WORK/director_brief.json.

  • alignment_coverage < 0.6 → Das Skript passt nicht zum Take: Anhalten und den Benutzer fragen (Skript korrigieren / bestätigen / einen neuen Take bereitstellen). Nur Rechtschreibunterschiede sind in Ordnung.
  • Ein erforderlicher Eintrag für Stimmung/Palette fehlt → Fragen, ob er zur Bibel hinzugefügt oder die Standardwerte akzeptiert werden sollen.
  • Ansonsten fortfahren; zeige Warnungen in deiner nächsten benutzergerichteten Nachricht an.

Phase 2 · Regie → cav-director

Eingaben: WORK/director_brief.json, WORK/storyboard.draft.json, references/storyboard_schema.json. Ausgabe WORK/storyboard.json. Führe eine Plausibilitätsprüfung der Antwort durch (Kachelung, Schnitte an Pausenmittelpunkten, 1,5–6 s Shots, Kameravariation, SFX vorhanden). Nicht zufrieden → ein neuer cav-director-Aufruf mit spezifischen Korrekturen.

Phase 3 · Zeichnen → cav-artist (oder cav-artist-fast)

Eingaben: WORK/storyboard.json, WORK/style.normalized.json, die Bibel des Benutzers, plus die ursprünglichen CLI-Argumente für Vorschau-Renderings. Ausgabe WORK/scene_drawers.js, verifiziert mit einer --frames-Vorschau (null [scene / layer / frame]-Fehler). Die Aufgabe des Künstlers ist nur die Kunst; benötigte Storyboard-Änderungen werden dir für cav-director gemeldet.

Phase 4 · Bauen → cav-builder

Vollständiger Build nach --out (es übergibt --no-review; das Gate liegt bei dir). Erwarte BUILD: ok, Ducking innerhalb von ±1 dB des Ziels, ≈ −14 LUFS, und WORK/qa/-Frames. Bei failed leite den genannten [scene / layer / frame]-Fehler an cav-artist (oder einen Timing-Fehler an cav-director) weiter, und baue dann mit --only neu.

Phase 5 · QA → cav-qa-critic

Immer ausführen, bevor der Benutzer etwas sieht. Bei STATUS: FAIL:

  1. Tickets mit target_file: scene_drawers.js → neuer cav-artist (Fehlerbehebungsmodus, Ticketliste in der Anweisung). Tickets mit storyboard.json → neuer cav-director (gezielte Aktualisierung), dann cav-artist, wenn sich Szenenschlüssel geändert haben.
  2. cav-builder mit --only <betroffene Shot-IDs>.
  3. Neuer cav-qa-critic auf den neuen Frames. Maximal 2 automatische Fehlerbehebungsschleifen; teile dem Benutzer dann mit, was immer noch fehlschlägt, und lass ihn entscheiden (fortfahren zum Review-Gate oder eine Korrektur anweisen).

Phase 6 · REVIEW-GATE (du, in der Hauptsitzung; niemals überspringen, niemals für den Benutzer entscheiden)

python3 "$SKILL_DIR/scripts/review.py" --questions --storyboard WORK/storyboard.json --video project/final_video.mp4

Frage mit AskUserQuestion, maximal drei schnelle Aufrufe (teile ihnen den Videopfad und mit, was die QA bestätigt hat):

  1. Runde 1 · "Video fertigstellen oder ändern?"
  2. Wenn Ändern, Runde 2 in EINEM Aufruf: Welche Teile? (Visuelles / Kamera & Schnitt / Untertitel / Ton, Mehrfachauswahl) und Welche Momente? (Ganzes Video oder bestimmte Shots, Mehrfachauswahl).
  3. EIN Aufruf mit der Runde-3-Frage für jeden ausgewählten Teil (Mehrfachauswahl; "Sonstiges" = Freitext): Visuelles → Figur · Hintergrund · Farben & Beleuchtung · Bewegung; Kamera → Näher · Weiter · Ruhiger · Schnittzeitpunkt/Übergänge; Untertitel → Aus · Größer · Kleiner · Nach oben verschieben; Ton → Musik leiser/lauter · Effekte leiser/lauter.

Schreibe die Antworten in WORK/review.json:

{"decision": "change", "parts": ["visuals", "sound"], "shots": ["s2 3.5-5.6s"],
 "visuals": ["Character", "Motion"], "sound": ["Music quieter"],
 "notes": {"visuals": "face looks too long", "sound": "use ~/music/sitar.mp3"}}

Dann:

  • Parametrische Änderungen (Bildausschnitt enger/weiter/ruhiger, Untertitel aus/Größe/Position, Musik/Effekte ±3 dB) → cav-builder mit --apply-review WORK/review.json. Es baut nur die betroffenen Ziele neu (Ton → Audio + Remux; Kamera → diese Shots; Untertitel → alle Shots).
  • Kunst-/Schnitt-Tickets (Visuelles, Schnittzeitpunkt, Freitext-Notizen) → --apply-review schreibt auch WORK/review_plan.json und gibt den genauen --only-Befehl aus. Delegiere nur die betroffenen Shots an einen neuen cav-director (Schnittzeitpunkt/Kamera-Geschwindigkeit) und/oder cav-artist (Visuelles), gib review_plan.json und die Notizen → cav-builder --only <shots> → cav-qa-critic auf den geänderten Shots → zurück zu Runde 1. Schleife bis Video fertigstellen. storyboard.prev.json enthält das Storyboard vor der Änderung, falls der Benutzer rückgängig machen möchte.

Phase 7 · Ausliefern → cav-builder

Bei Video fertigstellen, delegiere --ship (--keep-deps wenn der Benutzer bald ein weiteres Video erstellen wird; --purge-recipe nur auf Anfrage). Es behält nur das finale Video (plus die Eingaben des Benutzers und das wenige KB große Rezept storyboard.json / scene_drawers.js) und löscht alle generierten Dateien und $SKILL_DIR/.runtime/. Teile dem Benutzer mit: den Videopfad, seine Spezifikationszeile (Auflösung/Bildrate/Dauer) und den freigegebenen Speicherplatz. Systemtools (python3, ffmpeg, Chrome) werden niemals berührt.


Garantien, die die Sub-Agenten einhalten müssen (vollständige Details in ihren Dateien)

Regisseur: Shots kacheln; Schnitte an Pausenmittelpunkten; 1,5–6 s; abwechslungsreiche Voreinstellungen; beat bei jeder Pause; eine Stimmung/Shot; Übergänge bei Pausen; speaker bei Lippen-Sync-Shots; framegenaue sfx_events (Schritte gemäß walk_cycle.frames_per_step, ±1,5 dB Wechsel; swell-Spitzen bei t_sec + duration_sec am Schnitt; ambience −24…−28 dB; bgm.gain_db −18…−21). Kunst: Nur Palettenfarben, kein Hex, kein #000, shadowOf-Schatten, ein Schlüssellicht F.mood.key_dir_deg, fünf Parallax-Ebenen + _lights, ≥ 400 px Ränder, fundierte Architektur, celShade + drawTaperedStroke(…, 1.6) + ein array-basiertes applyRimLight, IK-verankerte Füße, Stoffketten, Lippen-Sync-Münder, CAV.withBoil auf Zweien (tc) nur für Figuren/FX, deterministischer RNG. Audio: SFX-Assets zuerst, dann prozedural; sidechaincompress Ducking ±1 dB von audio_palette.duck_db (15), +3 dB Pausen-Swells, Zweidurchgang loudnorm −14 LUFS / −1.5 dBTP; Stems nach dem Mix gelöscht. Bauen: Clips pro Shot (x264 crf 16) mit sofort gelöschten Frames; build_state.json-Hashes machen Wiederholungen inkrementell; --only s2,s3,audio schränkt eine Wiederholung ein; Shots, deren Schnitte sich verschoben haben, und ein Crossfade-Follower eines jeden neu gerenderten Shots, werden immer neu gerendert. Flags: --preview --workers N --force --frames a,b,c --apply-review --ship --keep-deps --purge-recipe --stage analyze --check --auto. Kunst-API: references/art_reference.md · Schemas: references/storyboard_schema.json, references/style_schema.json.

Fehlerbehebung

  • alignment_coverage niedrig → Skript und Take unterscheiden sich; korrigiere script.txt.
  • scene_drawers.js does not define scene(s) → Storyboard-scene-Schlüssel müssen mit registerScenes-Schlüsseln übereinstimmen.
  • Ducking weit vom Ziel entfernt → Atemgeräusche/Musiküberlagerungen; übergebe --duck-db oder erhöhe bgm.gain_db.
  • Leere/schwarze Frames → eine Ebene hat einen Fehler geworfen; lies den [scene / layer / frame]-Fehler. Langsame Renderings → --workers N, --preview.
  • Laufzeit defekt/veraltet → lösche $SKILL_DIR/.runtime/ und führe --check aus. Offline → setze CAV_RUNTIME; der Aligner fällt auf eine reine Energie-basierte Segmentierung ohne Whisper-Modell zurück.
  • Neue Sub-Agenten, die in der aktuellen Sitzung nicht aufgelistet sind → sie sind auf der Festplatte registriert; starte eine neue Claude Code-Sitzung oder verwende den obigen general-purpose-Fallback (mit dem passenden model).

Verwandte Skills