Communitygithub.com

Cartoon Audio Short (v2)

Erstelle einen vertikalen 9:16 animierten Zeichentrick-Kurzfilm mit flachen 2D-Bohnenkopf-Figuren in einer bunten, getuschten 3D-Welt. Schlägt 10 verifizierte Story-Ideen vor, schreibt ein zeitlich abgestimmtes Drehbuch und verwandelt die Sprachaufnahme des Nutzers in ein fertiges 1080x1920 MP4 mit Musik und Soundeffekten auf halber Sprachlautstärke.

Was ist Cartoon Audio Short (v2)?

Dieses Skill ermöglicht die Erstellung professioneller animierter Kurzfilme im TikTok/Reels-Format (9:16, 1080x1920) aus einer einfachen Idee oder einem Thema. Es durchläuft einen strukturierten Pipeline-Prozess: Zunächst werden 10 per Websuche verifizierte Story-Ideen generiert, dann ein zeitlich abgestimmtes Drehbuch (ca. 3,7 Wörter pro Sekunde) erstellt. Nachdem der Nutzer eine Sprachaufnahme hochgeladen hat, wird der gesamte Film automatisch gebaut – mit 3D-Welten, animierten 2D-Figuren, Kamerafahrten, Musik und Soundeffekten. Das Skill ist für Claude Code optimiert und nutzt eine lokale Entwicklungs-Engine mit Node.js, Python, ffmpeg und Playwright. Es unterstützt maximale Längen von 60 Sekunden und produziert fertige MP4-Dateien mit präzise abgestimmter Audiomischung (Musik bei −6 dB, Soundeffekte bei oder unter −6 dB relativ zur Stimme). Developer können auf die gesamte Pipeline über Bash-Skripte zugreifen (`short.sh`), was Wiederverwendbarkeit und schnelle Iterationen ermöglicht.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/sahildwibedy62-del/skill-animation/tree/HEAD

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht Cartoon Audio Short (v2)?

Erstellt vom WHATIF ANIMATIONSTORYS-Kanal. Pipeline: Idee → Drehbuch → Sprachaufnahme → fertiges MP4. Referenz-Build: „The Soldier Who Never Left" (19,7 s, 8 Einstellungen), enthalten in kit/example/soldier/.

Der Look

  • Figuren: flache 2D-Bohnenkopf-Cartoon-„Karten", auf Leinwand gezeichnet. Sie haben pflaumenfarbene Konturen und große ausdrucksstarke Gesichter und sind stets in Bewegung (Atmen, Blinzeln, Kopfnicken).
  • Welt: eine gesättigte 3D-Szene aus einfachen Formen. Bemalte flache Texturen mit dunklen Nähten, schwarze Tintenlinien, Toon-Shading und Nebel in der Farbe des Horizonts.
  • Kamera: gleitende, abgefederte Bewegungen mit Schärfentiefe bei Nahaufnahmen. Nichts ist je statisch.
  • Format: 1080×1920, 30 fps, genau so lang wie die Sprachaufnahme.
  • Ton: Die Stimme des Nutzers bleibt unberührt. Ein synthesierter Marsch-Musikteppich und Soundeffekte liegen bei 50 % (−6 dB) der Sprachlautstärke.

Harte Regeln

  1. Originalität. Niemals die Aufnahme eines anderen Creators Einstellung für Einstellung nachbauen; biete eine originelle Interpretation derselben Idee an.
  2. Keine echten, namentlich genannten lebenden Personen als Figuren. Keine Markenmaskottchen, Logos oder urheberrechtlich geschützte Figuren.
  3. Keine Untertitel, außer wenn gewünscht. Diegetischer Text (Schilder, Gravuren) ist in Ordnung, muss aber korrekt lesbar und niemals gespiegelt sein.
  4. Die Stimme niemals bearbeiten, trimmen, beschleunigen oder neu timen. Das Bild ist auf die Stimme abgestimmt. Jede visuelle Reaktion erfolgt 0–3 Frames vor ihrem Wort.
  5. Das Audio-Verhältnis ist festgelegt:
    • Musik liegt bei −6,0 dB relativ zur Stimme (gegated RMS).
    • SFX liegen bei oder unter −6 dB, mit Spitzen von maximal 0,7× dem Sprachspitzenwert.
    • Immer mit mix.py mischen. Kein Ducking, keine Kompression auf den Mix.
    • Nur ein linearer Gain plus ein Peak Limiter auf den gesamten Mix (finish.sh).
  6. Fakten, die als wahr dargestellt werden, zuerst mit einer Websuche überprüfen. Virale Legenden als „der Legende nach" kennzeichnen.
  7. Nichts Grafisches, nichts Politisches und keine reale lebende Person als Zielscheibe eines Witzes.
  8. Weiterarbeiten ohne Genehmigungsstopps. Eine Frage nur stellen, wenn die Arbeit ohne die Antwort wirklich nicht fortgesetzt werden kann.
  9. Den Nutzer mit einer Aufgabenliste auf dem Laufenden halten. Vor dem langen Rendern ein Kontaktbogen mit Standbildern senden.

Routen (Einstiegspunkt wählen)

Nutzer hatGehe zu
Audio angehängt (+ Drehbuch)Sofort Stufe 4
Audio, kein DrehbuchNach dem Drehbuchtext fragen (Claude kann Audio ohne ASR nicht hören) → Stufe 4
Ein Drehbuch, keine StimmeStufe 3 (straffen) → auf Audio warten
Nur ein ThemaStufe 3 direkt (Fakten prüfen)
Nichts / „Gib mir Ideen"Stufe 2

Wenn unklar, EINE Frage stellen: „Wo startest du? (Ideen / Drehbuch / Sprachaufnahme fertig)". Auch die Ziellänge erfragen, falls nicht angegeben. Standard 20–30 s; bis zu 60 s erlaubt.

Stufe 2: 10 Ideen

Genau 10, nummeriert, in einer Antwort angeben. Enden mit: „Antworte mit einer Zahl oder ‚mehr‘ für 10 neue."

N. TITEL (5–8 Wörter, neugierig machend)
   Aufhänger: Der erste gesprochene Satz – ein Paradoxon als Tatsache formuliert.
   Wendung: Die ironische letzte Zeile.
   Große Bilder: 2–3 Momente (Einsturz / Enthüllung / Verfolgungsjagd / Verwandlung).
   Status: WAHR (dokumentiert) · UMSTRITTEN · LEGENDE

Eine perfekte Idee hat:

  • Eine überraschende Geschichte mit physischer Ursache und Wirkung, die man ZEIGEN kann.
  • Einen Jedermann-Helden, eskalierende Einsätze und eine Wendung in der letzten Zeile.
  • Eine Szenerie, die aus Kisten, Zylindern und Kugeln plus Karten baubar ist (Stadt, Brücke, Schiff, Burg, Wüste, Labor, Palast, Bauernhof, Hafen, Mine).
  • Ein „Vorher vs. Nachher", das man in einem Frame sehen kann, was ein starkes Thumbnail ergibt.

Die 10 verteilen auf: Antike, Mittelalter, 1800er, Moderne, Wissenschaft, Tiere, Erfindungen, Katastrophen, seltsame Gesetze und glückliche Zufälle. Jede WAHR- oder UMSTRITTEN-Idee vor dem Auflisten mit einer Websuche verifizieren.

Stufe 3: Drehbuch

Das Drehbuch auf etwa 3,7 gesprochene Wörter pro Sekunde skalieren: 20 s ≈ 75 Wörter, 30 s ≈ 110, 45 s ≈ 165, 60 s ≈ 220.

Struktur:

  1. Aufhänger (Satz 1, kein Vorlauf): Die absurde Tatsache. Sie muss in den ersten 1,5 s landen.
  2. Schauplatz (1–2 Zeilen): Wann, wo, wer und ein konkretes Detail.
  3. Eskalation (2–4 Schläge, jeder größer). Andere bezweifeln oder verspotten. Ein übertriebener Witz.
  4. Wendepunkt: „Aber als…" / „Weißt du…" führt den eigentlichen Mechanismus ein, idealerweise mit einer Alltagsanalogie.
  5. Pointe: Kurz und ironisch und die LETZTEN Wörter des Videos. Bonus: Sie soll zum Aufhänger zurückführen, damit sich der Kurzfilm natürlich wiederholt.

Stil:

  • Einfaches gesprochenes Englisch mit Kontraktionen.
  • Sätze von 8–15 Wörtern; Zahlen als Wörter ausschreiben.
  • Keine Regieanweisungen im gesprochenen Text.
  • Niemals beschreiben, was der Zuschauer bereits sieht.

Selbstprüfung (stillschweigend korrigieren, wenn einer fehlschlägt): Wortzahl innerhalb ±10 % des Ziels; der Aufhänger ist eine Aussage, keine Frage; jeder Satz kann wörtlich illustriert werden; die Pointe hat 12 Wörter oder weniger und kommt zuletzt; die Fakten stimmen mit den Quellen überein.

Antworten mit:

  • a) Das Drehbuch in einem Codeblock mit Wortzahl und geschätzten Sekunden.
  • b) Einem einleitigen Bildplan.
  • c) Aufnahmetipps:
    • Eine warme, gleichmäßige Erzählstimme. ElevenLabs funktioniert gut: eine tiefe Erzählerstimme, Geschwindigkeit ~1,05–1,1, Stabilität ~45–55 %.
    • MP3 oder WAV ist in Ordnung.
    • Natürliche Pausen am Satzende lassen.
    • OHNE Musik exportieren.
  • d) „Lade die Sprachaufnahme hoch, wenn sie fertig ist, und ich mache das vollständige Video."

Den endgültigen Drehbuchtext behalten, weil er das Timing bestimmt. Wenn sie eine geänderte Version aufgenommen haben, nach dem endgültigen Text fragen.

Stufe 4: Bauen (ab hier keine Stopps mehr)

Aufgabenliste erstellen: Setup · Timing · Einstellungsplan · Welt · Besetzung · Bewegung · Kontaktbogen → Benutzer · Ton · Vollständiger Render · Abschluss + QA · Lieferung.

4.0 Setup

SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug>      # $SK/kit als schreibgeschützt behandeln
cd ~/shorts/<slug> && cp <hochgeladene Stimme> voice.mp3 && printf '%s' "<endgültiges Drehbuch>" > script.txt
./short.sh doctor
  • setup.sh kopiert die Engine, die Werkzeuge und das Arbeitsbeispiel (als Start-web/story.js und audio.py). Es installiert three.js r160 und die Toon-Basis aus kit/vendor/ (kein Netzwerk nötig), erstellt und prüft die Syntax von web/toon.js und verknüpft Playwright. Es beendet mit 3, wenn three.js fehlt.
  • Voraussetzungen: Node 22.6+, Python 3 + numpy + Pillow, ffmpeg (libx264, alimiter, ebur128), Playwright + Chromium. Falls Playwright fehlt: npm i -g playwright && npx playwright install chromium.
  • Niemals TLS deaktivieren oder einen Proxy umgehen. Wenn eine Installation blockiert ist, sagen, welches Paket, und mit dem fortsetzen, was installiert ist.
  • Chromium verwendet CPU WebGL (swiftshader) mit etwa 3–5 s pro Frame pro Worker. Ein 20 s Kurzfilm (600 Frames) dauert ungefähr 20–50 Min.; entsprechend planen.

4.1 Timing: ./short.sh timing

  • Wenn whisper oder faster-whisper installiert ist, werden Wort-Zeitstempel verwendet. Andernfalls werden Drehbuch-Phrasen mit einer Silben-/Dauer-DP an sprachdetektierte Stille angepasst.
  • Es gibt die Phrasen mit Framebroken und WARN-Zeilen aus (sehr kurze Phrasen, Überlappungen, lange Nachklänge, ein später Start, eine Aufnahme, die nicht zum Drehbuch passt). Die Warnungen durch Zusammenlegen von Einstellungen, manuelles Korrigieren von work/phrases.json oder Nachfragen nach dem endgültigen Text beheben.
  • N = Gesamtframes = frames30 in work/phrases.json (gemessen aus der dekodierten Audio-Datei).

4.2 Einstellungsplan: work/PLAN.md, vor jeglichem Code

Eine Zeile pro Einstellung: | # | Frames | Wörter | Schauplatz | Licht | Kamera | Besetzung/Pose/Gesicht | FX | SFX |

  • Frame 0 IST das Aufhängerbüld: kein Einblenden, kein Titelbild.
  • Etwa eine Einstellung pro Phrase. Phrasen kürzer als 0,6 s in die nächste Einstellung zusammenlegen.
  • Jeden Satz wörtlich illustrieren; Requisiten tragen die Witze.
  • Einstellungsgrößen-Rhythmus: Aufhänger MCU → Totale Einstellung → Zweier → Detail auf das Schlüsselobjekt → Reaktions-Nahaufnahme → Umgebungsbewegung für die Auflösung. Niemals zweimal dieselbe Größe hintereinander.
  • Licht setzt die Stimmung: Tag (normal), golden (Dramatik/Niedergang), Nacht-Blau (Erklärung). Ein Zeitsprung erhält einen 6-Frame-weißen Blitz.
  • Die Pointe bekommt einen Stich: Musik stoppt, ein tiefer Schlag, eine Hereinzoom mit 3–5° Neigung. Die physische Auflösung landet auf dem letzten Wort.
  • Der letzte Frame sollte ein starkes Standbild sein, das sauber zurück zu Frame 0 für eine Schleife schneidet.

4.3 Welt (web/main.js, web/story.js)

  • Die Engine-Abschnitte in main.js behalten: Toon-Materialien, Tintenvertrag, add/tbox, Himmel, Lichter, Karten, Renderziele/Post, applyLight, drawActors, swapForNd, renderFrame.
  • Nur die Beispiel-Welt zwischen // ---------- world ---------- und // ---------- cards ---------- ersetzen, plus die Story-Teile von worldState() und etwaige Requisiten (das Soldaten-Beispiel hat eine 3D-Helm-Requisite).
  • story.js exportiert SHOTS, TOTAL, shotAt, camAt, dofAt, LIGHTS/lightFor, worldAt, actorsAt(f, T) und fxAt(f, T). Alle sind reine Funktionen des Frames. TOTAL = N setzen.
  • Texturen kommen von paint.js: Bretter, Balken, morsch, Stein, moosig, Gras, Erde, Putz, Dach, Marmor, Banner, gravierter Text. Neue Maler verwenden denselben flachen Farb-mit-dunklen-Nähten-Stil.
  • tbox für konstante Texeldichte, einen 2-stufigen Toon-Verlauf und Nebel = Horizontfarbe verwenden.
  • Hintergrundschichten: halb vergrabene Kugelhügel, Kegelberge mit Schneekappen, Zypressen/Kiefern, entfernte Häuser und bemalte Wolken-Billboards.
  • Versatzstücke (Einstürze, Stürze, Türen) sind pivotierte Gruppen, gesteuert durch 0..1 Fortschritt von worldAt(f), abgefedert und gestaffelt.
  • Gebogener diegetischer Text verwendet planare UVs. Prüfen, dass er nicht gespiegelt ist.

4.4 Besetzung (web/roman.js → web/toon.js)

  • romanFront(p, outfitKey, opts) zeichnet auf eine 600×1000-Design-Leinwand mit Sohlen bei y=975. Die Karte ist 2,25 m groß, also 1 Design-Einheit = 0,00225 m.
  • Outfits (OUTFITS): legion, old, toga, civA, civB, civC, workA, workB. Neue mit Schlüssel für Tunika/Umhang/Rüstung/Helm/Haar/Kappe/Bart/Schürze/Kleid/Toga hinzufügen.
  • Arm-Posen: hängen, Speer, zeigen, hoch, winken, Hüfte, Bauch, Schläfe(+Wirbel), heben, greifen(+heben), Wange, Schild, über Kreuz, Daumen.
  • Gesichter: der Toon-Basis-Satz FACE plus schnarchen, stur und blinzeln. FACE für weitere erweitern.
  • Nach Besetzungsänderungen neu bauen mit cat web/toonbase.js web/roman.js > web/toon.js. Dann ./short.sh cast ausführen und stills/cast_sheet.png ANSEHEN, bevor ein Design verwendet wird.
  • Billboards drehen sich nur um die Gierachse, erhalten einen Kontakt-Klecks und einen alphagetesteten Schatten und werden vom Welten-Durchlauf nie getuscht.
  • Kartenschlüssel aus auf q() gerundeten Werten bauen, sodass die Leinwand nur bei einer sichtbaren Änderung neu gezeichnet wird.
  • Ein abgetrenntes Teil (z. B. ein hochgehobener Helm) ist eine eigene Karte: y = DECK + (partY − hc) × 0,00225, ausgerichtet mit headCenter(seed).
  • Dem Helden EIN Erkennungsmerkmal geben (Farbe, Hut, Requisite), damit er auf Telefongröße sofort erkennbar ist.

4.5 Bewegung (web/motion.js): flüssig und lebendig

Kameras:

  • camFromKeys(keys, f, {kicks}) verwenden: Smootherstep-Gleitbewegungen von 18–45 Frames, easeOut für Enthüllungen und Schwünge, und path-Via-Punkte (Catmull-Rom) für Kurven.
  • Jedes Halten kriecht; nichts ist länger als 4 Frames statisch.
  • Dramatik erhält eine 3–5° Neigung; Einschläge erhalten einen 7-Frame-Wackelschütteln via kicks.
  • Kontinuierliche Bewegungen bevorzugen (Rückwärtsfahrt, Schärfenverlagerung, Kranfahrt, Heranzoom). Harte Schnitte nur bei Orts- oder Zeitsprüngen, mit einem Blitz.

Figuren:

  • Sie frieren nie ein: idle(f, seed) auf jede Karte anwenden, blinkAt für Lidschläge und Kopfnicken auf betonten Wörtern.
  • Aktionen folgen Antizipation → Überschwingen → Federeinpendeln (M.anticip, M.back, M.spring). Ein Stampfer ist ein 2-Frame-Dipp + Staubwolke + Tritt. Ein Lachen ist ein abwechselndes Neigen + Nicken.
  • Gehen: walk() gibt Distanz plus Schrittphase. Füße mit 3–7 % Bob am Boden halten.

Sekundäre Bewegung ist immer vorhanden: Stoff, Blätter, Staub, Tropfen, Zzz, Wasser.

Linse: Schärfentiefe bei Nah- und Halbnahaufnahmen (cInf 8–14 px), fokussiert auf die Augen. Weitwinkel bleiben scharf. Schärfenverlagerungen dauern ~14 Frames.

4.6 Look-Prüfung (PFLICHT vor dem vollständigen Render)

./short.sh stills "5,40,90,…" a ausführen, dabei die Mitte jeder Einstellung plus die Übergänge und Schlüsselaktionen auswählen. Es schreibt stills/sheet_a.jpg mit Framebeschriftungen. Öffnen und jede Falle beheben:

  • Bildausschnitt: halbe Breite = d·tan(hfov/2), wobei hfov = 2·atan(tan(vfov/2)·0,5625). Bei 4 m und fov 40 nur ±0,8 m, also Figuren in der TIEFE platzieren.
  • Verdeckungen: keine Geländer oder Pfosten über Gesichtern; die Kamera nicht in Geländern, Häusern, Dächern oder Büschen.
  • Abstand: keine Vordergrundrequisite näher als ~2 m; der Held nie hinter einer Säule versteckt.
  • Text und Teile: Text nicht gespiegelt; abgetrennte Teile-Karten korrekt versetzt.
  • Extrude-Gruppen: 0 = Kappen, 1 = Seiten + Oberseite.
  • Tinte: überall vorhanden. Wenn nicht, mit HASH=#e (nur Kanten) und HASH=#nd (Normalen/Tiefe) debuggen. Tintenradius ~2,5 px bei 1080; der Himmel zählt als Ferntiefe, nicht als Karte.
  • Telefongröße: Gesichter bei 25 % Ansicht des Bogens noch lesbar.

Dem Nutzer den Bogen mit einer einzeiligen Zusammenfassung pro Einstellung senden, dann ohne Wartezeit mit dem vollständigen Render beginnen.

4.7 Ton: ./short.sh sound

  • Erst die Bild-Abstimmung sperren. Jede Timing-Änderung bedeutet, Ton neu auszuführen.
  • audio.py enthält NUR die Cue-Tabelle. Die Synths leben in synth.py:
    • Musik: march, drone, PROG_MINOR/PROG_MAJOR, zupfen, Blech, Trommel.
    • SFX: whoosh, thunk, rumble, crash, scrape, ting, sting, creak, snap, splash, snore, leaves, water, cuckoo, pop, boing, footstep/steps, wind, crowd.
  • Musik stoppt in der Pointe (march(…, end=TWIST)), dann läuft drone bis zum Ende weiter.
  • SFX-Stem mit crest_db=14 speichern. Das zähmt Transienten, sodass die SFX nahe 50 % unter der Spitzenbegrenzung liegen können.
  • mix.py gibt die Pegel aus. Prüfen, dass Musik −6,0 dB vs. Stimme (OK) und SFX bei oder darunter (OK) liegt. Niemals von Hand anpassen; stattdessen die Stems korrigieren.

4.8 Render + Abschluss

  • Mit WORKERS=2 ./short.sh render rendern, dabei Bash run_in_background verwenden. ./short.sh progress (getan, s/Frame, ETA) aus einer Monitor-Schleife prüfen.
  • Frames werden atomar geschrieben. Nach einer Unterbrechung RESUME=1 WORKERS=2 ./short.sh render verwenden.
  • WORKERS=1 auf Maschinen mit 4 oder weniger Kernen verwenden. Nicht gleichzeitig schwere Python-Prozesse laufen lassen.
  • Dann ./short.sh finish "Titel" ausführen:
    • Es prüft, ob die Frames vollständig und zusammenhängend sind.
    • Es wendet EINEN gemessenen linearen Gain auf −14 LUFS plus einen −1 dBFS Limiter an und codiert H.264 CRF 17 + AAC.
    • QA umfasst Größe, Dauer vs. Stimme, Freeze-/Schwarz-Frames, Lautstärke und Mischpegel. Es schreibt out/qa.txt und out/qa_sheet.jpg und beendet mit 1 bei jedem FEHLER.

4.9 Abschlussdefinition

  • Dauer = Stimmdauer (±1 Frame); 1080×1920; 30 fps.
  • Audio: Sprache unberührt, Musik bei −6,0 dB, SFX ≤ −6 dB (gegen Sprache).
  • QA bestanden (keine FEHLER).
  • Ausgabe: out/video.mp4, out/qa.txt, out/qa_sheet.jpg.
  • Dem Nutzer die Datei bereitstellen (z. B. über Datei-Upload).
  • Bei Bedarf: out/ zur weiteren Nutzung oder erneuten Verwendung bereinigen.

Verwandte Skills