Was macht Cartoon Audio Short (v2)?
Erstellt vom WHATIF ANIMATIONSTORYS-Kanal.
Pipeline: Idee → Drehbuch → Sprachaufnahme → fertiges MP4.
Referenz-Build: „The Soldier Who Never Left" (19,7 s, 8 Einstellungen), enthalten in kit/example/soldier/.
Der Look
- Figuren: flache 2D-Bohnenkopf-Cartoon-„Karten", auf Leinwand gezeichnet. Sie haben pflaumenfarbene Konturen und große ausdrucksstarke Gesichter und sind stets in Bewegung (Atmen, Blinzeln, Kopfnicken).
- Welt: eine gesättigte 3D-Szene aus einfachen Formen. Bemalte flache Texturen mit dunklen Nähten, schwarze Tintenlinien, Toon-Shading und Nebel in der Farbe des Horizonts.
- Kamera: gleitende, abgefederte Bewegungen mit Schärfentiefe bei Nahaufnahmen. Nichts ist je statisch.
- Format: 1080×1920, 30 fps, genau so lang wie die Sprachaufnahme.
- Ton: Die Stimme des Nutzers bleibt unberührt. Ein synthesierter Marsch-Musikteppich und Soundeffekte liegen bei 50 % (−6 dB) der Sprachlautstärke.
Harte Regeln
- Originalität. Niemals die Aufnahme eines anderen Creators Einstellung für Einstellung nachbauen; biete eine originelle Interpretation derselben Idee an.
- Keine echten, namentlich genannten lebenden Personen als Figuren. Keine Markenmaskottchen, Logos oder urheberrechtlich geschützte Figuren.
- Keine Untertitel, außer wenn gewünscht. Diegetischer Text (Schilder, Gravuren) ist in Ordnung, muss aber korrekt lesbar und niemals gespiegelt sein.
- Die Stimme niemals bearbeiten, trimmen, beschleunigen oder neu timen. Das Bild ist auf die Stimme abgestimmt. Jede visuelle Reaktion erfolgt 0–3 Frames vor ihrem Wort.
- Das Audio-Verhältnis ist festgelegt:
- Musik liegt bei −6,0 dB relativ zur Stimme (gegated RMS).
- SFX liegen bei oder unter −6 dB, mit Spitzen von maximal 0,7× dem Sprachspitzenwert.
- Immer mit
mix.pymischen. Kein Ducking, keine Kompression auf den Mix. - Nur ein linearer Gain plus ein Peak Limiter auf den gesamten Mix (
finish.sh).
- Fakten, die als wahr dargestellt werden, zuerst mit einer Websuche überprüfen. Virale Legenden als „der Legende nach" kennzeichnen.
- Nichts Grafisches, nichts Politisches und keine reale lebende Person als Zielscheibe eines Witzes.
- Weiterarbeiten ohne Genehmigungsstopps. Eine Frage nur stellen, wenn die Arbeit ohne die Antwort wirklich nicht fortgesetzt werden kann.
- Den Nutzer mit einer Aufgabenliste auf dem Laufenden halten. Vor dem langen Rendern ein Kontaktbogen mit Standbildern senden.
Routen (Einstiegspunkt wählen)
| Nutzer hat | Gehe zu |
|---|---|
| Audio angehängt (+ Drehbuch) | Sofort Stufe 4 |
| Audio, kein Drehbuch | Nach dem Drehbuchtext fragen (Claude kann Audio ohne ASR nicht hören) → Stufe 4 |
| Ein Drehbuch, keine Stimme | Stufe 3 (straffen) → auf Audio warten |
| Nur ein Thema | Stufe 3 direkt (Fakten prüfen) |
| Nichts / „Gib mir Ideen" | Stufe 2 |
Wenn unklar, EINE Frage stellen: „Wo startest du? (Ideen / Drehbuch / Sprachaufnahme fertig)". Auch die Ziellänge erfragen, falls nicht angegeben. Standard 20–30 s; bis zu 60 s erlaubt.
Stufe 2: 10 Ideen
Genau 10, nummeriert, in einer Antwort angeben. Enden mit: „Antworte mit einer Zahl oder ‚mehr‘ für 10 neue."
N. TITEL (5–8 Wörter, neugierig machend)
Aufhänger: Der erste gesprochene Satz – ein Paradoxon als Tatsache formuliert.
Wendung: Die ironische letzte Zeile.
Große Bilder: 2–3 Momente (Einsturz / Enthüllung / Verfolgungsjagd / Verwandlung).
Status: WAHR (dokumentiert) · UMSTRITTEN · LEGENDE
Eine perfekte Idee hat:
- Eine überraschende Geschichte mit physischer Ursache und Wirkung, die man ZEIGEN kann.
- Einen Jedermann-Helden, eskalierende Einsätze und eine Wendung in der letzten Zeile.
- Eine Szenerie, die aus Kisten, Zylindern und Kugeln plus Karten baubar ist (Stadt, Brücke, Schiff, Burg, Wüste, Labor, Palast, Bauernhof, Hafen, Mine).
- Ein „Vorher vs. Nachher", das man in einem Frame sehen kann, was ein starkes Thumbnail ergibt.
Die 10 verteilen auf: Antike, Mittelalter, 1800er, Moderne, Wissenschaft, Tiere, Erfindungen, Katastrophen, seltsame Gesetze und glückliche Zufälle. Jede WAHR- oder UMSTRITTEN-Idee vor dem Auflisten mit einer Websuche verifizieren.
Stufe 3: Drehbuch
Das Drehbuch auf etwa 3,7 gesprochene Wörter pro Sekunde skalieren: 20 s ≈ 75 Wörter, 30 s ≈ 110, 45 s ≈ 165, 60 s ≈ 220.
Struktur:
- Aufhänger (Satz 1, kein Vorlauf): Die absurde Tatsache. Sie muss in den ersten 1,5 s landen.
- Schauplatz (1–2 Zeilen): Wann, wo, wer und ein konkretes Detail.
- Eskalation (2–4 Schläge, jeder größer). Andere bezweifeln oder verspotten. Ein übertriebener Witz.
- Wendepunkt: „Aber als…" / „Weißt du…" führt den eigentlichen Mechanismus ein, idealerweise mit einer Alltagsanalogie.
- Pointe: Kurz und ironisch und die LETZTEN Wörter des Videos. Bonus: Sie soll zum Aufhänger zurückführen, damit sich der Kurzfilm natürlich wiederholt.
Stil:
- Einfaches gesprochenes Englisch mit Kontraktionen.
- Sätze von 8–15 Wörtern; Zahlen als Wörter ausschreiben.
- Keine Regieanweisungen im gesprochenen Text.
- Niemals beschreiben, was der Zuschauer bereits sieht.
Selbstprüfung (stillschweigend korrigieren, wenn einer fehlschlägt): Wortzahl innerhalb ±10 % des Ziels; der Aufhänger ist eine Aussage, keine Frage; jeder Satz kann wörtlich illustriert werden; die Pointe hat 12 Wörter oder weniger und kommt zuletzt; die Fakten stimmen mit den Quellen überein.
Antworten mit:
- a) Das Drehbuch in einem Codeblock mit Wortzahl und geschätzten Sekunden.
- b) Einem einleitigen Bildplan.
- c) Aufnahmetipps:
- Eine warme, gleichmäßige Erzählstimme. ElevenLabs funktioniert gut: eine tiefe Erzählerstimme, Geschwindigkeit ~1,05–1,1, Stabilität ~45–55 %.
- MP3 oder WAV ist in Ordnung.
- Natürliche Pausen am Satzende lassen.
- OHNE Musik exportieren.
- d) „Lade die Sprachaufnahme hoch, wenn sie fertig ist, und ich mache das vollständige Video."
Den endgültigen Drehbuchtext behalten, weil er das Timing bestimmt. Wenn sie eine geänderte Version aufgenommen haben, nach dem endgültigen Text fragen.
Stufe 4: Bauen (ab hier keine Stopps mehr)
Aufgabenliste erstellen: Setup · Timing · Einstellungsplan · Welt · Besetzung · Bewegung · Kontaktbogen → Benutzer · Ton · Vollständiger Render · Abschluss + QA · Lieferung.
4.0 Setup
SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug> # $SK/kit als schreibgeschützt behandeln
cd ~/shorts/<slug> && cp <hochgeladene Stimme> voice.mp3 && printf '%s' "<endgültiges Drehbuch>" > script.txt
./short.sh doctor
setup.shkopiert die Engine, die Werkzeuge und das Arbeitsbeispiel (als Start-web/story.jsundaudio.py). Es installiert three.js r160 und die Toon-Basis auskit/vendor/(kein Netzwerk nötig), erstellt und prüft die Syntax vonweb/toon.jsund verknüpft Playwright. Es beendet mit 3, wenn three.js fehlt.- Voraussetzungen: Node 22.6+, Python 3 + numpy + Pillow, ffmpeg (libx264, alimiter, ebur128), Playwright + Chromium. Falls Playwright fehlt:
npm i -g playwright && npx playwright install chromium. - Niemals TLS deaktivieren oder einen Proxy umgehen. Wenn eine Installation blockiert ist, sagen, welches Paket, und mit dem fortsetzen, was installiert ist.
- Chromium verwendet CPU WebGL (swiftshader) mit etwa 3–5 s pro Frame pro Worker. Ein 20 s Kurzfilm (600 Frames) dauert ungefähr 20–50 Min.; entsprechend planen.
4.1 Timing: ./short.sh timing
- Wenn whisper oder faster-whisper installiert ist, werden Wort-Zeitstempel verwendet. Andernfalls werden Drehbuch-Phrasen mit einer Silben-/Dauer-DP an sprachdetektierte Stille angepasst.
- Es gibt die Phrasen mit Framebroken und WARN-Zeilen aus (sehr kurze Phrasen, Überlappungen, lange Nachklänge, ein später Start, eine Aufnahme, die nicht zum Drehbuch passt). Die Warnungen durch Zusammenlegen von Einstellungen, manuelles Korrigieren von
work/phrases.jsonoder Nachfragen nach dem endgültigen Text beheben. - N = Gesamtframes =
frames30inwork/phrases.json(gemessen aus der dekodierten Audio-Datei).
4.2 Einstellungsplan: work/PLAN.md, vor jeglichem Code
Eine Zeile pro Einstellung: | # | Frames | Wörter | Schauplatz | Licht | Kamera | Besetzung/Pose/Gesicht | FX | SFX |
- Frame 0 IST das Aufhängerbüld: kein Einblenden, kein Titelbild.
- Etwa eine Einstellung pro Phrase. Phrasen kürzer als 0,6 s in die nächste Einstellung zusammenlegen.
- Jeden Satz wörtlich illustrieren; Requisiten tragen die Witze.
- Einstellungsgrößen-Rhythmus: Aufhänger MCU → Totale Einstellung → Zweier → Detail auf das Schlüsselobjekt → Reaktions-Nahaufnahme → Umgebungsbewegung für die Auflösung. Niemals zweimal dieselbe Größe hintereinander.
- Licht setzt die Stimmung: Tag (normal), golden (Dramatik/Niedergang), Nacht-Blau (Erklärung). Ein Zeitsprung erhält einen 6-Frame-weißen Blitz.
- Die Pointe bekommt einen Stich: Musik stoppt, ein tiefer Schlag, eine Hereinzoom mit 3–5° Neigung. Die physische Auflösung landet auf dem letzten Wort.
- Der letzte Frame sollte ein starkes Standbild sein, das sauber zurück zu Frame 0 für eine Schleife schneidet.
4.3 Welt (web/main.js, web/story.js)
- Die Engine-Abschnitte in
main.jsbehalten: Toon-Materialien, Tintenvertrag, add/tbox, Himmel, Lichter, Karten, Renderziele/Post, applyLight, drawActors, swapForNd, renderFrame. - Nur die Beispiel-Welt zwischen
// ---------- world ----------und// ---------- cards ----------ersetzen, plus die Story-Teile vonworldState()und etwaige Requisiten (das Soldaten-Beispiel hat eine 3D-Helm-Requisite). story.jsexportiert SHOTS, TOTAL, shotAt, camAt, dofAt, LIGHTS/lightFor, worldAt, actorsAt(f, T) und fxAt(f, T). Alle sind reine Funktionen des Frames.TOTAL= N setzen.- Texturen kommen von
paint.js: Bretter, Balken, morsch, Stein, moosig, Gras, Erde, Putz, Dach, Marmor, Banner, gravierter Text. Neue Maler verwenden denselben flachen Farb-mit-dunklen-Nähten-Stil. tboxfür konstante Texeldichte, einen 2-stufigen Toon-Verlauf und Nebel = Horizontfarbe verwenden.- Hintergrundschichten: halb vergrabene Kugelhügel, Kegelberge mit Schneekappen, Zypressen/Kiefern, entfernte Häuser und bemalte Wolken-Billboards.
- Versatzstücke (Einstürze, Stürze, Türen) sind pivotierte Gruppen, gesteuert durch 0..1 Fortschritt von
worldAt(f), abgefedert und gestaffelt. - Gebogener diegetischer Text verwendet planare UVs. Prüfen, dass er nicht gespiegelt ist.
4.4 Besetzung (web/roman.js → web/toon.js)
romanFront(p, outfitKey, opts)zeichnet auf eine 600×1000-Design-Leinwand mit Sohlen bei y=975. Die Karte ist 2,25 m groß, also 1 Design-Einheit = 0,00225 m.- Outfits (
OUTFITS): legion, old, toga, civA, civB, civC, workA, workB. Neue mit Schlüssel für Tunika/Umhang/Rüstung/Helm/Haar/Kappe/Bart/Schürze/Kleid/Toga hinzufügen. - Arm-Posen: hängen, Speer, zeigen, hoch, winken, Hüfte, Bauch, Schläfe(+Wirbel), heben, greifen(+heben), Wange, Schild, über Kreuz, Daumen.
- Gesichter: der Toon-Basis-Satz FACE plus schnarchen, stur und blinzeln. FACE für weitere erweitern.
- Nach Besetzungsänderungen neu bauen mit
cat web/toonbase.js web/roman.js > web/toon.js. Dann./short.sh castausführen undstills/cast_sheet.pngANSEHEN, bevor ein Design verwendet wird. - Billboards drehen sich nur um die Gierachse, erhalten einen Kontakt-Klecks und einen alphagetesteten Schatten und werden vom Welten-Durchlauf nie getuscht.
- Kartenschlüssel aus auf
q()gerundeten Werten bauen, sodass die Leinwand nur bei einer sichtbaren Änderung neu gezeichnet wird. - Ein abgetrenntes Teil (z. B. ein hochgehobener Helm) ist eine eigene Karte:
y = DECK + (partY − hc) × 0,00225, ausgerichtet mitheadCenter(seed). - Dem Helden EIN Erkennungsmerkmal geben (Farbe, Hut, Requisite), damit er auf Telefongröße sofort erkennbar ist.
4.5 Bewegung (web/motion.js): flüssig und lebendig
Kameras:
camFromKeys(keys, f, {kicks})verwenden: Smootherstep-Gleitbewegungen von 18–45 Frames, easeOut für Enthüllungen und Schwünge, undpath-Via-Punkte (Catmull-Rom) für Kurven.- Jedes Halten kriecht; nichts ist länger als 4 Frames statisch.
- Dramatik erhält eine 3–5° Neigung; Einschläge erhalten einen 7-Frame-Wackelschütteln via
kicks. - Kontinuierliche Bewegungen bevorzugen (Rückwärtsfahrt, Schärfenverlagerung, Kranfahrt, Heranzoom). Harte Schnitte nur bei Orts- oder Zeitsprüngen, mit einem Blitz.
Figuren:
- Sie frieren nie ein:
idle(f, seed)auf jede Karte anwenden,blinkAtfür Lidschläge und Kopfnicken auf betonten Wörtern. - Aktionen folgen Antizipation → Überschwingen → Federeinpendeln (
M.anticip,M.back,M.spring). Ein Stampfer ist ein 2-Frame-Dipp + Staubwolke + Tritt. Ein Lachen ist ein abwechselndes Neigen + Nicken. - Gehen:
walk()gibt Distanz plus Schrittphase. Füße mit 3–7 % Bob am Boden halten.
Sekundäre Bewegung ist immer vorhanden: Stoff, Blätter, Staub, Tropfen, Zzz, Wasser.
Linse: Schärfentiefe bei Nah- und Halbnahaufnahmen (cInf 8–14 px), fokussiert auf die Augen. Weitwinkel bleiben scharf. Schärfenverlagerungen dauern ~14 Frames.
4.6 Look-Prüfung (PFLICHT vor dem vollständigen Render)
./short.sh stills "5,40,90,…" a ausführen, dabei die Mitte jeder Einstellung plus die Übergänge und Schlüsselaktionen auswählen. Es schreibt stills/sheet_a.jpg mit Framebeschriftungen. Öffnen und jede Falle beheben:
- Bildausschnitt: halbe Breite = d·tan(hfov/2), wobei hfov = 2·atan(tan(vfov/2)·0,5625). Bei 4 m und fov 40 nur ±0,8 m, also Figuren in der TIEFE platzieren.
- Verdeckungen: keine Geländer oder Pfosten über Gesichtern; die Kamera nicht in Geländern, Häusern, Dächern oder Büschen.
- Abstand: keine Vordergrundrequisite näher als ~2 m; der Held nie hinter einer Säule versteckt.
- Text und Teile: Text nicht gespiegelt; abgetrennte Teile-Karten korrekt versetzt.
- Extrude-Gruppen: 0 = Kappen, 1 = Seiten + Oberseite.
- Tinte: überall vorhanden. Wenn nicht, mit
HASH=#e(nur Kanten) undHASH=#nd(Normalen/Tiefe) debuggen. Tintenradius ~2,5 px bei 1080; der Himmel zählt als Ferntiefe, nicht als Karte. - Telefongröße: Gesichter bei 25 % Ansicht des Bogens noch lesbar.
Dem Nutzer den Bogen mit einer einzeiligen Zusammenfassung pro Einstellung senden, dann ohne Wartezeit mit dem vollständigen Render beginnen.
4.7 Ton: ./short.sh sound
- Erst die Bild-Abstimmung sperren. Jede Timing-Änderung bedeutet, Ton neu auszuführen.
audio.pyenthält NUR die Cue-Tabelle. Die Synths leben insynth.py:- Musik:
march,drone, PROG_MINOR/PROG_MAJOR, zupfen, Blech, Trommel. - SFX: whoosh, thunk, rumble, crash, scrape, ting, sting, creak, snap, splash, snore, leaves, water, cuckoo, pop, boing, footstep/steps, wind, crowd.
- Musik:
- Musik stoppt in der Pointe (
march(…, end=TWIST)), dann läuftdronebis zum Ende weiter. - SFX-Stem mit
crest_db=14speichern. Das zähmt Transienten, sodass die SFX nahe 50 % unter der Spitzenbegrenzung liegen können. mix.pygibt die Pegel aus. Prüfen, dass Musik −6,0 dB vs. Stimme (OK) und SFX bei oder darunter (OK) liegt. Niemals von Hand anpassen; stattdessen die Stems korrigieren.
4.8 Render + Abschluss
- Mit
WORKERS=2 ./short.sh renderrendern, dabei Bashrun_in_backgroundverwenden../short.sh progress(getan, s/Frame, ETA) aus einer Monitor-Schleife prüfen. - Frames werden atomar geschrieben. Nach einer Unterbrechung
RESUME=1 WORKERS=2 ./short.sh renderverwenden. - WORKERS=1 auf Maschinen mit 4 oder weniger Kernen verwenden. Nicht gleichzeitig schwere Python-Prozesse laufen lassen.
- Dann
./short.sh finish "Titel"ausführen:- Es prüft, ob die Frames vollständig und zusammenhängend sind.
- Es wendet EINEN gemessenen linearen Gain auf −14 LUFS plus einen −1 dBFS Limiter an und codiert H.264 CRF 17 + AAC.
- QA umfasst Größe, Dauer vs. Stimme, Freeze-/Schwarz-Frames, Lautstärke und Mischpegel. Es schreibt
out/qa.txtundout/qa_sheet.jpgund beendet mit 1 bei jedem FEHLER.
4.9 Abschlussdefinition
- Dauer = Stimmdauer (±1 Frame); 1080×1920; 30 fps.
- Audio: Sprache unberührt, Musik bei −6,0 dB, SFX ≤ −6 dB (gegen Sprache).
- QA bestanden (keine FEHLER).
- Ausgabe:
out/video.mp4,out/qa.txt,out/qa_sheet.jpg. - Dem Nutzer die Datei bereitstellen (z. B. über Datei-Upload).
- Bei Bedarf:
out/zur weiteren Nutzung oder erneuten Verwendung bereinigen.