Automatic Storyteller Animate
Geben Sie ihm eine Sprachdatei und ein Skript. Es erledigt den gesamten Film: Timing, Layout, Rendern, Schnitte, Untertitel, Ton, Mix und Qualitätssicherung. Kein manuelles Storyboarding, keine Szenencode, keine Bearbeitungs-Timeline.
python scripts/run.py --project my-film --voice voice.mp3 --script script.md
Dieser eine Befehl führt die gesamte Pipeline aus und hinterlässt my-film/out/FILM.mp4, my-film/out/FILM.srt (neben captioned.mp4), credits.md, beats.json, plan.json, beats.md, Prüf-Standbilder in out/qa/ und alle Zwischenergebnisse.
Vorbereitung – die automatische Prüfung der Voraussetzungen
Jeder Durchlauf beginnt mit check_requirements.py, vor allem anderen. Wenn alle verfügbaren Werkzeuge installiert sind, wird die Produktion sofort fortgesetzt – keine Einrichtung nötig. Wenn etwas fehlt, wird es automatisch heruntergeladen/installiert, und dann wird die Produktion fortgesetzt.
Es prüft der Reihe nach:
- Python 3.8+
- Python-Pakete – numpy, skia-python, Pillow, faster-whisper – werden bei Fehlen automatisch per pip installiert
- ffmpeg + ffprobe im PATH – werden bei Fehlen automatisch per
winget(Windows),brew(macOS) oderapt-get(Linux) installiert - cinematic-film neben diesem Skill (oder
CINEMATIC_SCRIPTS=<Pfad zu seinen Skripten>)
Wenn alles vorhanden ist: eine Zeile – requirements: ok – und der Build beginnt. Wenn ein Python-Paket nicht installiert werden kann, gibt das Skript den genauen Befehl zur Behebung aus und beendet sich, anstatt einen aussichtslosen Build zu starten. Wenn cinematic-film nicht gefunden wird, erhalten Sie genau die Angabe, was fehlt und was Sie setzen müssen.
Was er erstellt (der Look)
Zwei visuelle Sprachen, die alle 3–10 Sekunden hart wechseln, pro Block vom Director entschieden:
- Board – ein randloser Bauplan. Die Wörter erscheinen als handgezeichnete Kreide-Typografie auf einem dunkelblauen Raster, mit skizzierten Rechteck-Rahmen, wackeligen Strichen, Kritzel-Code-Fenstern, Häkchen, Trennlinien und Neon-Icons (zwei Glow-Pässe + heißer Kern), die im Code gezeichnet werden.
- Photo – die nächtliche Beweiswand aus cinematic-film: echte lizenzierte Wikimedia-Commons-Fotos mit Schlagschatten und Stecknadel, beschriftete Papierdokumente, gezackte Hervorhebungslinien, leuchtende Neon-Icons, alle in
credits.mdvermerkt.
Die Untertitel sind unten mittig und bündig zum unteren Rand (6 px bei 720p, skaliert mit der Auflösung), in Großbuchstaben, eine von neun ausgewählten Bonbonfarben, mit sanfter Einblendung (Aufsteigen/Poppen/Rutschen/Kippen/Einblenden/Wischen/Staffeln) und Ausblendung (Ausblenden/Fallen/Hinaussteigen/Schrumpfen), dreistufigem Bloom-Halo, einem Regenbogen-Verlaufsstrich auf dem gesprochenen Wort (Neonröhren-Weißkontur). Ein Farbverlauf hinter dem Band sorgt für Lesbarkeit auf jedem Hintergrund. Der Text spiegelt die Stimme exakt wider.
Neu beginnen vs. fortsetzen
- Neues Projekt: geben Sie ihm die Stimme und das Skript; das Skill erstellt alles.
python scripts/run.py --project my-film --voice voice.mp3 --script script.md - Fortsetzen: das erneute Ausführen eines Projekts, das bereits
out/FILM.mp4(und den Plan/die Fotos) enthält, prüft nur mit der Qualitätssicherung nach – es wird nichts erneut heruntergeladen oder gerendert. Fügen Sie--forcehinzu, um von Grund auf neu zu bauen.
Eingaben
--voice: jede Audiodatei, die ffmpeg lesen kann (mp3/wav/m4a...). Beste Ergebnisse mit einer sauberen Aufnahme aus einem Take. Es wird unverändert verwendet, nur in 48 kHz Stereo AAC konvertiert.--script:.md/.txt/.srt/.json. Markdown-Überschriften werden zu Abschnitts-Kickern auf dem Bildschirm; Leerzeilen und Absätze werden in Sätze aufgeteilt, dann in Untertitel-Chunks (<= 9 Wörter / <= 64 Zeichen). Der Text auf dem Bildschirm ist der Text in der Datei, wörtlich.script.jsonmit{"title": ..., "takes": [...]}wird berücksichtigt, wenn vorhanden.
Optionen
| Flag | Wirkung |
|---|---|
--size 1920x1080 | Rendergröße (Standard 1920x1080) |
--crf 16 | Qualität (niedriger = besser; 16 Film, 26 Vorschau) |
| `--photos auto | existing |
| `--music auto | none |
--model tiny.en | faster-whisper-Größe für die Ausrichtung (base.en/small.en sind genauer) |
--preview | nur Blöcke 0-1 in 640x360 für einen schnellen Blick rendern |
--skip-render | nur neu planen (kein Rendern) |
--workers WORKERS | Render- + Untertitel-Worker (0 = alle Kerne minus eins) |
--force | auch dann neu bauen, wenn bereits eine fertige out/FILM.mp4 existiert |
Leistung und Sicherheit
- Produktions-Cache unter
E:\Storyteller catche files(überschreibbar mitSTORYTELLER_CACHE). Jedes schwere Artefakt wird unter einem Content-Hash zwischengespeichert, sodass erneutes Ausführen oder Anpassen späterer Stufen nur das wiederholt, was sich geändert hat:
| Ordner | Was wird gecacht | Schlüssel |
|---|---|---|
whisper/ | Wortzeitsteuerung von faster-whisper | Sprachdatei + Modell + Gerät |
commons_search/ | Commons-Suchergebnisse | Abfrage + Limit |
commons_files/ | heruntergeladene Commons-Originale + Credit-Seitendateien | Commons-Titel |
blocks/ | gerenderte Stilblöcke | Szene + Takte + Blockgeometrie + Größe + CRF |
silent/ | zusammengesetzter stummer Film | Blockdateien + CRF + fps |
captioned/ | untertitelter Film + SRT | Video + Timing + Untertitelcode + CRF |
sfx/ | synthetisierter SFX-Bus | Cue-Sheet + build_sfx.py |
music/ | geloopte Musikspur | Musikdatei + Filmlänge |
mix/ | fertiger Audio-Mix | Stimme + Cues + Musik + Pegel + LUFS |
Dateien sind <label>-<hash12>.<ext> benannt und nach Art sortiert (eine sort-Auflistung liest sich natürlich), mit einem append-only index.jsonl-Manifest und einer README.txt im Stammverzeichnis. Cache-Fehler werden automatisch neu aufgebaut; das Löschen des Caches ist immer sicher. Ein vollständiger Neulauf unveränderter Stufen dauert Sekunden (whisper/blocks/stitch/captions/sfx/mix treffen alle zu).
- Jeder Block wird separat gerendert, dann werden die Blöcke mit einem frame-genauen
concat-Filter zusammengesetzt. Ein erneutes Ausführen nach einer Skriptänderung rendert nur die Blöcke neu, deren Plan sich geändert hat (render_blocks.pyverwendet frische Blockdateien, plus den Produktions-Cache als zweite Ebene). - 12 Kerne / viel RAM: verwenden Sie
--workers 6. Ein 3-minütiger 1080p-Film dauert etwa 15-30 Minuten. - Rendern Sie den endgültigen Film niemals, ohne dass der Benutzer darum bittet: verwenden Sie zuerst
--previewoder eine kleine--size, zeigen Sie ihn, und erst dann erstellen SieFILM.mp4in voller Größe. - Whisper tiny.en ist etwa 1x Echtzeit auf der CPU; verwenden Sie
--model base.en, wenn die Zeitsteuerung bei langen Zeilen abweicht.
Was der Director tut
Jede Untertitelzeile wird zu einem Beat. Ein Beat erhält genau ein Layout, das aus seinen Wörtern ausgewählt wird:
| Layout | Auslöser | Zeichnung |
|---|---|---|
title / end | erste 2 / letzte 2 Zeilen | Neon-Icon + großer Kreidetitel (Titel = Titelform der Inhaltswörter der Zeile) |
chain | first/second/then/process/pipeline | 3 Skizzenboxen mit Pfeilen |
split | before/after/versus/compared/instead | zwei beschriftete Rahmen auf beiden Seiten einer eingerissenen Trennlinie |
window | code/script/terminal/agent/model/server | handgezeichnetes Terminalfenster mit Kritzelzeilen + hervorgehobene Zeile |
check | protect/patch/secure/prevent/never | Kreide-Häkchen auf einer Liste |
stat | jede Zahl | riesige leuchtende Ziffer |
quote | alles andere / Fragen | Kreide-Zitat |
| Foto-Varianten | jeder zweite Block | station (Foto + Karte), doc (Papierdokument + Stempel), stat |
Aufeinanderfolgende Zeilen (1-4, max. ~9 s, an Satzenden abgeschnitten) gruppieren sich zu Blöcken; Blöcke wechseln sich board/photo über den Film hinweg ab. Der erste und letzte Block sind immer board.
Geschriebene Dateien
audio/narration.m4a normalisierte Stimme
audio/timing.json Start/Ende pro Zeile (Engine-Schema)
script.json Takes in Sprechreihenfolge, ID-Reihenfolge erhalten
beats.json pro Zeile: Start/Ende/Layout/Kicker/Überschrift/Punkte/Nummer/Icon/Tinte/Foto/x
plan.json Blöcke (Stil, Framebreich, Welt-x), fps, Dauer
beats.md menschliche Tabelle des gesamten Plans
sfx_cues.json synthetisierte Effekte für build_sfx.py
photos.json Commons-Auswahl mit Lizenz/Credit/Quelle
out/blocks/bNNN.mp4 ein Clip pro Stilblock
out/silent.mp4 zusammengesetztes Bild
out/captioned.mp4 + eingebrannte Neon-Untertitel (+ .srt)
out/FILM.mp4 endgültig, mit gemischtem Audio
out/qa/*.png Prüf-Standbilder
credits.md Bild- + Musik-Credits
Qualitätssicherungstore (scripts/qa.py, automatisch von run.py ausgeführt)
Bricht den Build ab bei: Frame-Zahlen-Diskrepanz vs timing.total_duration * fps, fehlendem/!Audio-Stream, Lautstärke außerhalb -15 +/- 1.5 LUFS, Spitzenwert über -0.8 dBTP, einem unsichtbaren Untertitel-Chunk oder einer Untertitel-Basislinie mehr als 8.5 % der Bildhöhe über dem unteren Rand.
Companion-Skills (wie eine Produktion tatsächlich abgeschlossen wird)
Dieses Skill ist der dedizierte Orchestrator für den Bildungs-/Erklärfilm-Workflow („Video wie der KI-Exploit-Agent-Film“). Es treibt zwei Companion-Skills an, um eine Produktion abzuschließen, genau wie die vorherigen Filme gemacht wurden – Sie rufen sie nie direkt auf; run.py und qa.py erledigen das. Die Regel ist absolut: Bearbeiten Sie niemals ein Companion-Skill – oder ein anderes Projekt (z. B. C:\remotion-build\dark-reality-explainer) –, damit dieses funktioniert; treiben Sie sie an, wie sie ausgeliefert werden. Die gesamte Orchestrierungslogik, der Cache, die Qualitätssicherung und die Stilentscheidungen befinden sich hier in diesem Skill.
1. cinematic-film – die Welt, die Fotos, der Ton (erforderlich, harte Abhängigkeit)
Befindet sich neben diesem Skill (überschreibbar mit CINEMATIC_SCRIPTS=<Pfad zum Skriptverzeichnis>). Aufgerufen von:
| Skript | Verwendet von | Was es für diesen Film tut |
|---|---|---|
prep_assets.py | prep-Stage | grader die Commons-Fotos in den Schwarz-Weiß-Look (`--grade bw |
fetch_commons.py | fetch_photos.py | lädt die lizenzierten Originale herunter (get), füllt Datei/Credit/Lizenz und schreibt credits.md (credits) |
render.py | render_blocks.py | rendert jeden Stilblock mit --t0/--t1; zeichnet die Board/Foto-Welt, die Kamera und jedes Element pro Frame |
engine.py | storyboard.py, jedes Rendern | das Weltmodell: Film, Kamera-Keyframes, Board, PaperDoc, StylePanel, die Spline-Kamera |
captions.py | captions_burn.py | die Wortuhr (words_with_times), die zur Zeitsteuerung des heißen Wortes verwendet wird |
build_sfx.py | audio_finish.py | synthetisiert den Effektbus aus sfx_cues.json (keine Sample-Bibliothek zu lizenzieren) |
mix_soundtrack.py | audio_finish.py | Stimme + SFX + Score: -19 dB SFX, -18 dB Musik, 4:1 Ducking, -15 LUFS / -1.5 dBTP Master |
Verhaltensregeln: Bearbeiten Sie seine Skripte nicht für dieses Skill – Verhaltensänderungen gehören in storyboard.py / render_blocks.py / hier. Seine CLI-Verträge (--t0/--t1, fetch_commons get|credits, mix_soundtrack --lufs) sind das, was der Produktions-Cache hasht; wenn cinematic-film eines ändert, aktualisieren Sie die Stage hier und löschen Sie E:\Storyteller catche files, damit keine veralteten Treffer überleben.
2. remotion-studio – Browser-Vorschau / Steuerung (optional, nur zur Überprüfung)
npx remotion studio (öffnen Sie die gedruckte URL; oder --no-open und öffnen Sie die URL selbst).
Ehrlicher Umfang, damit niemand Zeit verschwendet: Studio zeigt nur Remotion-Kompositionen in der Vorschau an – React-Komponenten, die in einem Remotion-Projekt registriert sind. Es kann das fertige Master dieses Skills nicht abspielen (out/FILM.mp4 ist ein skia/ffmpeg-Render, kein Remotion-Projekt; das war auch beim KI-Angriffsfilm nicht der Fall). Verwenden Sie es, wenn das zu liefernde Produkt auch als Remotion-Projekt existiert und Sie die Vorschau-beim-Bearbeiten-Erfahrung wünschen (oder um eine Remotion-basierte Variante zu steuern). Um die eigene Ausgabe dieses Skills zu überprüfen, verwenden Sie out/FILM.mp4 / out/preview_captioned.mp4 plus die out/qa/-Standbilder – Studio hat nichts anzuhängen.
Das Produktionsrezept (wie alle drei Skills einen Film abschließen, wie beim letzten Mal)
- Stimme + Skript ->
run.py --preview(2 Blöcke, 640x360, ~2 min). Überprüfen Sie den Look, den Board/Foto-Rhythmus, die Untertitelgröße und den unteren Anschlag, und dassqa.pyBESTANDEN sagt. - Vollständiger Plan – Erfassung (Whisper-Ausrichtung) -> Director (Beats, Layouts, Stilwechsel) -> Commons-Fotos (freie Lizenz, Credits in
credits.md) -> Vorbereitung (BW-Grade) -> Szene -> Cues. - Rendern – jeder Block separat in 1080p; Wiederverwendung über den Produktions-Cache auf
E:\Storyteller catche files. - Fertigstellung – Zusammensetzen (Concat-Filter) -> unten bündige Neon-Untertitel -> SFX
-19 dB/ Score-18 dB, geduckt,-15 LUFSMaster. - Prüfung –
out/FILM.mp4abspielen;out/qa/enthält die Standbilder. Wenn ein Remotion-Packaging/Prüfschritt gewünscht ist, öffnen Sie das Remotion-Projekt mitremotion studiound verifizieren Sie, dass es dort lädt. - Lieferung –
FILM.mp4+FILM.srt+credits.md. Hochladen/Exportieren erfolgt außerhalb dieses Skills.
SRT / Vertriebsseite der Produktion
Nach qa BESTANDEN: out/captioned.srt befindet sich neben out/captioned.mp4 (der Fertigstellungsschritt kann es neben FILM.mp4 kopieren). Für soziale Varianten (9:16-Neuschnitte, Plattformexporte, Thumbnail-Inszenierung) verwenden Sie ein Vertriebsskill anstelle eines Neu-Renderns in diesem – dieses Skill produziert nur das 16:9-Master.
Voraussetzungen
Siehe Vorbereitung – die automatische Prüfung der Voraussetzungen oben: Python 3.8+, numpy, skia-python, Pillow, faster-whisper, ffmpeg/ffprobe im PATH und das cinematic-film-Skill neben diesem (überschreibbar mit CINEMATIC_SCRIPTS). Die Prüfung läuft automatisch zu Beginn jedes Durchlaufs.
Bekannte Grenzen
- Die Ausrichtung verwendet standardmäßig whisper tiny.en; ein genuschelter Take kann zeitlich abweichen.
...
[gekürzt zur Übersetzung]