Communitygithub.com

storyboard-reel

Zeigt einem Agenten, wie man ein „Storyboard Reel

Was ist storyboard-reel?

Diese Fähigkeit leitet einen KI-Agenten durch die Erstellung eines 9:16-Video-Reels (ca. 28 Sekunden) aus einem Storyboard, Low-Poly-Charakter-Renderings und Produktbildern, komplett mit Musik und Soundeffekten, jedoch ohne Erzählung oder Untertitel. Sie ist für Tools wie Claude Code und Cursor konzipiert und führt den Agenten durch zehn Schritte: Von der Einrichtung eines neuen Jobs über das Extrahieren von Ausschnitten von Hintergründen mit rembg, das Erstellen von Kontaktbögen über die Bild-zu-Video-Erzeugung mit OpenArt, das Vornehmen von Nachbearbeitungsänderungen bis hin zum endgültigen Rendern und Hochladen auf CDN-Speicher (BunnyCDN). Der Ablauf setzt strikt auf menschliche Freigabe: Nach dem Kontaktbogen und der Vorschau muss der Benutzer zustimmen, bevor der Prozess fortgesetzt wird. Das System unterstützt kamerafokussierte Bewegungen, Vollbild-Standbilder, umfangreiche Tonanpassungen und enthält eingebaute Sicherheitsmaßnahmen, um Probleme wie unerwünschte Waffen- oder Animationsfehler zu vermeiden.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/lokiverde/video-studio/tree/HEAD/skills/storyboard-reel

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Storyboard Reel

Verwandelt ein handgezeichnetes Storyboard, einige Renderings einer Low-Poly-Figur und das Produkt in eine 9:16-Werbung von etwa 28 Sekunden mit Musik und Soundeffekten. Keine Erzählung, keine Untertitel über der Handlung.

Engine: python3 scripts/storyboard_reel.py <command> <job>, ausgeführt vom Repository-Root (dem Ordner, der scripts/ enthält). --help listet alle Befehle auf. Die Logik befindet sich in scripts/sr_lib.py (Shot-Arten, Standardeinstellungen, Timing, Prüfungen), sr_shots.py (Zeichnen), sr_matte.py (Ausschnitte), sr_media.py (ffmpeg, rembg, Medienserver). Unter Windows verwende python anstelle von python3.

Startpunkt: skills/storyboard-reel/job_template.json. new kopiert es in den Job. Sein Muster ist ein Figuren-und-Glanz-Reel. Ein kamerafokussiertes Reel wird aus clip-Shots aufgebaut.

Das Format

  • 9:16, etwa 28 Sekunden. Die Musikspur bestimmt die Länge.
  • Shot-Arten, die die Engine zeichnet: logo (auf Schwarz), black, dolly (Heranzoomen auf eine Figur), pose (Halten), clip (eine Bild-zu-Video-Bewegung), glow (das Licht eines Requisits sammelt sich und bläst aus), white, shirt (leeres Shirt auf Weiß, Design blendet ein, Titel darunter), card (Titel, Mockup, Preis, Größen, Farben, Website), still (vollformatiges Schlüsselbild) und scan (eine Suche durch ein Zielfernrohr).
  • Ordne neu an, wiederhole oder entferne Arten, um dem Storyboard zu folgen. Ein Panel, das keine Art zeichnen kann, benötigt eine neue Zeichenfunktion in sr_shots.py plus einen Test. Sag das, bevor du drumherum baust.
  • VHS-Look: "vhs": 0.5 in job.json (0 aus, 1 voll). Er sitzt auf dem Figurenabschnitt und blendet über den weißen Blitz hinweg aus, sodass Shirt und Karte sauber zurückkommen. Bei eingeschaltetem vhs ist das Hauptlieferobjekt final_9x16_vhs.mp4.

Eingaben

  • Ein Ordner mit den Storyboard-Seiten und deinen Renderings der Figur (eines pro Pose). Benenne Dateien mit logo, mockup oder board im Namen, dann werden sie erkannt. Füge das Logo auf Weiß und ein Produkt-Mockup hinzu, falls vorhanden.
  • Die Produktseiten-URL. new liest die Shopify .json der Seite für Titel, Preis, Größen und Farben.
  • Für die Enthüllung ein Foto des Rückendrucks auf einfachem hellem Hintergrund. Wenn keines angegeben ist, wird das erste Shop-Bild verwendet. Es ist oft ein geschäftiges Mockup, also tausche es gegen ein sauberes aus.

Arbeitsablauf

  1. Neuer Job. python3 scripts/storyboard_reel.py new <product-url> <images-folder> [--word <topic>] [--title "<title>"] Kopiert die Bilder in src/, die Shop-Bilder in product/ und füllt den Karteikartentext. --word beendet den Job-Ordnernamen mit einem Themenwort.
  2. Erstelle job.json vom Storyboard. Ordne jedes Panel einem Shot zu, setze panel, um dem Board zu entsprechen, weise jedes Rendering einer Figur zu und schreibe den Platten-Prompt. Fertig, wenn python3 scripts/storyboard_reel.py check <job> die Timeline ohne Probleme ausgibt.
  3. Ausschnitte (Figuren-Reels): cutouts <job>, dann öffne work/cut/feet_check.jpg. rembg kann blasse Knochen auf einem blassen Boden fallen lassen und den Schlagschatten behalten. Korrigiere jeden Fuß mit figures.<name>.feet-Boxen in Quellpixeln (add stellt blasse Pixel wieder her, drop löscht dunklen Bodenschatten, rebuild leitet die Box neu ab). Führe erneut aus, bis jeder Fuß vollständig ist.
  4. Platte. plate <job> --n 3 erstellt Kandidatenhintergründe auf dem Medienserver (kostenlos). Zeige work/bg/plates.jpg an und setze plate.src auf das passende. Behalte "weiter leerer flacher Boden im Vordergrund" im Prompt, weil Figuren bei look.feet_y stehen. Du kannst plate.src auch auf dein eigenes Bild setzen.
  5. Kontaktbogen, das erste Tor. stills <job> schreibt work/contact_sheet_9x16.jpg. Überprüfe, ob die Füße auf dem Boden stehen, die Figur den unteren UI-Streifen freigibt und der Karteikartentext stimmt. Zeige dem Benutzer den Bogen und die angegebenen Kosten der Clips. Anhalten und warten.
  6. Clips, erst nach Freigabe des Benutzers. kling-frames <job> schreibt work/kling/<shot>_start.jpg (plus _end.jpg, wo der Clip einen Endframe hat) und gibt jeden Prompt aus. Lade die Frames in deinen Bild-zu-Video-Dienst hoch (OpenArt: hochladen, mit openart_model_cost kosten berechnen, dann generieren), unter einer AUTH-Zeile in ~/video-studio/relay/auth.md. Speichere den Download, dann prep-clip <job> <download.mp4> --shot <id>. Die Länge des Clips bestimmt seine Shot-Länge.
  7. Vorschau, das zweite Tor. preview <job> rendert den Clip-Abschnitt mit Sound zu work/preview_clip.mp4. Überprüfe die Bewegung Frame für Frame, führe stills erneut aus, dann zeige dem Benutzer die Vorschau und den neuen Bogen. Anhalten und warten.
  8. Nachbearbeitungstext. Schreibe job.json post: eine kurze caption, dann instagram, tiktok, youtube (Titel und Beschreibung), facebook, hooks, order und eine cover-Notiz. Die Engine hängt den festen Signaturblock aus sr_post.py an jede Bildunterschrift an. Bearbeite diesen Block für deine Marke. Fertig, wenn kit <job> keine "post copy not ready"-Zeilen ausgibt.
  9. Genehmigen und rendern. Nach Freigabe durch den Benutzer: approve <job>, dann render <job>. Dies schreibt out/final_9x16_vhs.mp4 (die Bandversion, langsamer), out/cover.jpg, out/post.txt und out/posts.md. Dann render <job> --clean schreibt das saubere out/final_9x16.mp4. Jeder Render schreibt auch einen _nomusic-Zwilling (Soundeffekte, keine Musikspur). Überprüfe die protokollierte Zeile 1080x1920 30/1 <length>s, audio, ziehe dann Frames an den Schnitten. --out <path> erstellt einen Nebenrender, der out/ und den Jobstatus unberührt lässt.
  10. Hochladen. upload <job> sendet die Finalversionen, Zwillinge, Cover und das Post-Kit an deinen CDN-Speicher (BunnyCDN, Schlüssel in config.env). Es verweigert den Dienst, solange der Nachbearbeitungstext leere Bildunterschriften oder übriggebliebene <platzhalter> enthält. Ein erneuter Upload erfolgt unter einem neuen Namen (_v2), weil CDNs die alte Datei bei einem wiederverwendeten Pfad weiter ausliefern. Gib dem Benutzer die neuen URLs und füge die plattformspezifischen Bildunterschriften aus posts.md ein. Das Posten ist der Schritt des Benutzers.

Das Vorschau-Tor (im Code erzwungen)

render ist blockiert, bis approve, und approve funktioniert nur auf einem Bogen, der aus dem aktuellen Job erstellt wurde. Jede Änderung am Bild macht die Genehmigung ungültig: Shots, Figuren, Platte, Look, Ausschnitte, ein neuer Clip oder jeder Pfad im visuellen Teil von job.json. Audio- und Nachbearbeitungstext-Änderungen machen sie nicht ungültig. Nach einer Bildänderung erstelle einen frischen Bogen und zeige ihn erneut. render --no-preview ist nur für den ausdrücklichen Verzicht des Benutzers für diesen einen Job.

Kamerafokussierte Bewegung

Bewegungsshots sind kamerafokussierte Bild-zu-Video-Clips, geschrieben wie echte Aufnahmen: ein Kamera-Rig und Objektiv, eine Kamerabewegung mit "nicht ein Zoom, kein Schnitt", dann die Aktion. Beginne mit der niedrigen Auflösungsstufe. Gehaltene Standbilder mit langsamen Zooms wirken wie eine Diashow.

  • Nur Startframe: die Kamera ist frei (Dolly, Bogen, Vorrücken).
  • Ein Push, der auf einer Pose landen muss: füge einen Endframe hinzu, einen Zuschnitt der Endpose bei etwa 1,12x. Der Push landet dann genau dort. Ein Nur-Start-Nahaufnahme kann den Kopf abhacken.
  • Ein Still-Clip (clip mit start- und end-Bildpfaden) muss auf ein Still folgen, dessen src sein Startframe ist.
  • "in": 1.0 überspringt die erste Sekunde eines Clips. dur: "clip" nimmt die tatsächliche Länge des Clips, und der fill-Shot absorbiert die Differenz.
  • "gain" verdunkelt einen Clip. "lights_out": {"at": 2.8, "flicker": 0.7, "floor": 0.04} lässt das Licht stottern und fällt auf nahezu Schwarz, kostenlos im Schnitt erledigt. Kombiniere es mit einem passenden Soundeffekt.
  • Halte die Bedrohung außerhalb des Bildschirms. Dunkel und unsichtbar wirkt gruseliger als eine Kreatur auf dem Bildschirm.
  • Halte Schüsse unsichtbar: Schnitt auf Schwarz und lass den Ton es tragen. Modelle feuern Waffen, auch wenn sie es nicht sollen, also überprüfe Waffenclips Frame für Frame und beende den Shot vor jedem Schuss.
  • Prompt-Formulierung für das Videomodell:
    • Eine langsame, kontinuierliche Bewegung. Benenne, was stillsteht (Körper, Füße, Hintergrund).
    • Sage, wie sich Requisiten verhalten ("der Stab bleibt aufrecht und schwingt nie"). Vermeide "schwingen".
    • Beschreibe, was erscheinen soll. Verneinungen ("kein Nebel") werden oft ignoriert, also zeige weniger.
    • Wenn sich das Requisit bewegt, bewegt sich der ganze Körper mit: Gewicht, Oberkörper, Kopf. Füße fest auf dem Boden.
    • Eine Nahaufnahme benötigt langsames Atmen und eine kleine Neigung für den größten Teil des Clips, dann eine schnelle Bewegung. Ohne das wirkt es eingefroren.
  • Clip-Länge: 3 bis 5 Sekunden. Längere Clips geben dem Modell Raum zum Abschweifen.

Schnittseitige Knöpfe (kostenlos, im Schnitt gezeichnet)

  • "fade_in" blendet einen Clip aus Schwarz ein. "flash" fügt einen weißen Blitzschnitt hinein.
  • "handheld" (0 bis 1) schwenkt gehaltene Standbilder. Verwende 0 bei Kamera-Clips, die ihre eigene Kamera mitbringen.
  • scan ist eine Suche durch ein Zielfernrohr, als eigener Shot, auf einem breiten Still. Verwende niemals einen Videomodel-Pan dafür, weil ein Pan wie ein Schieber gleitet: {"kind": "scan", "dur": 4.4, "src": "<wide still>", "span": 0.236, "scope": {"radius": 0.445, "sway": 16, "steady": 2.4}, "path": [[0.0, 0.13, 0.24], [3.2, 0.645, 0.345]]} Jeder Pfadpunkt ist [Sekunden, x, y] auf dem Still. Das Ziel jagt den Pfad auf einer Feder, also überschießt es, korrigiert und landet auf dem letzten Punkt. Sage dem Videomodell "kein Kreis, kein Fadenkreuz", wenn ein Clip durch ein Zielfernrohr gezeigt wird. Der Schnitt zeichnet den Ring.
  • "live" auf einem Scan spielt einen breiten Clip im Still ab einer bestimmten Sekunde ab, sodass sich ein Subjekt mit echter Geschwindigkeit bewegt, wenn die Linse ihn findet. Verwende es, um eine Pause zu entfernen.
  • Eine kleine mechanische Bewegung, die das Modell nicht machen wird (ein Abzug, ein Schalter): Richte es im Schnitt aus dem Schlüsselbild ein. Schneide das bewegliche Teil als Polygon aus, fülle dahinter, drehe es an seinem Gelenk unter einem langsamen Stoß. Zoome so, dass die Bewegung das Telefon ausfüllt.
  • shirt "from_black": 1.0, "from_white": 0 blendet die Enthüllung aus Schwarz ein, wenn das Board kein Weiß ausspart.

Vollformat-Standbilder und Schlüsselbilder

Verwende diese, wenn es keine Figuren-Renderings gibt oder das Board Nahaufnahmen und Point-of-View-Shots hat.

  • Ein still-Shot nimmt ein vollformatiges Bild src, mit push, anchor [x, y], fade_in, fade_out und flash.
  • Schlüsselbilder kommen von einem Bildbearbeitungsmodell, 9:16. Gib ihm das Charakterblatt und die Szene als Referenzen, das Blatt zuerst. In einem getesteten Setup erreichten nur die ersten beiden Referenzen das Modell, also behalte die wichtigen zuerst.
  • Der Endframe eines Clips ist eine Bearbeitung seines Startframes ("das gleiche Bild, nur ..."), damit die beiden übereinstimmen. Eine kleine Änderung ist schneller als eine lokale Bearbeitung im Code als eine Modellbearbeitung.
  • Eine Nahaufnahme entspricht der eigenen Ansicht des Blattes: eine Seitenansicht ist das wahre Profil des Blattes.
  • Ein Schädel im Profil behält echte Proportionen (ein runder Schädel über einem kurzen Gesicht). Eine Kapuze folgt dem Schädel und bedeckt die Oberseite und den Rücken. Sage das im Prompt.
  • Beurteile Kopfbedeckungen anhand ihrer Seitenkontur. Beschreibe die Kontur ("kurz, rund, endet am Hinterkopf"). Wörter wie "groß" oder "spitz" lassen Bildmodelle einen Zauberhut wachsen.
  • Eine Hand ist etwa so lang wie der Schädel hoch ist. Für skelettartige Hände benenne die einzelnen Fingerknochen. "Dick klobig" allein ergibt eine Faust.
  • Ein Eröffnungsshot beginnt hoch und weit über dem gesamten Set, kommt dann zur Figur herunter. Mache den breiten Frame zuerst und nimm den nahen Endframe als Zuschnitt davon. Ein Schnitt, der sagt "die Kamera hat sich bewegt", neigt dazu, die Figur an Ort und Stelle zu skalieren.

Zuerst kostenloses Konzept-Board

Vor jedem kostenpflichtigen Aufruf skizziere jedes Panel auf dem Medienserver (FLUX, etwa 8 Sekunden pro Stück) in work/keys/, führe dann stills aus. Der Benutzer sieht den gesamten Schnitt kostenlos. Eine Skizze hält keinen Charakter, also sage das, wenn du sie zeigst. Kostenpflichtige Schlüsselbilder ersetzen die Skizzen. Bei einem neuen Charakter ist das Charakterblatt der erste kostenpflichtige Aufruf. Jedes Schlüsselbild nimmt dann dieses Blatt als erste Referenz.

Behalte eine Bildschirmrichtung pro Charakter bei (spiegele eine Skizze, wenn sie in die falsche Richtung schaut). Wiederkehrende Charaktere werden aus ihren echten Schlüsselbildern geschnitten, niemals aus einer Skizze.

Halte jeden wiederkehrenden Charakter in assets/characters/<name>/ mit einer README: das Blatt, die Kostümregeln, die Sets, die sie verwenden. Lies die README vor jedem Schlüsselbild.

Musik und Sound

  • Musikspur: instrumental, etwa 30 Sekunden, geschrieben gegen die Timeline, die check ausgibt. Ein typischer Bogen: ein Treffer auf dem Logo, eine düstere Spur unter dem Dolly, ein ansteigender Aufbau durch den Clip und Glanz, der Abfall auf dem Weißausgleich, ein letzter Treffer auf der Karte. Generiere sie mit ElevenLabs Musik oder verwende deinen eigenen lizenzierten Track. Speichere sie unter assets/music/<name>.mp3 und setze den Prompt in audio.prompt.
  • Soundeffekte liegen in assets/sfx/ (Einschlag, Whoosh, Riser). Füge audio.sfx-Einträge hinzu, die auf einen Shot verankert sind. Erstelle einen neuen, wenn sich das Requisit ändert.
  • audio.mute: [<shot ids>] schneidet die Musik hart über diese Shots und lässt die Soundeffekte weiterlaufen. Verwende es für "Schnitt auf Schwarz, dann Schüsse".
  • Generierte Schüsse verschmieren zu einer einzigen Lärmwand. Generiere einen sauberen Schuss und schichte den Ausbruch lokal: ein Low-Shelf, ein pitch-fallender Sub-Bumm unter jedem Treffer, kleine Pitch- und Level-Änderungen pro Treffer, dann ein Limiter.

Kosten

Platten, Ausschnitte und der lokale Render sind kostenlos. Kostenpflichtige Schlüsselbilder, Clips (OpenArt oder ähnlich) sowie ElevenLabs Musik und Soundeffekte kosten Credits. Zitiere jeden Aufruf zuerst und bewahre die AUTH-Zeile in ~/video-studio/relay/auth.md auf, die ihn abdeckt.

job.json, kurzgefasst

length (der Schnittpunkt der Musik), product (url, title, price, sizes, colours), plate (src, prompt), figures (name zu src, optional feet, centre_on), shots (eine Liste von id, kind, dur, panel und artspezifischen Schlüsseln), vhs, handheld, audio (music, prompt, music_gain, fade_out, mute, sfx), post (Text für jede Plattform) und ein optionales look. Standardwerte pro Art leben in SHOT_DEFAULTS in sr_lib.py. Text auf dem Bildschirm akzeptiert {title}, {details} und {site}.

Fallstricke

  • rembg wird für Ausschnitte benötigt: pip install rembg. Der Befehl cutouts sagt, was fehlt und wie man es einrichtet.
  • Der Glanz findet eine magenta Kugel anhand der Farbe. Für ein anderes Requisit setze light.at ([x, y, r], Bruchteile der Figurenbox) und light.rgb. Überprüfe Preis und Größen gegen die Live-Seite.
  • ffmpeg muss im PATH sein. Der gesamte Text auf dem Bildschirm wird mit Pillow gezeichnet, also benötigt ffmpeg das drawtext-Filter nicht.

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

Verwandte Skills