Viral Animated Shorts Pipeline
Produzieren Sie animierte Shorts im 9:16-Format (2D-Strichmännchen-in-3D oder stilisierte 3D) nativ auf dem Gemini Media Stack und FFmpeg – ohne kostenpflichtige Drittanbieter-Wrapper oder Blender.
Voraussetzungsprüfung
Prüfen Sie vor dem Live-Video-Rendering oder Assembly die lokalen Abhängigkeiten (testen Sie --version, nicht nur which, da macOS /usr/bin/python3 ein nicht installiertes Xcode-CLT-Stub sein kann):
- Video/Audio-API:
gemini-api whoami(bevorzugt) oder Pythongoogle-genaiSDK mit gesetztemGEMINI_API_KEY(siehe die Skillsgemini-omni-flash-apiundgemini-api-cli). - Charakterbögen:
gemini-api image(gemini-nano-banana-2.1) oder der integrierte Subagentimage-generator. - Assembly & Frame-Sampling:
ffmpeg -version,ffprobe -version, undpython3 --version(für Caption-Konvertierung).
Wenn gemini-api oder ffmpeg fehlt, führen Sie die Stufen 1–2 live durch (verwenden Sie image-generator für die Bögen), generieren Sie jobs.json und .ass-Captions und geben Sie die genauen Installationsbefehle für die verbleibenden Live-Render-/Assembly-Schritte aus.
Sechs-Stufen-Workflow
Speichern Sie alle Projektartefakte in einem dedizierten <project_dir>/ (z. B. shorts/<slug>/):
shot_plan.json, sheets/, drafts_360p/, qa/, finals_1080p/, audio/, final_short.mp4.
Stufe 1: Drehbuch, Style Bible und Hook-Tor
- Erstellen Sie ein straffes Drehbuch: 30–45s (2–4 Szenen) für comedy-Skits oder 130–150 Wörter (45–55s) für Erklärvideos. Kein Intro oder Begrüßung.
- Erstellen Sie
<project_dir>/shot_plan.jsonpassend zureferences/shot_plan_schema.json:- Verwenden Sie einen wortwörtlichen
style_bible-String, der in jedem Szenen-Prompt wiederverwendet wird. - Definieren Sie jeden Charakter ohne gehaltene Props in seinem Grunddesign.
- Unterteilen Sie Szenen in 3–15s Omni-Clips mit
[0-3s]-Beat-Zeitcodes und einer durchschnittlichen Shotleine von 1,5–2,5s. - Setzen Sie
audio_modeaufnative_omni(comedy-Dialog/SFX) odertts_plus_bgm(Erzählung/Erklärvideos). - Schreiben Sie die letzte Zeile so, dass sie syntaktisch in Beat 1 übergeht.
- Verwenden Sie einen wortwörtlichen
- Hook-Tor (erforderlich vor dem Rendern): Überprüfen Sie Beat 1 (
0-3s) gegenreferences/qa_rubric.md(Abschnitt Hook-Tor). Generieren Sie kein Video, bis Beat 1 visuellen Kontrast in Frame 0, sofortige Bewegung und eine offene verbale Prämisse aufweist.
Stufe 2: Immutierbare 3-Panel-Charakterbögen
- Erstellen Sie einen 16:9-3-Panel-Charakterbogen pro Charakter (
Front | 3/4 Seite | Hinten) mit den Vorlagen inreferences/sheet_prompt_templates.md.- Verwenden Sie einen neutralen hellgrauen Hintergrund, flache gleichmäßige Beleuchtung, neutralen Gesichtsausdruck und keine gehaltenen Props (Props verursachen Hand-Morphing über Shots hinweg).
- Generieren Sie via
gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.png(oder delegieren Sie animage-generatorund kopieren/konvertieren Sie die Ausgabe.jpg/.pngin<project_dir>/sheets/). - Überprüfen Sie jeden Bogen visuell mit
read_file. Wiederholen Sie den Vorgang, wenn die Panels hinsichtlich Proportionen, Outfit oder Linienstärke voneinander abweichen. - Wenn Sie
gemini-apiverwenden, laden Sie die genehmigten Bögen einmal hoch (gemini-api files upload <sheet> --wait), umfiles/<id>-URIs für alle Szenen wiederzuverwenden.
Stufe 3: Günstiger 360p-Entwurfsdurchlauf
- Generieren Sie 9:16-Entwürfe bei
360pmitgemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p) viagemini-api videoodergenerate_video.py --batch jobs_360p.json. Jedes Element injobs_360p.jsonverwendet:{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"} - Übergeben Sie den unveränderlichen Charakterbogen (
-i/--image, bis zu 6 Bilder) in jeden Shot und binden Sie jeden Charakter in natürlicher Sprache in der Upload-Reihenfolge (verwenden Sie niemals<IMAGE_REF_N>-Tags). - Fügen Sie die wortwörtliche
style_bible, explizite negative Einschränkungen (kein Text auf dem Bildschirm, keine Wasserzeichen, leere Schilder) und Single-Shot- oder Timecode-Beats ein. - Trennen Sie Charaktere in 2-Charakter-Shots räumlich (links/rechts) oder verwenden Sie Schuss-Gegenschuss, um Attribut-Überlappungen zu vermeiden.
- Extrahieren Sie für direkte kontinuierliche Schnitte den letzten sauberen Frame von Szene N als sekundären Anker, während Sie den kanonischen Charakterbogen als primären Anker beibehalten.
Stufe 4: Kontextbewusste forensische VLM-QA (maximal 2–3 Wiederholungen)
- Extrahieren Sie Frames aus jedem Entwurfsclip (
Start,Mitte,Aktionsspitze,Ende) plus den letzten Frame des vorherigen Shots:bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4] - Führen Sie
gemini-api analyze(oder visuelle Inspektion viaread_file) mitreferences/qa_rubric.mddurch, indem Sie den Charakterbogen, den vorherigen Endframe und die extrahierten Frames übergeben. - Diagnostizieren Sie Fehler anhand des genauen Frame-Index und des Fehlercodes (
HOOK_WEAK,EXTRA_LIMB,STYLE_DRIFT,TEXT_WARP,AUDIO_DESYNC). - Wenden Sie die entsprechende Korrektur aus
references/failure_fix_playbook.mdan:- Kleiner lokalisierter Fehler: In-Place-Bearbeitung via
--previous-interaction-id <id>("<Fix. Behalten Sie alles andere bei."). - Schwerer Anatomie-/Kompositionsfehler: Vereinfachen Sie Aktion/Kamera und wiederholen Sie den Vorgang.
- Begrenzen Sie Wiederholungen auf 3 pro Shot. Protokollieren Sie neu entdeckte Korrekturen in
references/failure_fix_playbook.md.
- Kleiner lokalisierter Fehler: In-Place-Bearbeitung via
Stufe 5: 1080p-Final-Render und optionales 2D-zu-3D-Upgrade
- Rendern Sie genehmigte Shots bei
1080perneut (--resolution 1080p). - Optionales 2D-zu-3D-Upgrade: Konvertieren Sie jeden genehmigten 2D-Charakterbogen mit der 3D-Konvertierungsvorlage in
references/sheet_prompt_templates.mdund-i <char>_2d.pngin einen stilisierten 3D-Charakterbogen. Überprüfen Sie viaread_file, aktualisieren Sie diestyle_bibleauf stilisiertes 3D und führen Sie den bewährtenshot_plan.jsonerneut aus.
Stufe 6: Deterministisches FFmpeg-Assembly
- Generieren Sie zeitgesteuerte
.srt-Untertitel (gemini-api transcribe -i <audio_or_clip> --format srt) oder exportieren Sie sie aus dem Script-Timing. - Konvertieren Sie
.srtin sichere.ass-Karaoke-Untertitel (positioniert oberhalb der unteren 35% Shorts-UI-Gefahrenzone):python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass - Führen Sie das Probe->Conform->Concat->Duck->Burn-Captions->2-Pass
-14 LUFS-Assembly-Skript aus:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav] - Überprüfen Sie vor der Auslieferung die Abmessungen (
1080x1920), Dauer, Audio-Lautstärke (-14 LUFS) und visuelle Frame-Kontrollen vonfinal_short.mp4.