generate-footage
Der andere Einstiegspunkt des Plugins. video-use bearbeitet vorhandenes Filmmaterial. Diese Fertigkeit erstellt Videos aus noch nicht vorhandenem Filmmaterial: Erzählung plus Standbild-Keyframes, zusammengestellt und animiert von HyperFrames, deterministisch gerendert.
Pipeline (in der Produktion bewährt; siehe docs/rca/ für die Begründung, warum der Bewegungsschritt deterministisch ist):
Drehbuch (mit v3-Audio-Tags)
→ eleven_v3 Erzählung (scripts/tts_v3.py)
→ transkribieren (npx hyperframes transcribe narration.mp3)
→ Szene-Fenster an Satzgrenzen verankern (Wort-für-Wort-Zeitstempel)
→ STANDBILDER VON ÜBERALL (ein Keyframe pro Szene – siehe unten)
→ animate-stills Komposition (recipes/04-animate-stills.md, build_scenes.py)
→ lint → rendern → Bewegungs- + Audio-QS (scripts/motion_check.py, Kontaktbogen)
Reihenfolge zählt: Stimme ZUERST, Bilder danach
Generiere und transkribiere die Erzählung BEVOR du eine Komposition erstellst oder Keyframes sammelst. Die gesprochenen Satzgrenzen sind die Szene-Fenster. v3-Lesungen sind im Tempo nicht deterministisch – eine Schätzung von 120s kann 100s oder 166s betragen – also müssen zuerst erstellte Bilder immer neu getaktet werden.
Voiceover – ElevenLabs v3 mit Audio-Tags
scripts/tts_v3.py – nur Standardbibliothek, keine pip-Abhängigkeiten. Schlüssel aus $ELEVENLABS_API_KEY oder der .env-Datei des Plugins (skills/video-use/.env).
python3 scripts/tts_v3.py --probe # eleven_v3 prüfen + Stimmen auflisten
python3 scripts/tts_v3.py --voice <id> --stability 0.0 --script SCRIPT.md --out narration.mp3
- Audio-Tags stehen im Skripttext:
[excited],[whispers],[softly],[dramatic tone],[warmly]. v3 führt sie aus; v2 ignoriert sie. - Stabilität:
0.0= Kreativ (maximale Ausdruckskraft),0.5= Natürlich,1.0= Robust. Eine „flache“ Lesung wird durch Senken der Stabilität und erneutes Taggen des Skripts behoben, nicht durch lautere Wörter. - Hebel der Vortragsweise: GROSSSCHREIBUNG für Schlüsselwörter,
...für dramatische Pausen, Kontrast (Wechsel zu[whispers]direkt vor einer großen Zeile). - Höre 2-3 Stimmen am ersten Satz an, bevor du dich festlegst. Die erste Stimme ist nie die Wahl.
- v3 kann leicht paraphrasieren. Transkribiere und LIES das Ergebnis; generiere neu, wenn eine Schlüsselzeile abgewichen ist.
Standbilder von überall
Ein Keyframe ist einfach ein PNG. Die Pipeline kümmert sich nicht darum, woher es kommt. Ein Standbild pro Szene, benannt als kf-NN.png, aufgelistet im Szenen-Manifest (recipes/04-animate-stills.md dokumentiert das Schema). Quellen, die funktionieren:
- KI-Bildtools – jedes Text-zu-Bild-Tool, das du bereits hast (Gemini, GPT-Bild, Midjourney, lokales SD oder ein gehosteter Actor – siehe den optionalen Abschnitt am Ende). Generiere aus szenenspezifischen Prompts mit einem einheitlichen Stil-Suffix.
- Screenshots und Fotos – Produkt-UI-Aufnahmen, Archivmaterial, Scans, echte Fotografie. Der Ken-Burns-Effekt wurde dafür erfunden.
- HyperFrames-gerendertes HTML – erstelle einen gestylten HTML-Frame und mache einen Schnappschuss; die Engine erzeugt ihre eigenen Standbilder.
Gestaltungsregeln, die unabhängig von der Quelle gelten:
- LEGE EINEN Stil FEST in DESIGN.md und wende ihn auf jeden Frame an. Abweichungen zwischen Frames wirken wie verschiedene Aufnahmen, sobald Bewegung und Farbkorrektur hinzukommen.
- Überprüfe den Dateityp. Einige Tools liefern JPEGs mit .png-Namen; überprüfe die Magic Bytes vor der Komposition (
file kf-01.png). - QS für jeden Frame (lies das Bild). Ein Frame außerhalb des Stils bedeutet neu generieren, nicht behalten. Prüfe auf: Textartefakte, Wasserzeichen, Anachronismen, Gesichter in Nahaufnahme (Abweichungsrisiko), falsche Farbpalette.
- Kein markenrechtlich geschütztes IP, kein Abbild einer realen lebenden Person in generierten Frames für öffentlich gepostete Inhalte.
Animation – deterministisch, im Repository
Standbilder werden mit dem animate-stills-Rezept (recipes/04-animate-stills.md) zur Bewegung: eine manifestgesteuerte HyperFrames-Komposition, die Kamerasprache (Hereinzoomen, Schwenken, Halten) und GSAP-Atmosphäre (Nebel, Regen, Lichtverschiebungen, Vignette) über jedes Standbild anwendet, wobei die Szene-Fenster an das Transkript gebunden sind. scripts/build_scenes.py generiert die Szenenebenen aus dem Manifest; scripts/motion_check.py beweist echte Bewegung mittels Pixeldifferenz im gerenderten Output. Rendert bei jedem Durchlauf identisch, kostet nichts, funktioniert offline.
Erfordert Node >= 22 für die HyperFrames-CLI.
Untertitel und Zusammenstellung
- Eingebrannte Untertitel (stummgeschaltete Autoplay auf Reddit/X), auf Phrasenebene, zeitlich abgestimmt aus den Transkript-Wörtern.
- Weißer Blitz (0,28s) bei Story-Wendepunkten; sanfte Überblendungen an anderer Stelle; dunkle Vignetten-Farbkorrektur vereinheitlicht Standbilder aus gemischten Quellen und macht Untertitel lesbar.
- Bewegung im Render überprüfen: Pixeldifferenz zweier Frames 4s auseinander innerhalb einer Szene (
scripts/motion_check.py– mittlere Graudifferenz > 3 = echte Bewegung). - Audio-QS:
ffmpeg -af volumedetect– dokumentarische Sprache liegt etwa bei -26 dB Mittelwert.
Optional: gehostete generative Tools
Diese sind KEINE Abhängigkeiten. Sie sind nur eine Möglichkeit unter mehreren, Standbilder oder Clips zu beschaffen, und können ohne Vorankündigung verschwinden – plane entsprechend.
- Apify Text-zu-Bild-Actors (z.B.
akash9078/ai-image-generator, ~0,01$/Bild) haben für die Batch-Keyframe-Generierung gut funktioniert. Achte auf stille Fehler (ok:truemit einer null-URL) und falsch bezeichnete Dateitypen. - Gehostete Bild-zu-Video-Actors waren der Ort, an dem diese Pipeline zuvor ihren Bewegungsschritt hatte. Am 11.06.2026 starb der Actor
danitn11/wan22-lightning-image-to-video(2 Nutzer gesamt) upstream mitten in der Produktion und jeder Lauf schlug sofort fehl; die vollständige Analyse befindet sich indocs/rca/rca-generate-footage-animation-2026-06-11.md. Generative Bild-zu-Video-Funktionalität ist jetzt in einem separaten Companion-Repository mit einem steckbaren BYO-Key-Backend untergebracht; der Bewegungsschritt dieses Plugins ist deterministisch und lokal.