HyperFrames Pipeline — Multi-Tenant Brand Explainer Videos
End-to-End-Pipeline, die eine URL nimmt und ein fertiges, gebrandetes Erklär-/Promo-MP4 produziert. Entwickelt und validiert auf ColdStart (coldstartb2b.com). Konzipiert für die Skalierung auf jede B2B-Marke mit minimaler, pro Mandant konfigurierbarer Konfiguration.
Wann aufrufen
- Der Benutzer sagt "Hyper Frames"/"hyperframes" + eine URL oder einen Markennamen
- Der Benutzer fragt nach einem Erklär-/Promo-Video für ein bestimmtes Unternehmen
- Der Benutzer sagt "mach ein Video für " oder ähnlich
- Der Benutzer sagt "lass uns das auf ausprobieren"
Erforderliche Umgebung (in <your-project-dir>/.env)
KIE_AI_API_KEY=... # Nano Banana 2 + Seedance 2 über KIE.AI
HEYGEN_API_KEY=... # HeyGen-Avatar-Generierung
ELEVENLABS_API_KEY=... # 11Labs Stimme + Musik
Projektstruktur
<your-project-dir>/
brands/
<brand>/ # ein Verzeichnis pro Marke (erstellt von brand-book)
brand.json
colors.md
typography.md
voice-tone.md
reference.png
template-16x9/ # die aktive Komposition (ein Arbeitsverzeichnis; Assets pro Marke tauschen)
index.html
styles/
brand.css # Marken-Interface — einzige Datei mit markenspezifischem CSS
template.css # markenunabhängige Motion
layouts.css # 10 Layout-System
assets/
voice.mp3 # 11Labs Ausgabe (gepadded)
avatar.webm # HeyGen Ausgabe (chromakeyed + gepadded)
music.mp3 # 11Labs Musikuntermalung
broll-*.png # Nano Banana B-Roll
renders/
Für Multi-Tenant-Produktion sollte zukünftiges Stage 0 template-16x9/ pro Marke kopieren. Derzeit Assets pro Rendering direkt tauschen.
Pipeline-Stufen
Stufe 1 — Markenextraktion
Rufe den brand-book Skill für die Ziel-URL auf. Er produziert:
brands/<brand>/brand.json— Palette, Typografie, Stimm-/Tonfall-Zusammenfassungbrands/<brand>/css-variables.json— ALLE CSS-Variablen der Live-Websitebrands/<brand>/reference.png— Screenshot der Startseite
Extrahiere die beiden festgelegten Farben, die alle nachfolgenden Stufen steuern:
bg: Hintergrundfarbe der Marke (typischerweise nahezu schwarz, z. B.#050508)accent: Signalfarbe der Marke (typischerweise ein gesättigter Farbton, z. B.#8b9cf7)
Diese werden zu Substitutionen in B-Roll-Prompts und in styles/brand.css.
Stufe 2 — Website lesen, Geschäft verstehen
Verwende WebFetch, um die Startseite + Schlüsselseiten (Leistungen, Team, Preise, Über uns) zu lesen. Synthetisiere:
- Was sie verkaufen
- An wen sie verkaufen (ICP)
- Die 1–2 schärfsten Unterscheidungsmerkmale
- Den gewünschten CTA (Gespräch buchen, Testversion starten usw.)
Dies wird zur Substanz des Drehbuchs.
Stufe 3 — Drehbuch
Schreibe ein Drehbuch für die gewünschte Dauer. Tempo-Regel: ~2,7 Wörter pro Sekunde Sprache (eleven_multilingual_v2 Kadenz). Also 22s ≈ 60 Wörter; 45s ≈ 120 Wörter; 60s ≈ 160 Wörter.
Struktur (5-Szenen-Vorlage bei 22s; proportional für längere Videos skalieren):
- Hook (10–15 % der Dauer) — knackige 3–6-Wort-Zeile
- Körper 1 — Problem (~30 %) — was kaputt ist / der Engpass
- Körper 2 — Statistik oder Beweis (~15 %) — das Ausmaß (Template 2 Diagramm für B-Roll verwenden)
- Körper 3 — Wie wir arbeiten (~25 %) — das Unterscheidungsmerkmal
- Ende / CTA (~15 %) — Einladung + Markenlogo
Für längere Videos (45s+) füge zwischen Körper 1 und Körper 2 zusätzliche Körperszenen hinzu (z. B. "Körper 1a — Spezifischer Schmerzpunkt", "Körper 1b — Kosten der Untätigkeit").
Prosodie für 11Labs eleven_multilingual_v2: Zeichensetzung steuert das Tempo (Kommas = Mikro-Pausen, Punkte = vollständige Pausen, Gedankenstriche = Betonung). Keine SSML- oder Emotions-Tags verwenden — multilingual_v2 beachtet sie nicht. Schreibe einfach konversationelle Prosa mit natürlicher Zeichensetzung.
Speichere das Drehbuch zur Nachverfolgbarkeit in template-16x9/script.txt.
Stufe 4 — Stimme (11Labs)
Rufe 11Labs TTS mit eleven_multilingual_v2 auf. Standardstimme: <your-elevenlabs-voice-id> (setze dies auf eine Stimme aus deiner 11Labs-Bibliothek, oder was der Benutzer angibt / die Marke bevorzugt — frage bei Unklarheit).
source .env && curl -s -X POST "https://api.elevenlabs.io/v1/text-to-speech/<your-elevenlabs-voice-id>" \
-H "xi-api-key: $ELEVENLABS_API_KEY" \
-H "Content-Type: application/json" \
-d '{"text":"<script>","model_id":"eleven_multilingual_v2"}' \
--output assets/voice_raw.mp3
Nachbearbeitung: Lautstärke auf 92 % via FFmpeg (Pipeline-Standard):
ffmpeg -y -i voice_raw.mp3 -af "volume=0.92" -c:a libmp3lame -b:a 192k voice.mp3
Stufe 5 — Avatar (HeyGen)
Wähle eine talking_photo_id (Look-ID). Setze deinen Standard auf einen Look aus deinem eigenen HeyGen-Konto: <your-heygen-talking-photo-id>.
Setze immer use_avatar_v_model: true auf Zeichenebene. HeyGen fällt bei nicht V-enrolled Looks still auf Avatar IV zurück (Avatar IV Ausgabe rendert einwandfrei).
Audio hochladen → talking_photo Rendering absenden → abfragen → herunterladen → Chromakey:
# Audio hochladen
AUDIO_ID=$(curl -s -X POST "https://upload.heygen.com/v1/asset" \
-H "X-Api-Key: $HEYGEN_API_KEY" -H "Content-Type: audio/mpeg" \
--data-binary @assets/voice.mp3 | python3 -c "import json,sys;print(json.load(sys.stdin)['data']['id'])")
# Rendering absenden
VID=$(curl -s -X POST "https://api.heygen.com/v2/video/generate" \
-H "X-Api-Key: $HEYGEN_API_KEY" -H "Content-Type: application/json" \
--data-binary @- <<EOF | python3 -c "import json,sys;print(json.load(sys.stdin)['data']['video_id'])"
{
"video_inputs": [{
"character": {
"type": "talking_photo",
"talking_photo_id": "<your-heygen-talking-photo-id>",
"use_avatar_v_model": true
},
"voice": { "type": "audio", "audio_asset_id": "$AUDIO_ID" },
"background": { "type": "color", "value": "#00FF00" }
}],
"dimension": { "width": 720, "height": 1280 }
}
EOF
)
# Abfragen, bis abgeschlossen (normalerweise 60–90s für IV, 5–20min für V beim ersten Rendern mit neuem Look)
# GET https://api.heygen.com/v1/video_status.get?video_id=$VID → data.status == "completed"
# Dann data.video_url herunterladen nach assets/avatar_green.mp4
Stufe 6 — Chromakey + symmetrisches Padding
Konvertiere HeyGen Greenscreen MP4 → transparentes VP9 webm mit 0,5s Standbild-Padding an beiden Enden:
# Chromakey + Despill → rohes transparentes webm
ffmpeg -y -i avatar_green.mp4 \
-vf "chromakey=0x00FF00:0.10:0.05,despill=type=green:mix=0.6:expand=0" \
-c:v libvpx-vp9 -pix_fmt yuva420p -auto-alt-ref 0 -b:v 0 -crf 30 -an \
avatar.raw.webm
# Beide Enden mit 0,5s Standbildern padden (erhält Transparenz)
ffmpeg -y -c:v libvpx-vp9 -i avatar.raw.webm \
-vf "tpad=start_duration=0.5:start_mode=clone:stop_duration=0.5:stop_mode=clone" \
-c:v libvpx-vp9 -pix_fmt yuva420p -auto-alt-ref 0 -b:v 0 -crf 30 -an \
avatar.webm
Padde voice.mp3 symmetrisch mit 0,5s Stille an beiden Enden, damit Audio-Offsets mit dem Avatar-Timing übereinstimmen:
ffmpeg -y -f lavfi -i anullsrc=r=44100:cl=stereo -t 0.5 -c:a libmp3lame -b:a 192k silence.mp3
ffmpeg -y -f concat -safe 0 -i <(printf "file '%s/silence.mp3'\nfile '%s/voice_raw.mp3'\nfile '%s/silence.mp3'\n" "$PWD" "$PWD" "$PWD") \
-c:a libmp3lame -b:a 192k voice.mp3
Dies erreicht die Timing-Regel: Avatar erscheint → Sprache beginnt → Sprache endet → Avatar blendet aus. Siehe project_audio_video_timing.md (erstellt in Phase 9, falls nicht vorhanden — die Regel ist 0,5s Vorlauf + 0,5s Nachlauf, alle GSAP-Szenen-Cues um +0,5s verschoben, endgültiges Ausblenden beginnt 0,1s nach Sprach-Ende).
Stufe 7 — Objekt-Positionskalibrierung
Die Position des Avatargesichts im Frame hängt vom Quellfoto ab, daher pro Look-ID neu kalibrieren:
ffmpeg -y -ss 0.7 -i avatar.webm -vframes 1 avatar-frame-check.png
Frame lesen, Gesichtsmitte-y-Koordinate (im 1280 hohen Quellmaterial) messen. object-position pro Layout berechnen:
object_position_y_pct = ( (face_y_px / 1280) * scaled_height_for_layout - layout_slot_height/2 ) / (scaled_height_for_layout - layout_slot_height) * 100
In der Praxis: Gesicht im oberen Drittel des Frames (face_y ~380) → '50% 30%' für enge Slots, '50% 50%' für Full-Frame-Slots verwenden. LAYOUT_AVATAR_SLOTS in index.html aktualisieren. Nie raten — immer aus einem extrahierten Frame kalibrieren.
Stufe 8 — B-Roll-Bilder (Nano Banana 2 über KIE.AI)
Zwei festgelegte Vorlagen — siehe project_image_direction_templates.md für die vollständigen Versionen. Markenfarben werden pro Projekt getauscht (substituiere BG_HEX und ACCENT_HEX aus brand.json).
Vorlage 1 — Reine abstrakte Skulptur (Atmosphäre, Stimmung, narrative Schläge):
Abstrakte 3D-Skulptur-Render auf einem einfarbigen
[BG_HEX]-Hintergrund.[FORM_DESCRIPTION], die auf[MOTION_INTENT]hindeuten.[ACCENT_HEX]Licht wird durch und um die Form mit Subsurface Scattering gebrochen, streut sanfte Kaustiken auf einen subtil reflektierenden dunklen Boden. Weiche, gerichtete Studiobeleuchtung. Hyperrealistischer Octane-Render. Premium-Tech-Keynote-Ästhetik. Scharfer Fokus auf die zentrale Form, Tiefenabfall in den Schatten an den Rändern. Kein Text, keine Logos.
Vorlage 2 — Glas-Diagramm (jede Zeile, die sich auf eine Statistik, einen Vergleich, Wachstum, Verhältnis, "X×", "Y%" bezieht):
Abstrakte 3D-Datenvisualisierung auf einem einfarbigen
[BG_HEX]-Hintergrund.[CHART_TYPE]vollständig als schwebende, durchscheinende Glasformen dargestellt, die[DATA_CONCEPT]zeigen. Basiselemente in gedämpftem, mattem Grauglas; Fokuselemente mit[ACCENT_HEX]Subsurface Scattering und Brechung leuchtend, die sanfte Kaustiken auf einen subtil reflektierenden dunklen Boden werfen. Eine dünne, cremeweiße Achsenlinie. Weiche, gerichtete Studiobeleuchtung. Hyperrealistischer Octane-Render. Premium-Tech-Keynote-Ästhetik. Minimalistische, redaktionelle Komposition mit viel negativem Raum. Kein Text, keine Nummern, keine Etiketten, keine Logos.
Entscheidungsregel pro Szene: Wenn die Drehbuchzeile eine Zahl/Statistik/ einen Vergleich zitiert → Vorlage 2. Sonst → Vorlage 1.
Ablaufmuster (Standard 1:1 Seitenverhältnis; jedes Seitenverhältnis unterstützt). Immer HTTP-Code + Body erfassen, damit sich 4xx-Fehler selbst diagnostizieren:
source .env && RESPONSE=$(curl -sS -w "\nHTTP_CODE:%{http_code}" -X POST "https://api.kie.ai/api/v1/playground/createTask" \
-H "Authorization: Bearer $KIE_AI_API_KEY" -H "Content-Type: application/json" \
--data-binary @- <<EOF
{"model":"nano-banana-2","input":{"prompt":"<TEMPLATE WITH SLOTS FILLED>","output_format":"png","image_size":"1:1"}}
EOF
)
echo "$RESPONSE"
[[ "$RESPONSE" == *"HTTP_CODE:200"* ]] || { echo "KIE Submit fehlgeschlagen — siehe Body oben"; exit 1; }
https://api.kie.ai/api/v1/playground/recordInfo?taskId=<id> alle 4s abfragen, bis data.state == "success", data.resultJson parsen (es ist ein JSON-String — json.loads() aufrufen), URL herunterladen nach assets/broll-N.png.
Führe mehrere B-Roll-Generierungen parallel aus — KIE.AI kommt gut mit gleichzeitigen Aufgaben zurecht.
Häufige 400-Ursache: Prompt-Sicherheitsfilter. Nano Banana 2 lehnt Prompts ab, die als rechtlich/gewalt-/konfliktnah gelesen werden (z. B. "Gerichtssaal", "Rechtsstreit", "Kläger gegen Beklagte"). Bleibe strikt innerhalb der beiden abstrakten Vorlagen — codiere Bedeutung in Geometrie/Farbe, niemals in wörtlichen Motiven. Validiert am 2026-04-28: minimaler abstrakter Test gibt 200 mit derselben Auth/Schema zurück, also ist eine 400 hier nahezu immer der Prompt-Inhalt.
Stufe 9 — Musikuntermalung (11Labs Music)
source .env && curl -s -X POST "https://api.elevenlabs.io/v1/music?output_format=mp3_44100_128" \
-H "xi-api-key: $ELEVENLABS_API_KEY" -H "Content-Type: application/json" \
-d '{
"prompt": "<MUSIC PROMPT>",
"music_length_ms": 22000,
"force_instrumental": true,
"model_id": "music_v1"
}' --output assets/music_raw.mp3
Gibt Audio-Bytes synchron zurück. music_length_ms entspricht der Kompositionsdauer (Bereich 3000–600000ms).
Standard-Musik-Prompt für B2B-Werbe-Untermalung (validiert am 2026-04-27):
Zuversichtlich optimistische instrumentale Untermalung für einen B2B-Werbespot. Helles, modernes Klavier spielt ein vorwärts treibendes rhythmisches Muster mit klaren Staccato-Noten, gepaart mit subtilen, erhebenden Synthesizer-Pads. Leichter, sanfter Puls — weiche Shaker oder gedämpfte rhythmische Klicks, die stetigen Vorwärtsdrang liefern. Keine großen Drums, keine Kicks, keine Crashs, keine Becken. Kein Gesang. Selbstbewusst, peppig, energiegeladen, optimistisch. Modern, sauber, technologisch fortschrittlich, professionell, zeitgemäß, Corporate. Tempo etwa 115 BPM. Helle Dur-Tonart, sonnig, aber nicht klebrig. Gleichmäßige Dynamik während des gesamten Stücks — keine Swells, keine Drops, keine Höhepunkte, keine Ausblendungen — aber mit stetigem rhythmischen Schwung. Klingt wie die Untermalung eines modernen SaaS-Produkt-Launch-Videos.
Anti-Muster, die im Prompt vermieden werden sollten:
- "Filmisch" / "stimmungsvoll" / "ambient" → produziert sentimentale Schwere, falsch für Werbespots
- Tempo unter 90 BPM → zu schläfrig
- Erwähnung von Swells, Höhepunkten, Dynamikänderungen → konkurriert mit der Stimme
- "Kein Gesang" vergessen → ElevenLabs könnte Summen hinzufügen
Mix auf -20dB mit kurzen Ein-/Ausblendungen, damit es unsichtbar unter der Stimme liegt:
ffmpeg -y -i music_raw.mp3 \
-af "volume=-20dB,afade=t=in:st=0:d=0.4,afade=t=out:st=<end-0.6>:d=0.6" \
-c:a libmp3lame -b:a 192k music.mp3
Stufe 10 — Kompositionszusammenstellung
Das template-16x9/index.html ist die Arbeitskomposition. Für jedes Rendering:
data-durationauf root, voice, avatar und music Elementen aktualisieren, um die Ziellänge zu erreichen- Markenfarben in
styles/brand.cssaktualisieren (Variablen--bg,--accentusw.) - Schriftarten in
brand.cssaktualisieren, wenn die Marke andere Schriftfamilien verwendet - Szenenübergänge in der GSAP-Timeline neu timen, um Drehbuch-Schlägen zu entsprechen
- Sicherstellen, dass alle 4 zeitgesteuerten Elemente (Avatar-Video, Voice-Audio, Musik-Audio, Root-Komposition) abgestimmte
data-startunddata-durationhaben
Audio-Track-Indizes: avatar=1, voice=2, music=3. Alle class="clip". Alle data-start="0".
Stufe 11 — Rendern
cd "$HOME/<your-project-dir>/template-16x9" && \
npx hyperframes lint && \
npx hyperframes render --output renders/<brand>-v<n>.mp4
KRITISCH: Rendern im Vordergrund ausführen. Hintergrundmodus-Renderversuche bleiben nach Start der Frame-Erfassung bei 0% CPU hängen. Verwende einen Vordergrund-Bash-Aufruf mit timeout: 300000. Rendern dauert ~1–2 Min. für eine 22s-Komposition, ~3–4 Min. für 45s.
Nach Abschluss des Renderns: open -a "QuickTime Player" renders/<brand>-v<n>.mp4 zur Überprüfung.
Iterationsschleife
Die meisten Renderings benötigen 1–3 Durchgänge:
- v1: Die Kette mit sinnvollen Standardwerten durchgängig zum Laufen bringen
- v2: Offensichtliche Probleme beheben (Gesichtsbeschnitt, zu laute Musik, Überg…
[gekürzt für Übersetzung]