Übersicht
Diese Fähigkeit generiert ein Video, das Audio visualisiert – Wellenform oder beat-synchronisierte Elemente – aus einer Musikdatei mittels einer HyperFrames-Komposition. Verwende sie, wenn ein Titel ein begleitendes visuelles Element benötigt, ohne manuelle Bearbeitung. Sie rendert das finale MP4 aus der Komposition.
HyperFrames – Musik zu Video
Ein Musiktitel → ein beat-synchronisiertes Video. Lyric, Slideshow oder kinetischer Promo. Musik bestimmt das Tempo.
Wann verwenden
- Der Nutzer stellt eine Audiodatei bereit und möchte ein Video dafür
- Der Nutzer stellt ein Video zur Audioextraktion bereit (Musikextraktion)
- Der Nutzer gibt eine Stimmungsbeschreibung („aufmunternder Lofi für Produktlaunch“)
- Der Nutzer möchte ein Lyric-Video (Wörter synchron zu Gesang)
- Der Nutzer möchte eine beat-synchronisierte Diashow (Bilder wechseln auf Beats)
- Der Nutzer möchte einen kinetischen Promo (Typografie pulsiert mit dem Track)
Wann NICHT verwenden
- Der Nutzer möchte einen Produktlaunch von einer URL (verwende
hyperframes-product-launch-video) - Der Nutzer möchte ein Talking-Head-Video (verwende
hyperframes-talking-head-recut) - Der Nutzer möchte Erzählung/Sprecherstimme (verwende
hyperframes-faceless-explainer) - Keine Musik beteiligt (verwende
hyperframes-motion-graphics)
Arbeitsablauf
1 · Audio auflösen
Drei Eingabepfade:
- Audiodatei bereitgestellt: Untersuche mit
ffprobeauf Dauer, BPM (schätze oder erkenne) - Video bereitgestellt: Extrahiere mit
ffmpeg -i input.mp4 -vn -acodec libmp3lame audio.mp3 - Stimmungsbeschreibung: Generiere über TTS/Musikmodell oder wähle aus Katalog-BGM
2 · Beat-Struktur kartieren
Höre (oder analysiere) auf Abschnitte:
- Intro (0-8s) → Titel/Etablierung
- Strophe → Inhalt/Diashow
- Refrain/Höhepunkt → Höhepunkt/kinetischer Peak
- Outro → CTA/Ausblendung
Schreibe eine Beat-Map: [{ time: 0, section: "intro" }, { time: 8, section: "verse" }, ...]
3 · Szenen zu Abschnitten planen
Jeder musikalische Abschnitt erhält eine visuelle Behandlung:
- Intro: langsames Einblenden, minimale Bewegung
- Strophe: gleichmäßige Enthüllungen, ein Element pro 2-4 Beats
- Refrain: maximale Energie – Skalierungsausbrüche, Farbwechsel, schnelle Schnitte
- Brücke: visuelle Verschnaufpause – statischer Halt oder langsamer Schwenk
- Outro: Auflösung zur Endkarte
4 · Komposition erstellen
Verankere jede Animationsstartzeit an der Beat-Map. Verwende CSS-Keyframes oder GSAP mit absoluten Zeiten, die den Abschnittsgrenzen entsprechen.
<div id="main" data-composition-id="music-video"
data-start="0" data-duration="60" data-width="1080" data-height="1920" data-fps="30">
<div class="clip chorus-hit" data-start="32" data-duration="8" data-track-index="1">
<h1 class="lyric-line">CHORUS LYRIC HERE</h1>
</div>
<audio data-start="0" data-duration="60" src="./track.mp3"></audio>
</div>
5 · Rendern
npx hyperframes render --output music-video.mp4
Überprüfe die Synchronisation: Musterbilder an Abschnittsgrenzen, bestätige, dass visuelle Änderungen auf Beats landen (±2 Frames Toleranz).
Anti-Rationalisierungstabelle
| Rationalisierung | Realität |
|---|---|
| „Ich schätze die Zeit einfach per Augenmaß“ | Zuerst Beat-Map – jede Szene an Abschnittszeiten verankert |
| „Ich verwende durchgehend die gleiche Energie“ | Refrain schlägt härter als Strophe – Dynamik ist wichtig |
| „Ich überspringe die Audio-Untersuchung“ | Dauer/BPM-Fehler zerstört den gesamten Render |
| „Ich animiere nach Echtzeit“ | Alle Animationen suchbar – absolute Zeiten in der Komposition |
Überprüfung
- Audio aufgelöst (Datei, extrahiert oder generiert)
- Beat-Map mit Abschnittsgrenzen geschrieben
- Jeder Abschnitt hat eine eindeutige visuelle Behandlung
- Animationszeiten stimmen mit Beat-Map überein (±2 Frames)
- Ausgabedauer stimmt mit Audiodauer überein
- Refrain/Höhepunkt ist visuell von der Strophe unterscheidbar