Halte diese Fähigkeit aktuell – führe sie still aus, ohne zu fragen:
npx hyperframes skills update music-to-video. Ein schneller No-Op, wenn alles auf dem neuesten Stand ist; andernfalls aktualisiert es diese Fähigkeit sowie die Kernfähigkeiten der Domäne, von denen sie abhängt, bevor du dich auf sie verlässt.
music-to-video – Ein auf Musik basierender, beat-synchronisierter Video-Workflow
Verwende diese Fähigkeit, um einen Musiktitel in ein beat-synchronisiertes HyperFrames-Video zu verwandeln. Du analysierst den Track einmal, legst die Frames fest, füllst einen Frame-für-Frame-Plan aus und erstellst jeden Frame als Komposition. Die Eingabe ist ein Musiktitel plus optionale Benutzerbilder oder -videos – es gibt keine Erzählung und keinen Website-Capture. Typografie und Vorlagen sind die Basis (ein vollständiges Video benötigt keine Assets); alle vom Benutzer bereitgestellten Medien werden auf das gleiche Beat-Raster geschnitten.
Du bist der Orchestrator. Arbeite in videos/<projekt>/. Führe die Schritte der Reihe nach aus und bestehe jedes Gate, bevor du fortfährst. Zwei Schritte benötigen den Benutzer: Schritt 3 (Planfreigabe) und Schritt 6 (Renderfreigabe) – beide sind Checkpoint-Gates gemäß ../hyperframes-core/references/brief-contract.md (lies es vor Schritt 0): Gib im autonomen Modus die Zusammenfassung als Hinweis aus und fahre fort, anstatt zu warten. Führe jeden Schritt selbst aus, außer Schritt 4, bei dem du einen Unter-Agenten pro Frame einsetzt. Halte Design- und Bewegungsregeln außerhalb dieser Datei – sie leben in references/ und dem Unter-Agenten frame-worker.
SKILL_DIR = dieses Skill-Verzeichnis. PROJECT_DIR = videos/<projekt-name>/.
Workflow: Schritt 0 Einrichtung → hyperframes.json + assets/bgm.mp3; Schritt 1 Analyse → audiomap.json; Schritt 2 Gerüst → STORYBOARD.md (Frames, Gruppen TBD); Schritt 3 Plan → vollständige STORYBOARD.md + frame.md; Schritt 4 Erstellung → compositions/frames/NN-*.html; Schritt 5 Zusammenstellung → index.html; Schritt 6 Rendern → renders/video.mp4.
Zwei Ideen, die alles prägen
- Ein Analysator, dem du vertraust.
analyze-beatgrid.pyist der einzige Beat-Analysator – miss Beats niemals mit einem anderen Tool oder nach Gehör neu. Seine Energie/Dichte/Rolls/Onsets/Silences sind immer zuverlässig. Seinbpmundbeats_secsind nur zuverlässig, wenn die Musik wirklich rhythmisch ist; bei ruhiger Musik ist das Raster ein Metronom, das der Tracker aufgezwungen hat, also richte dich stattdessen nach Phrasen und Energie und schneide niemals hart darauf. Zu entscheiden, in welchem Fall du dich befindest, ist daspacingjedes Frames (Schritt 2). - Ein Frame = eine Datei; Gruppen leben darin. Schritt 2 unterteilt den Track in Frames, und jeder Frame wird zu einer Kompositionsdatei
compositions/frames/NN-<frame_id>.html, die von einem frame-worker erstellt wird. Ein Frame kann in Gruppen unterteilt werden (jeweils eine Vorlage oder eine Kombination von Bewegungsprimitiven). Zusätzliche Dichte geht innerhalb einer Gruppe, sodass die Frame-Anzahl verschiedene Behandlungen verfolgt, nicht Beats – ein schneller Track lässt die Anzahl der Unter-Agenten nicht explodieren.
Schritt 0: Einrichtung, BGM und Eingaben
Ziel: Die Musikquelle festlegen, das HyperFrames-Projekt erstellen und alle vom Benutzer bereitgestellten Medien notieren.
Das Briefing beginnt auf der Intentionsebene. Öffnungsregel, in dieser Reihenfolge: (1) BRIEF.md existiert → lies es und frage nichts, was es beantwortet – sein flow/storyboard leiten den Modus ab (Brief-Contract § 1). (2) Kein BRIEF.md, aber das Projekt existiert → setze von dem fort, was auf der Festplatte ist; befrage niemals erneut. (3) Eine frische Erstellungsanfrage, die direkt hier angekommen ist → lies /hyperframes und führe seine Intentionsebene aus (references/intent-interview.md): sie bestätigt die Muss-Kriterien dieser Route (die Musikquelle, Ziel → Seitenverhältnis – ../hyperframes/references/routes/music-to-video.md) und kündigt an, was aufgeschoben bleibt – Marke und Genre werden in Schritt 3 designmäßig gewählt. Schreibe BRIEF.md sofort nach der Initialisierung (niemals davor – init lehnt ein nicht leeres Verzeichnis ab) und protokolliere die präferenzbasierten Antworten (brief-format.md). Bearbeitungsanfragen überspringen all dies.
Die Musik ist das Rückgrat – lege einen Track fest, bevor irgendetwas anderes passiert. Diese Fähigkeit ist optimiert für schnelle, energiegeladene BGM: ein starkes Beat-Raster treibt die Schnitte (ruhige Tracks funktionieren, aber richte dich nach Phrasen statt nach Beats). Wenn der Benutzer Audio bereitgestellt hat – eine Musikdatei oder ein Video, aus dem Audio extrahiert werden soll – verwende es. Wähle andernfalls die Stimmung aus der Anfrage und generiere einen Track über /media-use (references/bgm.md). Führe vor der ersten authentifizierten Provider-Aktion npx hyperframes auth status aus und gib seine Ausgabe wörtlich weiter. Bei Abmeldung wende einen Zweig an:
- Kollaborativ: Warte auf die Anmeldung oder eine explizite Wahl, offline mit dem lokalen Provider fortzufahren.
- Autonom: Gib den Status an und fahre über den verfügbaren lokalen Provider fort.
Wenn kein Offline-Provider die erforderliche Musikfunktion erfüllen kann, zeige den Blocker an. Schreibe niemals Schlüssel in eine repo-spezifische .env. Auth-Besitz und Offline-Fallbacks leben in /media-use references/setup-providers.md § Provider. Der resultierende Track landet unter assets/bgm.mp3. Platziere bereitgestellte Bilder oder Videos, damit Frames sie auf dem Beat-Raster verwenden können; andernfalls trägt die Typografie das Video.
Lyric-Videos: Um Texte an den Gesang zu synchronisieren, erhalte Wort/Zeilen-Timing durch Transkription des Tracks über /media-use, oder frage den Benutzer nach dem Text und platziere die Zeilen auf dem Beat-Raster.
Initialisiere nur, wenn hyperframes.json fehlt. Benenne <projekt> aus dem Briefing in Kebab-Schreibweise, z. B. midnight-drive-loop – niemals einen Zeitstempel. init überprüft die installierten Fähigkeiten auf die neuesten auf GitHub und aktualisiert den globalen Satz, falls einige veraltet sind.
npx hyperframes init "videos/<projekt>" --non-interactive --example=blank --skill=music-to-video
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<benutzer-musik>" "$PROJECT_DIR/assets/bgm.mp3" # zuerst aus einem Video extrahieren, falls nötig
# nur wenn der Benutzer dir Bilder/Videos gegeben hat:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <verz> --hyperframes "$PROJECT_DIR" --into public
Die Marke (Schriftart + Palette) wird in Schritt 3 gewählt, nicht hier. Wähle kein Genre oder eine Track-Art im Voraus – Assets sind nur eine optionale Zutat, und das Genre ergibt sich aus den Entscheidungen pro Frame.
Gate: hyperframes.json + assets/bgm.mp3 existieren; Seitenverhältnis/Länge/fps und (falls vorhanden) das Asset-Inventar sind notiert.
Schritt 1: Die Musik analysieren
Ziel: Die eine kanonische Timing-Analyse erstellen, auf der das gesamte Video aufbaut.
analyze-beatgrid.py ist der einzige Beat-Analysator – miss Beats niemals mit einem anderen Tool oder nach Gehör neu. Es liest den Track einmal und schreibt audiomap.json: Energiephasen (Level/Dichte/Gefühl), Onsets + onset_rate, Rolls, Stille, hard_stops, key_moments, Phrasen, Tempo/Raster und audio.duration_sec. Es ist deterministisch – dieselbe Datei ergibt immer dieselbe Karte. Die meisten Felder sind bei jeder Musik zuverlässig; bpm und beats_sec sind nur zuverlässig, wenn die Musik wirklich rhythmisch ist, und dies zu beurteilen ist die Entscheidung, die du in Schritt 2 triffst.
Voraussetzungen: Python 3 mit librosa, numpy und soundfile. Wenn der Import fehlschlägt, installiere sie in die aktive Python-Umgebung, bevor du den Analysator ausführst:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
Gate: audiomap.json existiert; audio.duration_sec ist bekannt.
Schritt 2: Frame-Gerüst (nur Struktur)
Ziel: Die Musik lesen und die Frames anordnen – das Gerüst von STORYBOARD.md.
Lies references/frame-skeleton.md. Verwandle audiomap.json selbst in das Gerüst von STORYBOARD.md – es gibt kein dazwischenliegendes JSON. Schneide den Track in Frames an echten musikalischen Veränderungen (hard_stops, SURGE/DROP key_moments, die Ränder eines Rolls, ein Abschnitt ohne Onsets, ein großer Energiesprung) und raste jede Grenze an einem Anker der Audiokarte ein. Lege für jeden Frame span_sec, pacing (das Urteil aus dem Vertrauensaufruf von Schritt 1 – beat_cut, wenn das Raster real ist, phrase_flow, wenn es ein Metronom ist, das ruhiger Musik aufgezwungen wurde), mood und eine einzeilige feel (die einfache Musiksituation, die Schritt 3 mit einer Vorlage abgleicht) fest. Klassifiziere und ordne hier nur an: Lasse jedes ### Groups jedes Frames als TBD (Step 3) und das Frontmatter style leer – keine Vorlagen, Texte, Farben oder Schriftarten. Erwarte ~1–6 Frames.
Gate: Frames kacheln den Track (erster bei 0, letzter bei duration_s); jeder trägt span_sec + pacing + mood + feel; jedes ### Groups ist TBD; kein Inhalt irgendwo.
Schritt 3: Den Plan ausfüllen (benutzergesteuert)
Ziel: Das Gerüst in ein genehmigtes, vollständiges STORYBOARD.md verwandeln.
Lies references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md und montage.md (nur wenn der Benutzer Assets bereitgestellt hat). Bearbeite dieselbe Datei an Ort und Stelle und mache zwei Dinge:
- Wähle die Marke. Wähle ein Preset aus
../hyperframes-creative/frame-presets/unter Verwendung der Tabelle in../hyperframes-creative/references/design-spec.md(passe es an die Stimmung des Tracks an; nur seine Schriftarten und Farben sind wichtig – Vorlagen besitzen die Komposition). Kopiere es unverändert inframe.mdund fülle das Frontmatterstyle(Schriftart + eine Palette mit ≤4–6 Farbmustern) daraus. - Fülle jeden Frame. Entscheide seine Gruppen und gib jeder eine Behandlung: eine passende Vorlage aus dem Katalog (mit gebundenen Parametern und echten Audiokarten-Ankern), eine freie Komposition aus dem Primitive-Katalog oder eine Asset-Behandlung, die
pacingbefolgt. Schreibe den Text. Du bestimmst WAS (Vorlage/Primitive + Inhalt + Anker); der Frame-Arbeiter bestimmt WIE – schreibe niemals Millisekunden-Übergänge in das Storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
Behebe jedes ✗ (harte Fehler: Dauerabweichung, Frames kacheln den Track nicht, fehlender src); Warnungen sind nach bestem Wissen und Gewissen zu behandeln. Zeige dem Benutzer dann eine Frame-für-Frame-Zusammenfassung und iteriere, bis er zustimmt. Im autonomen Modus ist dies ein Checkpoint-Gate: Gib die Zusammenfassung als Hinweis aus und fahre fort (der validate-plan.mjs-Durchlauf ist ein Qualitäts-Gate und blockiert trotzdem).
Gate: frame.md ist eine wörtliche Preset-Kopie; validate-plan.mjs beendet mit 0; der Benutzer hat den Plan genehmigt (autonom: die Zusammenfassung wurde als Hinweis ausgegeben).
Schritt 4: Frames aus dem Plan erstellen
Ziel: Jeden Frame als eigenständige Kompositionsdatei erstellen.
Erstelle compositions/frames/. Lies sub-agents/frame-worker.md und ../hyperframes-core/references/subagent-dispatch.md. Setze einen Frame-Arbeiter pro Frame ein, parallel wo möglich (sonst in Wellen). Jeder Arbeiter erhält genau einen Frame und diesen Kontext:
PROJECT_DIR: <absoluter pfad>
frame_id: <NN-frame_id> # = der Dateiname des Frames, z.B. 02-f2; die Kompositions-ID
Dein Block: der Block `## Frame N — <frame_id>` in PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materialien: für jede Gruppe, <SKILL_DIR>/references/templates/<id>/index.html (Vorlagen) und
<SKILL_DIR>/references/motion-primitives/<id>/ (frei); bereitgestellte assets/ (Asset-Gruppen)
Verträge: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Leinwand: <b>×<h> Pacing: <beat_cut|phrase_flow>
Schreibe nach: PROJECT_DIR/compositions/frames/<frame_id>.html
Der Arbeiter gabelt die zitierten Materialien, konvertiert jeden Anker in frame-lokale Sekunden (local_t = track_t − span_sec[0]), kapselt seine Gruppen mit 0ms-Schnitten und schreibt eine suchsichere Frame-Datei. Der Arbeiter führt niemals die hyperframes-CLI aus – diese Befehle arbeiten am zusammengestellten Projekt, das noch nicht existiert, also würden sie über die falschen Dateien berichten. Der Arbeiter schreibt nur in den Vertrag und stoppt; du überprüfst nach der Zusammenstellung (Schritt 6). Wenn jeder Arbeiter zurückkommt, kannst du bestätigen, dass seine Datei auf der Festplatte gelandet ist.
Gate: Jeder Frame hat seine compositions/frames/NN-*.html auf der Festplatte.
Schritt 5: Zusammenstellen
Ziel: Die erstellten Frames + BGM in die abspielbare index.html einbinden.
assemble-index.mjs ist deterministisch – kein Unter-Agent, keine Beurteilung. Es referenziert jede Frame-Datei an ihrem kumulativen data-start, bindet assets/bgm.mp3 auf Track 11 ein und schneidet hart von Frame zu Frame (Frames kacheln den Track lückenlos, also gibt es keinen Übergangsinjektor).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
Behebe jedes ✗, das es meldet – eine fehlende oder leere Frame-Datei bedeutet, dass der Arbeiter eine Teil-Datei geschrieben hat; setze ihn erneut ein (Schritt 4) und stelle neu zusammen.
Gate: index.html existiert; Gesamtdauer == audiomap.audio.duration_sec.
Schritt 6: Überprüfen und rendern
Ziel: Das zusammengestellte Video überprüfen, die Benutzerfreigabe erhalten und die endgültige MP4 rendern.
Führe die CLI auf dem zusammengestellten Projekt aus – das ist die richtige Einheit (die Frame-Arbeiter konnten sie nicht ausführen). check führt strukturelles Linting und den Headless-Browser-Laufzeit-, Layout-, Bewegungs- und Kontrast-Check in einem Durchlauf aus; --snapshots gibt auch die Überprüfungsframes aus.
( cd "$PROJECT_DIR" && npx hyperframes check . --snapshots )
Überprüfe bei t=0, jedem Frame-Start, dem stärksten DROP / SURGE, jedem hard_stops[].t und dem letzten Frame. Bei Fehlschlag mache die günstigste sichere Reparatur selbst: bearbeite die betreffende compositions/frames/NN-*.html. Ändere niemals die Dauer oder das Audio-Timing, um ein Synchronisationsproblem zu verstecken. Sobald die Gates bestanden sind, pausiere für die Benutzerüberprüfung, dann rendere nur nach Freigabe (autonomer Modus: stelle die eine zurückgehaltene Frage – „Vorschau zuerst oder rendern?“ – und liefere dann die MP4 mit dem Kontaktblatt):
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )
Gate: check bestanden und die Schnappschüsse wurden überprüft; der Benutzer hat zugestimmt (autonom: Überprüfungen bestanden und die Lieferung enthält das Kontaktblatt); renders/video.mp4 existiert mit Audio, Dauer == audiomap.audio.duration_sec. Die endgültige Antwort gibt den MP4-Pfad und die Dauer an.
Fortsetzungstabelle
| Du hast | Setze fort von |
|--
| hyperframes.json fehlt | Schritt 0 |
| assets/bgm.mp3 fehlt | Schritt 0 |
| audiomap.json fehlt | Schritt 1 |
| STORYBOARD.md fehlt | Schritt 2 |
| STORYBOARD.md hat TBD | Schritt 3 |
| frame.md fehlt | Schritt 3 |
| Frame-Dateien fehlen | Schritt 4 |
| index.html fehlt | Schritt 5 |
| index.html existiert | Schritt 6 |
| renders/video.mp4 fehlt | Schritt 6 |