Plugin-Installation: Führe vor Setup- oder Aktualisierungsbefehlen die Plugin-Installationsregeln aus, wenn dieses Skill innerhalb eines HyperFrames-Plugins verwendet wird. Bei eigenständigen Installationen gelten die folgenden Update-Anweisungen.
Halte dieses Skill zuerst frisch – bestätige mit dem Benutzer, bevor du Folgendes ausführst:
npx hyperframes skills update music-to-video. Eine schnelle, nichts-tuende Operation, wenn alles aktuell ist; andernfalls aktualisiert es dieses Skill sowie die Kernbereich-Skills, von denen es abhängt, bevor du dich darauf verlässt.
music-to-video – Ein musikbasierter, beat-synchronisierter Video-Workflow
Verwende dieses Skill, um einen Musiktitel in ein beat-synchronisiertes HyperFrames-Video zu verwandeln. Du analysierst den Track einmalig, legst die Frames fest, füllst einen Frame-für-Frame-Plan und baust jedes Frame als Komposition. Die Eingabe ist ein Musiktitel plus optionale Benutzerbilder oder -videos – es gibt keine Erzählung und keinen Website-Screenshot. Typografie und Vorlagen sind die Grundlage (ein vollständiges Video benötigt null Assets); jedes vom Benutzer bereitgestellte Medium wird auf dasselbe Beat-Raster geschnitten.
Du bist der Orchestrator. Arbeite in videos/<Projekt>/. Führe die Schritte der Reihe nach aus und bestehe jedes Gate, bevor du fortfährst. Zwei Schritte benötigen den Benutzer: Schritt 3 (Plan-Genehmigung) und Schritt 6 (Render-Genehmigung) – beide sind Checkpoint-Gates gemäß ../hyperframes/references/brief-contract.md (lies es vor Schritt 0): Im autonomen Modus poste die Schritt-3-Zusammenfassung als Hinweis und fahre fort; die Schritt-6-Render-Genehmigung wird weiterhin erfragt, als die eine beibehaltene Frage. Führe jeden Schritt selbst aus, außer Schritt 4, wo du einen Sub-Agenten pro Frame einsetzt. Halte Design- und Bewegungsregeln aus dieser Datei heraus – sie leben in references/ und dem frame-worker-Sub-Agenten.
SKILL_DIR = dieses Skill-Verzeichnis. PROJECT_DIR = videos/<Projektname>/.
Workflow: Schritt 0 Setup → hyperframes.json + assets/bgm.mp3; Schritt 1 Analyse → audiomap.json; Schritt 2 Gerüst → STORYBOARD.md (Frames, Gruppen TBD); Schritt 3 Plan → vollständiges STORYBOARD.md + frame.md; Schritt 4 Bau → compositions/frames/NN-*.html; Schritt 5 Montage → index.html; Schritt 6 Render → renders/video.mp4.
Zwei Ideen, die alles prägen
- Ein Analysator, und du vertraust ihm.
analyze-beatgrid.pyist der einzige Beat-Analysator – vermesse Beats niemals mit einem anderen Tool oder nach Gehör neu. Seine Energie-/Dichte-/Roll-/Onset-/Stille-Ergebnisse sind immer zuverlässig. Seinbpmundbeats_secsind nur zuverlässig, wenn die Musik wirklich rhythmisch ist; bei ruhiger Musik ist das Raster ein Metronom, das der Tracker auferlegt hat, also orientiere dich stattdessen an Phrasen und Energie und schneide niemals hart darauf. Zu entscheiden, welcher Fall vorliegt, ist daspacingjedes Frames (Schritt 2). - Ein Frame = eine Datei; Gruppen leben darin. Schritt 2 schneidet den Track in Frames, und jedes Frame wird zu einer Kompositionsdatei
compositions/frames/NN-<frame_id>.html, erstellt von einem frame-worker. Ein Frame kann in Gruppen unterteilt werden (jeweils eine Vorlage oder eine Kombination aus Bewegungsprimitiven). Zusätzliche Dichte geht innerhalb einer Gruppe, also zählt die Frame-Anzahl unterschiedliche Behandlungen, nicht Beats – ein schneller Track bläst die Anzahl der Sub-Agenten nicht auf.
Schritt 0: Setup, BGM und Eingaben
Ziel: Die Musikquelle festlegen, das HyperFrames-Projekt erstellen und alle vom Benutzer bereitgestellten Medien notieren.
Der Brief beginnt auf der Intentionsebene. Öffnungsregel, in dieser Reihenfolge: (1) BRIEF.md existiert → lies es und frage nichts, was es beantwortet – sein flow/storyboard leiten den Modus ab (Briefvertrag § 1). (2) Kein BRIEF.md, aber das Projekt existiert → setze von dem fort, was auf der Festplatte ist; befrage niemals neu. (3) Eine frische Erstellungsanfrage, die direkt hier ankam → lies /hyperframes und führe seine Intentionsebene aus (references/intent-interview.md): es bestätigt die Muss-Anforderungen dieser Route (die Musikquelle, Ziel → Seitenverhältnis – ../hyperframes/references/routes/music-to-video.md) und kündigt an, was aufgeschoben bleibt – Marke und Genre werden aus Designgründen erst in Schritt 3 gewählt. Schreibe BRIEF.md sofort nach der Initialisierung (niemals davor – init verweigert ein nicht leeres Verzeichnis) und zeichne die präferenzgestützten Antworten auf (brief-format.md). Bearbeitungsanfragen überspringen dies alles.
Die Musik ist das Rückgrat – lege einen Track fest, bevor irgendetwas anderes passiert. Dieses Skill ist für schnelle, energiegeladene BGM optimiert: Ein starkes Beat-Raster treibt die Schnitte an (ruhige Tracks funktionieren, aber takte nach Phrase statt nach Beat). Wenn der Benutzer Audio bereitgestellt hat – eine Musikdatei oder ein Video, um Audio zu extrahieren – verwende es. Wähle andernfalls die Stimmung aus der Anfrage und generiere einen Track über /media-use (audio/references/bgm.md). Führe vor der ersten authentifizierten Provider-Aktion npx hyperframes auth status aus und gib seine Ausgabe wörtlich weiter. Wenn abgemeldet, wende einen Zweig an:
- Kollaborativ: Warte auf die Anmeldung oder eine explizite Entscheidung, offline mit dem lokalen Provider fortzufahren.
- Autonom: Gib den Status an und fahre mit dem verfügbaren lokalen Provider fort.
Wenn kein Offline-Provider die erforderliche Musikfähigkeit erfüllen kann, zeige den Blocker an. Schreibe niemals Schlüssel in eine repo-spezifische .env. Auth-Besitz und Offline-Fallbacks leben in /media-use references/setup-providers.md § Provider. Der resultierende Track landet bei assets/bgm.mp3. Platziere bereitgestellte Bilder oder Videos so, dass Frames sie auf dem Beat-Raster verwenden können; andernfalls trägt die Typografie das Video.
Lyric-Videos: Für Texte, die auf den Gesang synchronisiert sind, erhalte Wort-/Zeilenzeitsteuerung durch Transkription des Tracks über /media-use oder frage den Benutzer nach dem Text und platziere die Zeilen auf dem Beat-Raster.
Initialisiere nur, wenn hyperframes.json fehlt. Benenne <projekt> aus dem Brief in Kebab-Schreibweise, z. B. midnight-drive-loop – niemals einen Zeitstempel. init prüft die installierten Skills gegen die neuesten auf GitHub und aktualisiert das globale Set, wenn welche veraltet sind.
npx hyperframes init "videos/<projekt>" --non-interactive --example=blank --skill=music-to-video
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3" # extrahiere zuerst aus einem Video, falls nötig
# nur wenn der Benutzer dir Bilder/Videos gegeben hat:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <verz> --hyperframes "$PROJECT_DIR" --into public
Die Marke (Schriftart + Palette) wird in Schritt 3 gewählt, nicht hier. Wähle kein Genre oder Track-Typ im Voraus – Assets sind nur eine optionale Zutat, und das Genre ergibt sich aus den Frame-spezifischen Entscheidungen.
Gate: hyperframes.json + assets/bgm.mp3 existieren; Seitenverhältnis / Länge / fps und (falls vorhanden) das Asset-Inventar sind notiert.
Schritt 1: Analysiere die Musik
Ziel: Die eine kanonische Zeitanalyse erstellen, auf der das gesamte Video aufbaut.
analyze-beatgrid.py ist der einzige Beat-Analysator – vermesse Beats niemals mit einem anderen Tool oder nach Gehör neu. Es liest den Track einmal und schreibt audiomap.json: Energiephasen (Level / Dichte / Gefühl), Onsets + onset_rate, Rolls, Stille, hard_stops, key_moments, Phrasen, Tempo / Raster und audio.duration_sec. Es ist deterministisch – dieselbe Datei ergibt immer dieselbe Karte. Die meisten Felder sind bei jeder Musik zuverlässig; bpm und beats_sec sind nur zuverlässig, wenn die Musik wirklich rhythmisch ist, und dies zu beurteilen ist die Entscheidung, die du in Schritt 2 triffst.
Voraussetzungen: Python 3 mit librosa, numpy und soundfile verfügbar. Wenn der Import fehlschlägt, installiere sie in die aktive Python-Umgebung, bevor du den Analysator ausführst:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
Gate: audiomap.json existiert; audio.duration_sec ist bekannt.
Schritt 2: Frame-Gerüst (nur Struktur)
Ziel: Die Musik lesen und die Frames anordnen – das Gerüst von STORYBOARD.md.
Lies references/frame-skeleton.md. Verwandle audiomap.json selbst in das Gerüst von STORYBOARD.md – es gibt kein dazwischenliegendes JSON. Schneide den Track in Frames an echten musikalischen Veränderungen (hard_stops, SURGE / DROP key_moments, den Rändern eines Rolls, einem Abschnitt ohne Onsets, einem großen Energiesprung) und setze jede Grenze auf einen Audiomap-Anker. Setze für jedes Frame span_sec, pacing (das Urteil aus Schritt 1 Vertrauensaufruf – beat_cut, wenn das Raster echt ist, phrase_flow, wenn es ein auf ruhige Musik auferlegtes Metronom ist), mood und eine einzeilige feel (die reine Musiksituation, die Schritt 3 gegen eine Vorlage abgleicht). Klassifiziere und lege hier nur fest: Lasse jedes Frame ### Groups als TBD (Schritt 3) und das Frontmatter style leer – keine Vorlagen, Texte, Farben oder Schriftarten. Erwarte ~1–6 Frames.
Gate: Frames kacheln den Track (erstes bei 0, letztes bei duration_s); jedes trägt span_sec + pacing + mood + feel; jedes ### Groups ist TBD; kein Inhalt irgendwo.
Schritt 3: Fülle den Plan (benutzergesteuert)
Ziel: Das Gerüst in ein genehmigtes, vollständiges STORYBOARD.md verwandeln.
Lies references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md und montage.md (nur wenn der Benutzer Assets bereitgestellt hat). Bearbeite dieselbe Datei direkt und mache zwei Dinge:
- Wähle die Marke. Wähle ein Preset aus
../hyperframes-creative/frame-presets/mit der Tabelle in../hyperframes-creative/references/design-spec.md(stimme mit der Stimmung des Tracks überein; nur seine Schriftarten und Farben sind wichtig – Vorlagen besitzen die Komposition). Kopiere es unverändert inframe.mdund fülle das Frontmatterstyle(Schriftart + eine ≤4–6 Swatch-Palette) daraus. - Fülle jedes Frame. Entscheide seine Gruppen und gib jeder eine Behandlung: eine passende Vorlage aus dem Katalog (mit gebundenen Parametern und echten Audiomap-Ankern), eine freie Komposition aus dem Primitiven-Katalog oder eine Asset-Behandlung, die
pacinggehorcht. Bevor du einen benannten Look frei komponierst, durchsuche den Live-Katalog danach: Führe für jeden Look, Effekt, jede Behandlung oder jeden Übergang, den der Benutzer angefragt hat – "CRT-Scanlines", "Glitch", "Filmkorn", "Schimmer-Wisch" –npx hyperframes catalog --query "<der Look, auf Deutsch>" --jsonaus und lies die obersten Ergebnisse.template-catalog.mdundmotion-primitive-catalog.mdlisten nur die lokalen Materialien dieses Skills; die Suche bewertet das gesamte gehostete Register (~400 Blöcke und Komponenten) und benötigt nichts installiert – kein Projekt, kein vorherigesadd, kein Konto. Komponiere einen Look erst frei, nachdem eine Suche danach nichts Passendes ergeben hat. Schreibe den Text. Du besitzt WAS (Vorlage / Primitive + Inhalt + Anker); der frame-worker besitzt WIE – schreibe niemals Millisekunden-Tweens in das Storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
Behebe jedes ✗ (harte Fehler: Dauerinkonsistenz, Frames, die den Track nicht kacheln, fehlende src); Warnungen sind nach bestem Wissen und Gewissen. Präsentiere dann die Frame-für-Frame-Zusammenfassung im Chat als Vorschlag (../hyperframes/references/review-loop.md § 1) und iteriere auf den Antworten des Benutzers, bis er zustimmt; für storyboard: yes schreibe es auch als storyboard.html (../hyperframes-creative/references/storyboard-recipe.md § 3), damit der Benutzer es öffnen kann. Im autonomen Modus ist dies ein Checkpoint-Gate: Poste die Zusammenfassung als Hinweis und fahre fort (der validate-plan.mjs-Durchlauf ist ein Qualitätsgate und blockiert trotzdem).
Gate: frame.md ist eine wörtliche Preset-Kopie; validate-plan.mjs beendet mit 0; der Benutzer hat den Plan genehmigt (autonom: die Zusammenfassung wurde als Hinweis gepostet).
Schritt 4: Baue Frames aus dem Plan
Ziel: Jedes Frame als eigenständige Kompositionsdatei bauen.
Erstelle compositions/frames/. Lies sub-agents/frame-worker.md und ../hyperframes/references/subagent-dispatch.md. Setze einen frame-worker pro Frame ein, parallel wo möglich (sonst in Wellen). Jeder Worker erhält genau ein Frame und diesen Kontext:
PROJECT_DIR: <absoluter Pfad>
frame_id: <NN-frame_id> # = der Frame-Dateiname, z. B. 02-f2; die Kompositions-ID
Dein Block: der `## Frame N — <frame_id>`-Block in PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materialien: für jede Gruppe, <SKILL_DIR>/references/templates/<id>/index.html (Vorlagen) und
<SKILL_DIR>/references/motion-primitives/<id>/ (frei); bereitgestellte Assets/ (Asset-Gruppen)
Verträge: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Leinwand: <B>×<H> Taktung: <beat_cut|phrase_flow>
Schreibe nach: PROJECT_DIR/compositions/frames/<frame_id>.html
Der Worker forkt die zitierten Materialien, wandelt jeden Anker in frame-lokale Sekunden um (local_t = track_t − span_sec[0]), steuert seine Gruppen mit 0ms-Schnitten und schreibt eine suchsichere Frame-Datei. Der Worker führt niemals die hyperframes-CLI aus – diese Befehle arbeiten am montierten Projekt, das noch nicht existiert, also würden sie über die falschen Dateien berichten. Der Worker schreibt nur in den Vertrag und stoppt; du überprüfst nach der Montage (Schritt 6). Wenn jeder Worker zurückkommt, kannst du bestätigen, dass seine Datei auf der Festplatte gelandet ist.
Gate: Jedes Frame hat seine compositions/frames/NN-*.html auf der Festplatte.
Schritt 5: Montage
Ziel: Die gebauten Frames + BGM in die abspielbare index.html verdrahten.
assemble-index.mjs ist deterministisch – kein Sub-Agent, keine Beurteilung. Es referenziert jede Frame-Datei bei ihrem kumulativen data-start, mountet assets/bgm.mp3 auf Track 11 und schneidet hard von Frame zu Frame (Frames kacheln den Track lückenlos, also gibt es keinen Übergangsinjektor).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
Behebe jedes von ihm gemeldete ✗ – eine fehlende oder leere Frame-Datei bedeutet, dass dieser Worker eine Teil-Datei geschrieben hat; setze ihn erneut ein (Schritt 4) und montiere neu.
Gate: index.html existiert; Gesamtdauer == audiomap.audio.duration_sec.
Schritt 6: Überprüfen und Rendern
Ziel: Das montierte Video überprüfen, Benutzerfreigabe einholen und das finale MP4 rendern.
Führe die CLI auf dem montierten Projekt aus – das ist die korrekte Einheit (die Frame-Worker konnten sie nicht ausführen). check führt s
…