Communitygithub.com

1345AbhishekKumar/starter-supabase

Utilisez cette compétence lorsque l'utilisateur possède une piste audio (un fichier audio ou une vidéo dont extraire l'audio) et souhaite une vidéo HyperFrames synchronisée sur le rythme, du calme au percutant.

Qu'est-ce que starter-supabase ?

Cette compétence transforme une piste musicale en une vidéo HyperFrames entièrement synchronisée sur le rythme. L'utilisateur fournit la piste audio et des médias facultatifs (images, vidéos) ; aucun autre actif n'est requis, la typographie et les templates pouvant à eux seuls constituer la vidéo. Le pipeline s'articule autour d'un analyseur de rythme unique (`analyze-beatgrid.py`), suivi d'un orchestrateur qui découpe la piste en trames, remplit un plan par trame, puis délègue la construction de chaque trame à un sous-agent dédié. Les genres émergent naturellement des choix effectués pour chaque trame (lyric video, diaporama, promotion dynamique) ; le pipeline ne se ramifie jamais en fonction du genre. La compétence est conçue pour les agents AI souhaitant créer des vidéos professionnelles et rythmées, le tout dans l'outil de développement HyperFrames.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-supabase/tree/HEAD/.agents/skills/music-to-video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

music-to-video — un workflow vidéo synchronisé sur la musique

Utilisez cette compétence pour transformer une piste musicale en une vidéo HyperFrames synchronisée sur le rythme. Vous analysez la piste une fois, disposez les trames, remplissez un plan par trame et construisez chaque trame sous forme de composition. L'entrée est une piste musicale plus des images ou vidéos optionnelles fournies par l'utilisateur — il n'y a ni narration ni capture de site web. La typographie et les templates sont le socle (une vidéo complète n'a besoin d'aucun actif) ; tout média fourni par l'utilisateur est intégré sur la même grille rythmique.

Vous êtes l'orchestrateur. Travaillez dans videos/<projet>/. Exécutez les étapes dans l'ordre et passez chaque Porte avant de continuer. Deux étapes nécessitent l'utilisateur : Étape 3 (approbation du plan) et Étape 6 (approbation du rendu). Effectuez chaque étape vous-même, sauf l'Étape 4, où vous déléguez un sous-agent par trame. Conservez les règles de conception et de mouvement en dehors de ce fichier — elles se trouvent dans references/ et le sous-agent frame-worker.

SKILL_DIR = ce répertoire de compétence. PROJECT_DIR = videos/<nom-du-projet>/.

Workflow : Étape 0 configuration → hyperframes.json + assets/bgm.mp3 ; Étape 1 analyse → audiomap.json ; Étape 2 squelette → STORYBOARD.md (trames, groupes TBD) ; Étape 3 plan → STORYBOARD.md complet + frame.md ; Étape 4 construction → compositions/frames/NN-*.html ; Étape 5 assemblage → index.html ; Étape 6 rendu → renders/video.mp4.

Deux idées qui façonnent tout

  • Un seul analyseur, et vous lui faites confiance. analyze-beatgrid.py est le seul analyseur de rythme — ne re-mesurez jamais les beats avec un autre outil ou à l'oreille. Son énergie / densité / roulements / attaques / silences sont toujours fiables. Son bpm et beats_sec ne sont fiables que lorsque la musique est vraiment rythmée ; sur une musique calme, la grille est un métronome imposé par le tracker, donc rythmez par phrases et énergie à la place et ne coupez jamais durement dessus. Déterminer dans quel cas vous vous trouvez est le pacing de chaque trame (Étape 2).
  • Une trame = un fichier ; les groupes vivent à l'intérieur. L'Étape 2 découpe la piste en trames, et chaque trame devient un fichier de composition compositions/frames/NN-<frame_id>.html, construit par un frame-worker. Une trame peut se subdiviser en groupes (chacun un template ou une combinaison de primitives de mouvement). La densité supplémentaire va à l'intérieur d'un groupe, donc le nombre de trames suit les traitements distincts, pas les beats — une piste rapide ne fait pas exploser le nombre de sous-agents.

Étape 0 : Configuration, BGM et entrées

Objectif : Établir la source musicale, créer le projet HyperFrames et noter tout média fourni par l'utilisateur.

La musique est l'épine dorsale — établissez une piste avant toute autre chose. Cette compétence est conçue pour une BGM rapide et énergique : une grille rythmique forte guide les coupes (les pistes calmes fonctionnent, mais rythmez par phrase plutôt que par beat). Si l'utilisateur vous a donné de l'audio — un fichier musical ou une vidéo dont extraire l'audio — utilisez-le. Sinon, générez-en un : choisissez l'ambiance dans la description de l'utilisateur (par exemple « synthwave entraînante », « beat trap », « corporate dynamique ») et produisez une piste via /hyperframes-media (references/bgm.md — récupération HeyGen si les identifiants sont présents, sinon Lyria / MusicGen local ; ElevenLabs ou un autre générateur fonctionne aussi). Avant de générer, exécutez npx hyperframes auth status et retransmettez sa sortie textuellement (ne paraphrasez pas et ne réécrivez pas) — elle indique si la BGM provient de HeyGen ou de MusicGen local et, si vous n'êtes pas connecté, comment vous connecter. Si vous n'êtes pas connecté, ARRÊTEZ-VOUS et attendez que l'utilisateur choisisse — se connecter, ou continuer hors ligne avec MusicGen local — avant de générer la piste ; n'écrivez pas de clés dans un .env par dépôt. (En mode autonome, notez le statut et continuez hors ligne.) Voir /hyperframes-media → Preflight pour les instructions officielles. Dans tous les cas, la piste atterrit dans assets/bgm.mp3. Placez les images ou vidéos fournies par l'utilisateur pour que les trames puissent les intégrer sur la grille rythmique ; sinon, la typographie porte toute la vidéo.

Initialisez uniquement si hyperframes.json est manquant. Nommez <projet> à partir du brief en kebab-case, comme midnight-drive-loop — jamais un horodatage. init vérifie les compétences installées par rapport aux dernières sur GitHub et met à jour l'ensemble global si l'une d'elles est obsolète.

npx hyperframes init "videos/<projet>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<musique-utilisateur>" "$PROJECT_DIR/assets/bgm.mp3"   # extraire d'une vidéo d'abord si nécessaire
# uniquement si l'utilisateur vous a donné des images/vidéos :
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dossier> --hyperframes "$PROJECT_DIR" --into public

La marque (police + palette) est choisie à l'Étape 3, pas ici. Ne choisissez pas un genre ou un type de piste à l'avance — les actifs sont juste un ingrédient optionnel, et le genre émerge des choix par trame.

Porte : hyperframes.json + assets/bgm.mp3 existent ; l'aspect / la durée / les fps et (le cas échéant) l'inventaire des actifs sont notés.


Étape 1 : Analyser la musique

Objectif : Produire l'analyse temporelle canonique unique sur laquelle toute la vidéo est construite.

analyze-beatgrid.py est le seul analyseur de rythme — ne re-mesurez jamais les beats avec un autre outil ou à l'oreille. Il lit la piste une fois et écrit audiomap.json : phases d'énergie (niveau / densité / ressenti), attaques + onset_rate, roulements, silences, hard_stops, key_moments, phrases, tempo / grille, et audio.duration_sec. Il est déterministe — le même fichier donne toujours la même carte. La plupart des champs sont fiables sur n'importe quelle musique ; bpm et beats_sec ne sont fiables que lorsque la musique est vraiment rythmée, et juger cela est la décision que vous prenez à l'Étape 2.

Prérequis : Python 3 avec librosa, numpy et soundfile disponibles. Si l'import échoue, installez-les dans l'environnement Python actif avant d'exécuter l'analyseur :

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

Porte : audiomap.json existe ; audio.duration_sec est connu.


Étape 2 : Squelette des trames (structure uniquement)

Objectif : Lire la musique et disposer les trames — le squelette de STORYBOARD.md.

Lisez references/frame-skeleton.md. Transformez audiomap.json en le squelette de STORYBOARD.md vous-même — il n'y a pas de JSON intermédiaire. Découpez la piste en trames aux changements musicaux réels (hard_stops, SURGE / DROP key_moments, les bords d'un roulement, un tronçon sans attaques, un grand saut d'énergie), en fixant chaque limite à un ancrage de l'audiomap. Pour chaque trame, définissez span_sec, pacing (le verdict de l'appel de confiance de l'Étape 1 — beat_cut lorsque la grille est réelle, phrase_flow lorsqu'il s'agit d'un métronome imposé sur une musique calme), mood et un feel d'une ligne (la situation musicale simple à laquelle l'Étape 3 associe un template). Classez et disposez uniquement ici : laissez chaque ### Groups de la trame comme TBD (Étape 3) et le style du préambule vide — pas de templates, de texte, de couleur ou de polices. Attendez-vous à ~1 à 6 trames.

Porte : les trames couvrent la piste (première à 0, dernière à duration_s) ; chacune porte span_sec + pacing + mood + feel ; chaque ### Groups est TBD ; aucun contenu nulle part.


Étape 3 : Remplir le plan (validé par l'utilisateur)

Objectif : Transformer le squelette en un STORYBOARD.md complet et approuvé.

Lisez references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md et montage.md (uniquement si l'utilisateur a fourni des actifs). En éditant le même fichier sur place, faites deux choses :

  1. Choisissez la marque. Choisissez un préréglage dans ../hyperframes-creative/frame-presets/ en utilisant le tableau dans ../hyperframes-creative/references/design-spec.md (associez-le à l'ambiance de la piste ; seules ses polices et couleurs comptent — les templates possèdent la composition). Copiez-le dans frame.md sans modification et remplissez le style du préambule (police + une palette de ≤4 à 6 nuances) à partir de celui-ci.
  2. Remplissez chaque trame. Décidez de ses groupes et donnez à chacun un traitement : un template apparié du catalogue (avec des paramètres liés et de véritables ancrages de l'audiomap), une composition libre du catalogue de primitives, ou un traitement d'actif qui obéit au pacing. Écrivez le texte. Vous possédez le QUOI (template / primitives + contenu + ancrages) ; le frame-worker possède le COMMENT — n'écrivez jamais de transitions en millisecondes dans le storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

Corrigez chaque ✗ (erreurs dures : inadéquation de durée, trames ne couvrant pas la piste, src manquante) ; les avertissements sont au mieux. Montrez ensuite à l'utilisateur un résumé trame par trame et itérez jusqu'à ce qu'il approuve.

Porte : frame.md est une copie textuelle du préréglage ; validate-plan.mjs se termine par 0 ; l'utilisateur a approuvé le plan.


Étape 4 : Construire les trames à partir du plan

Objectif : Construire chaque trame sous forme de fichier de composition autonome.

Créez compositions/frames/. Lisez sub-agents/frame-worker.md et ../hyperframes-core/references/subagent-dispatch.md. Déléguez un frame-worker par trame, en parallèle si possible (sinon par vagues). Chaque travailleur reçoit exactement une trame et ce contexte :

PROJECT_DIR : <chemin absolu>
frame_id : <NN-frame_id>              # = le nom du fichier de la trame, ex. 02-f2 ; l'identifiant de la composition
Votre bloc : le bloc `## Frame N — <frame_id>` dans PROJECT_DIR/STORYBOARD.md
audiomap : PROJECT_DIR/audiomap.json
frame.md : PROJECT_DIR/frame.md
Matériaux : pour chaque groupe, <SKILL_DIR>/references/templates/<id>/index.html (templates) et
           <SKILL_DIR>/references/motion-primitives/<id>/ (libre) ; assets/ mis en place (groupes d'actifs)
Contrats : ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Canvas : <w>×<h>   Pacing : <beat_cut|phrase_flow>
Écrire dans : PROJECT_DIR/compositions/frames/<frame_id>.html

Le travailleur duplique les matériaux cités, convertit chaque ancrage en secondes locales à la trame (local_t = track_t − span_sec[0]), verrouille ses groupes avec des coupes de 0 ms et écrit un fichier de trame sécurisé pour la recherche. Le travailleur n'exécute jamais la CLI hyperframes — ces commandes opèrent sur le projet assemblé, qui n'existe pas encore, donc elles signaleraient les mauvais fichiers. Le travailleur écrit simplement selon le contrat et s'arrête ; vous vérifiez après l'assemblage (Étape 6). Lorsque chaque travailleur revient, vous pouvez confirmer que son fichier a atterri sur le disque.

Porte : chaque trame a son compositions/frames/NN-*.html sur le disque.


Étape 5 : Assembler

Objectif : Câbler les trames construites + BGM dans le index.html lisible.

assemble-index.mjs est déterministe — pas de sous-agent, pas de jugement. Il référence chaque fichier de trame à son data-start cumulatif, monte assets/bgm.mp3 sur la piste 11, et coupe durement trame → trame (les trames couvrent la piste sans espace, donc il n'y a pas d'injecteur de transition).

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

Corrigez tout ✗ qu'il signale — un fichier de trame manquant ou vide signifie que ce travailleur a écrit un fichier partiel ; re-déléguez-le (Étape 4) et réassemblez.

Porte : index.html existe ; la durée totale == audiomap.audio.duration_sec.


Étape 6 : Vérifier et rendre

Objectif : Vérifier la vidéo assemblée, obtenir l'approbation de l'utilisateur et rendre le MP4 final.

Exécutez la CLI sur le projet assemblé — c'est l'unité correcte (les travailleurs par trame ne pouvaient pas l'exécuter). lint vérifie la structure, validate exécute Chrome sans tête (attrapant les erreurs JS et les actifs manquants), inspect capture des trames.

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

Inspectez à t=0, à chaque début de trame, au DROP / SURGE le plus fort, à chaque hard_stops[].t et à la dernière trame. En cas d'échec, effectuez vous-même la correction sûre la moins coûteuse : éditez le fichier compositions/frames/NN-*.html incriminé. Ne modifiez jamais la durée ou le timing audio pour masquer un problème de synchronisation. Une fois les portes passées, faites une pause pour la revue de l'utilisateur, puis rendez uniquement sur approbation :

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

Porte : lint / validate / inspect réussis ; l'utilisateur a approuvé ; renders/video.mp4 existe avec audio, durée == audiomap.audio.duration_sec. La réponse finale indique le chemin du MP4 et sa durée.


Tableau de reprise

Vous avezContinuez depuis
assets/bgm.mp3 uniquementÉtape 1
audiomap.jsonÉtape 2
STORYBOARD.md (squelette)Étape 3
STORYBOARD.md (complet)Étape 4
tous les fichiers de trameÉtape 5
index.htmlÉtape 6

Référence rapide

Formats : paysage 1920x1080 par défaut ; portrait 1080x1920 ; carré 1080x1080. Définissez le canvas une fois dans le préambule du storyboard (canvas : { w, h, fps }).

Scripts dans scripts/ : analyze-beatgrid.py (l'unique analyseur), validate-plan.mjs (vérification du plan), assemble-index.mjs (assemblage de l'index), stage-assets.mjs (mise en place des médias utilisateur), lib/storyboard.mjs (analyseur intégré). Tout le reste est la CLI hyperframes.

LireQuand
references/frame-skeleton.mdÉtape 2 : lire la musique, disposer les trames, définir le pacing
references/planning.md · storyboard-format.mdÉtape 3 : choisir la marque, remplir chaque trame, écrire le plan
references/template-catalog.mdÉtape 3 : choisir un template par groupe
references/motion-primitive-catalog.mdÉtape 3 : composer librement par groupe
references/montage.mdÉtape 3 : si l'utilisateur a fourni des actifs — montage

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-supabase

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

1345AbhishekKumar/starter-supabase

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-supabase

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-supabase

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-supabase

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-supabase

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-supabase

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

1345AbhishekKumar/starter-supabase

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-supabase

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-supabase

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-supabase

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-supabase

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-supabase

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Skills associés