Communitygithub.com

Aseel1600/Edit01

Créez une vidéo HyperFrames synchronisée sur le rythme à partir d'un morceau de musique, en utilisant la typographie, des templates et les médias éventuels de l'utilisateur.

Qu'est-ce que Edit01 ?

Cette compétence transforme un morceau de musique en une vidéo HyperFrames dynamique et synchronisée sur le rythme. Le processus est entièrement piloté par la musique : un seul analyseur traite le morceau une fois, l'orchestrateur découpe la piste en plans, remplit un plan détaillé pour chaque plan, et un sous-agent dédié construit chaque plan de manière indépendante. La typographie et les templates constituent la base — une vidéo complète peut être réalisée sans aucun média externe. Les images ou vidéos fournies par l'utilisateur sont intégrées sur la même grille rythmique (découpe sur le beat ou effet Ken Burns). Le genre final (lyric video, diaporama, promotion kinétique) émerge naturellement des choix effectués plan par plan, sans branchement prédéfini dans le pipeline. La compétence prend en charge des formats paysage, portrait et carré, et produit un fichier MP4 final après une étape de validation et d'approbation par l'utilisateur.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Aseel1600/Edit01/tree/HEAD/.agents/skills/music-to-video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

musique-vers-vidéo — un workflow vidéo unique, synchronisé sur la musique et le rythme

Utilisez cette compétence pour transformer un morceau de musique en une vidéo HyperFrames synchronisée sur le rythme. Vous analysez le morceau une seule fois, disposez les plans, remplissez un plan par plan, et construisez chaque plan en tant que composition. L'entrée est un morceau de musique plus des images ou vidéos optionnelles fournies par l'utilisateur — il n'y a ni narration ni capture de site web. La typographie et les templates constituent la base (une vidéo complète n'a besoin d'aucun média) ; tout média fourni par l'utilisateur est intégré sur la même grille rythmique.

Vous êtes l'orchestrateur. Travaillez dans videos/<projet>/. Exécutez les étapes dans l'ordre et passez chaque Porte avant de continuer. Deux étapes nécessitent l'utilisateur : Étape 3 (approbation du plan) et Étape 6 (approbation du rendu). Faites chaque étape vous-même sauf Étape 4, où vous déléguez un sous-agent par plan. Gardez les règles de design et d'animation hors de ce fichier — elles se trouvent dans references/ et le sous-agent frame-worker.

SKILL_DIR = ce répertoire de compétence. PROJECT_DIR = videos/<nom-projet>/.

Workflow : Étape 0 configuration → hyperframes.json + assets/bgm.mp3 ; Étape 1 analyse → audiomap.json ; Étape 2 squelette → STORYBOARD.md (plans, groupes À DÉFINIR) ; Étape 3 plan → STORYBOARD.md complet + frame.md ; Étape 4 construction → compositions/frames/NN-*.html ; Étape 5 assemblage → index.html ; Étape 6 rendu → renders/video.mp4.

Deux idées qui façonnent tout

  • Un seul analyseur, et vous lui faites confiance. analyze-beatgrid.py est le seul analyseur de rythme — ne mesurez jamais les battements avec un autre outil ou à l'oreille. Son énergie / densité / roulements / attaques / silences sont toujours fiables. Son bpm et beats_sec sont fiables uniquement lorsque la musique est vraiment rythmique ; sur une musique calme, la grille est un métronome imposé par le tracker, donc rythmez-vous plutôt par les phrases et l'énergie et ne faites jamais de coupure franche dessus. Décider dans quel cas vous vous trouvez est la tâche de pacing de chaque plan (Étape 2).
  • Un plan = un fichier ; les groupes vivent à l'intérieur. L'Étape 2 découpe la piste en plans, et chaque plan devient un fichier de composition compositions/frames/NN-<id_plan>.html, construit par un frame-worker. Un plan peut se subdiviser en groupes (chacun un template ou une combinaison de primitives de mouvement). La densité supplémentaire va à l'intérieur d'un groupe, donc le nombre de plans suit les traitements distincts, pas les battements — une piste rapide n'explose pas le nombre de sous-agents.

Étape 0 : Configuration, BGM et entrées

Objectif : Établir la source musicale, créer le projet HyperFrames et noter les médias fournis par l'utilisateur.

La musique est l'épine dorsale — établissez une piste avant toute autre chose. Cette compétence est optimisée pour une BGM rapide et énergique : une grille rythmique forte pilote les coupures (les pistes calmes fonctionnent, mais rythmez par phrase plutôt que par battement). Si l'utilisateur vous a donné un fichier audio — un fichier musical, ou une vidéo pour en extraire l'audio — utilisez-le. Sinon, générez-en un : choisissez l'ambiance à partir de la description de l'utilisateur (par exemple « synthwave entraînante », « rythme trap », « corporate dynamique ») et produisez une piste via /hyperframes-media (references/bgm.md — récupération HeyGen si les identifiants sont disponibles, sinon Lyria / MusicGen local ; ElevenLabs ou un autre générateur fonctionne aussi). Avant de générer, exécutez npx hyperframes auth status et retransmettez sa sortie textuellement (ne paraphrasez ni ne réécrivez pas) — elle indique si la BGM provient de HeyGen ou de MusicGen local et, si vous n'êtes pas connecté, comment vous connecter. Si vous n'êtes pas connecté, ARRÊTEZ-VOUS et attendez que l'utilisateur choisisse — se connecter, ou continuer hors ligne avec MusicGen local — avant de générer la piste ; n'écrivez pas de clés dans un .env par dépôt. (En mode autonome, notez l'état et continuez hors ligne.) Voir /hyperframes-media → Preflight pour les instructions canoniques. Dans tous les cas, la piste atterrit dans assets/bgm.mp3. Placez les images ou vidéos fournies par l'utilisateur pour que les plans puissent les intégrer sur la grille rythmique ; sinon, la typographie porte toute la vidéo.

Initialisez uniquement si hyperframes.json est manquant. Nommez <projet> à partir du brief en kebab-case, par exemple midnight-drive-loop — jamais un timestamp. init vérifie les compétences installées par rapport aux dernières sur GitHub et met à jour l'ensemble global si certaines sont obsolètes.

npx hyperframes init "videos/<projet>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<musique-utilisateur>" "$PROJECT_DIR/assets/bgm.mp3"   # extraire d'une vidéo d'abord si nécessaire
# seulement si l'utilisateur a fourni des images/vidéos :
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public

La marque (police + palette) est choisie à l'Étape 3, pas ici. Ne choisissez pas un genre ou un type de piste à l'avance — les médias ne sont qu'un ingrédient optionnel, et le genre émerge des choix par plan.

Porte : hyperframes.json + assets/bgm.mp3 existent ; le rapport hauteur/largeur, la durée, les images par seconde et (le cas échéant) l'inventaire des médias sont notés.


Étape 1 : Analyser la musique

Objectif : Produire la seule analyse temporelle canonique sur laquelle toute la vidéo est construite.

analyze-beatgrid.py est le seul analyseur de rythme — ne mesurez jamais les battements avec un autre outil ou à l'oreille. Il lit la piste une fois et écrit audiomap.json : phases d'énergie (niveau / densité / sensation), attaques + onset_rate, roulements, silences, hard_stops, key_moments, phrases, tempo / grille, et audio.duration_sec. Il est déterministe — le même fichier donne toujours la même carte. La plupart des champs sont fiables sur toute musique ; bpm et beats_sec ne sont fiables que lorsque la musique est vraiment rythmique, et juger cela est la décision que vous prenez à l'Étape 2.

Prérequis : Python 3 avec librosa, numpy et soundfile disponibles. Si l'import échoue, installez-les dans l'environnement Python actif avant d'exécuter l'analyseur :

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

Porte : audiomap.json existe ; audio.duration_sec est connu.


Étape 2 : Squelette des plans (structure uniquement)

Objectif : Lire la musique et disposer les plans — le squelette de STORYBOARD.md.

Lisez references/frame-skeleton.md. Transformez audiomap.json en le squelette de STORYBOARD.md vous-même — il n'y a pas de JSON intermédiaire. Découpez la piste en plans aux changements musicaux réels (hard_stops, SURGE / DROP key_moments, les bords d'un roulement, un tronçon sans attaques, un grand saut d'énergie), en accrochant chaque limite à un ancrage de l'audiomap. Pour chaque plan, définissez span_sec, pacing (le verdict de l'appel à la confiance de l'étape 1 — beat_cut lorsque la grille est réelle, phrase_flow lorsqu'il s'agit d'un métronome imposé sur une musique calme), mood et un feel d'une ligne (la situation musicale simple que l'Étape 3 fait correspondre à un template). Classez et disposez uniquement ici : laissez chaque ### Groups du plan comme À DÉFINIR (Étape 3) et le style du frontmatter vide — pas de templates, de texte, de couleur ou de polices. Attendez-vous à ~1–6 plans.

Porte : les plans couvrent la piste (le premier à 0, le dernier à duration_s) ; chacun contient span_sec + pacing + mood + feel ; chaque ### Groups est À DÉFINIR ; aucun contenu nulle part.


Étape 3 : Remplir le plan (validé par l'utilisateur)

Objectif : Transformer le squelette en un STORYBOARD.md complet et approuvé.

Lisez references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md et montage.md (uniquement si l'utilisateur a fourni des médias). En éditant le même fichier sur place, faites deux choses :

  1. Choisissez la marque. Choisissez un préréglage dans ../hyperframes-creative/frame-presets/ en utilisant le tableau dans ../hyperframes-creative/references/design-spec.md (correspondant à l'ambiance de la piste ; seules ses polices et couleurs comptent — les templates possèdent la composition). Copiez-le dans frame.md sans modification et remplissez le style du frontmatter (police + une palette de ≤4 à 6 nuances) à partir de celui-ci.
  2. Remplissez chaque plan. Décidez de ses groupes et donnez à chacun un traitement : un template correspondant du catalogue (avec des paramètres liés et de véritables ancrages de l'audiomap), une composition libre à partir du catalogue de primitives, ou un traitement de média qui obéit à pacing. Rédigez le texte. Vous possédez le QUOI (template / primitives + contenu + ancrages) ; le frame-worker possède le COMMENT — n'écrivez jamais d'interpolations en millisecondes dans le storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

Corrigez chaque ✗ (erreurs dures : décalage de durée, plans ne couvrant pas la piste, src manquante) ; les avertissements sont au mieux. Montrez ensuite un résumé plan par plan à l'utilisateur et itérez jusqu'à son approbation.

Porte : frame.md est une copie textuelle d'un préréglage ; validate-plan.mjs se termine avec le code 0 ; l'utilisateur a approuvé le plan.


Étape 4 : Construire les plans à partir du plan

Objectif : Construire chaque plan en tant que fichier de composition autonome.

Créez compositions/frames/. Lisez sub-agents/frame-worker.md et ../hyperframes-core/references/subagent-dispatch.md. Déléguez un frame-worker par plan, en parallèle si possible (sinon par vagues). Chaque ouvrier reçoit exactement un plan et ce contexte :

PROJECT_DIR : <chemin absolu>
frame_id : <NN-id_plan>              # = le nom du fichier du plan, p.ex. 02-f2 ; l'identifiant de composition
Votre bloc : le bloc `## Plan N — <id_plan>` dans PROJECT_DIR/STORYBOARD.md
audiomap : PROJECT_DIR/audiomap.json
frame.md : PROJECT_DIR/frame.md
Matériaux : pour chaque groupe, <SKILL_DIR>/references/templates/<id>/index.html (templates) et
           <SKILL_DIR>/references/motion-primitives/<id>/ (libre) ; assets/ mis en scène (groupes de médias)
Contrats : ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Toile : <l>×<h>   Rythme : <beat_cut|phrase_flow>
Écrire dans : PROJECT_DIR/compositions/frames/<id_plan>.html

L'ouvrier fourche les matériaux cités, convertit chaque ancrage en secondes locales au plan (local_t = track_t − span_sec[0]), gate ses groupes avec des coupures à 0 ms, et écrit un fichier de plan sécurisé pour la recherche. L'ouvrier n'exécute jamais la CLI hyperframes — ces commandes opèrent sur le projet assemblé, qui n'existe pas encore, donc elles signaleraient les mauvais fichiers. L'ouvrier écrit simplement selon le contrat et s'arrête ; vous vérifiez après l'assemblage (Étape 6). Au retour de chaque ouvrier, vous pouvez confirmer que son fichier a atterri sur le disque.

Porte : chaque plan a son compositions/frames/NN-*.html sur le disque.


Étape 5 : Assembler

Objectif : Câbler les plans construits + la BGM dans le index.html jouable.

assemble-index.mjs est déterministe — pas de sous-agent, pas de jugement. Il référence chaque fichier de plan à son data-start cumulatif, monte assets/bgm.mp3 sur la piste 11, et effectue des coupures nettes plan → plan (les plans couvrent la piste sans lacunes, donc il n'y a pas d'injecteur de transition).

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

Corrigez tout ✗ qu'il rapporte — un fichier de plan manquant ou vide signifie que cet ouvrier a écrit un fichier partiel ; redéléguez (Étape 4) et réassemblez.

Porte : index.html existe ; la durée totale == audiomap.audio.duration_sec.


Étape 6 : Vérifier et rendre

Objectif : Vérifier la vidéo assemblée, obtenir l'approbation de l'utilisateur et rendre le MP4 final.

Exécutez la CLI sur le projet assemblé — c'est l'unité correcte (les ouvriers par plan ne pouvaient pas l'exécuter). lint vérifie la structure, validate exécute Chrome sans tête (attrapant les erreurs JS et les médias manquants), inspect prend des instantanés des plans.

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

Inspectez à t=0, au début de chaque plan, au DROP / SURGE le plus fort, à chaque hard_stops[].t, et au dernier plan. En cas d'échec, effectuez vous-même la correction sûre la moins coûteuse : éditez le fichier compositions/frames/NN-*.html incriminé. Ne modifiez jamais la durée ou le timing audio pour masquer un problème de synchronisation. Une fois les portes passées, faites une pause pour la revue utilisateur, puis rendez uniquement après approbation :

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

Porte : lint / validate / inspect réussis ; l'utilisateur a approuvé ; renders/video.mp4 existe avec audio, durée == audiomap.audio.duration_sec. La réponse finale indique le chemin du MP4 et sa durée.


Tableau de reprise

Vous avezReprenez à
assets/bgm.mp3 uniquementÉtape 1
audiomap.jsonÉtape 2
STORYBOARD.md (squelette)Étape 3
STORYBOARD.md (complet)Étape 4
tous les fichiers de planÉtape 5
index.htmlÉtape 6

Référence rapide

Formats : paysage 1920x1080 par défaut ; portrait 1080x1920 ; carré 1080x1080. Définissez la toile une fois dans le frontmatter du storyboard (canvas: { w, h, fps }).

Scripts sous scripts/ : analyze-beatgrid.py (l'unique analyseur), validate-plan.mjs (vérification du plan), assemble-index.mjs (assemblage de l'index), stage-assets.mjs (mise en scène des médias utilisateur), lib/storyboard.mjs (analyseur syntaxique fourni). Tout le reste est la CLI hyperframes.

LisezQuand
references/frame-skeleton.mdÉtape 2 : lisez la musique, disposez les plans, définissez le rythme
references/planning.md · storyboard-format.mdÉtape 3 : choisissez la marque, remplissez chaque plan, rédigez le plan
references/template-catalog.mdÉtape 3 : choisissez un template par groupe
references/motion-primitive-catalog.mdÉtape 3 : choisissez des primitives de mouvement pour les compositions libres
references/montage.mdÉtape 3 : traitez les médias utilisateur si fournis
sub-agents/frame-worker.mdÉtape 4 : instructions de construction de plan
../hyperframes-core/references/subagent-dispatch.mdÉtape 4 : délégation de sous-agent

Dépendances

  • Python 3 avec les bibliothèques librosa, numpy, soundfile (pour analyze-beatgrid.py).
  • Node.js (pour les scripts validate-plan.mjs, assemble-index.mjs, stage-assets.mjs).
  • CLI hyperframes (pour init, lint, validate, inspect, render).
  • Media generation : accès à /hyperframes-media (HeyGen avec identifiants, ou génération locale).

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Aseel1600/Edit01

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

Aseel1600/Edit01

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Aseel1600/Edit01

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Aseel1600/Edit01

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Aseel1600/Edit01

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Aseel1600/Edit01

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Aseel1600/Edit01

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Aseel1600/Edit01

Generate expressive, multilingual narration with fish.audio (S1 / S2-generation models) and reuse cloned voices via reference_id. Use when the user prefers fish.audio/Fish Audio TTS, wants a specific playground voice model, or needs high-emotion voice-clone narration.

Aseel1600/Edit01

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Aseel1600/Edit01

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Aseel1600/Edit01

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Aseel1600/Edit01

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Aseel1600/Edit01

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Aseel1600/Edit01

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

Aseel1600/Edit01

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Aseel1600/Edit01

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Aseel1600/Edit01

Best practices for Remotion - Video creation in React

Aseel1600/Edit01

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Aseel1600/Edit01

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Aseel1600/Edit01

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Skills associés