Communitygithub.com

1345AbhishekKumar/starter-nextjs

Use quando o usuário tem uma faixa musical (arquivo de áudio ou vídeo para extrair o áudio) e deseja um vídeo HyperFrames sincronizado com a batida, do calmo ao intenso. A música dita tudo: um analisador a lê uma vez, o orquestrador define os quadros e preenche um plano por quadro, e um sub-agente constrói cada quadro. Tipografia e templates são a base — um vídeo completo não precisa de ativos — mas quaisquer imagens ou vídeos fornecidos pelo usuário são inseridos nos quadros na mesma grade de batidas (corte na batida / ken-burns). O gênero (lyric video, slideshow, promo cinético) emerge das escolhas por quadro; o pipeline nunca ramifica com base nele.

O que é starter-nextjs?

Este skill transforma uma faixa musical em um vídeo HyperFrames totalmente sincronizado com a batida, seguindo um workflow passo a passo. Ele é ideal para desenvolvedores ou agentes de IA que precisam criar vídeos dinâmicos baseados em música, como lyric videos, slideshows ou promos cinéticos, sem exigir ativos além da própria música — tipografia e templates são suficientes para gerar o vídeo completo. O skill suporta plataformas como Claude Code, Cursor e Codex, e seu pipeline é dividido em seis etapas: configuração, análise musical, criação de um esqueleto de quadros, preenchimento do plano com aprovação do usuário, construção de cada quadro por sub-agentes, montagem e renderização final. A análise musical é feita uma única vez por um analisador dedicado, e cada quadro é construído independentemente, garantindo escalabilidade e precisão rítmica. O design e as regras de movimento são centralizados em referências externas, mantendo o fluxo principal enxuto e focado na orquestração.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-nextjs/tree/HEAD/.agents/skills/music-to-video

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

música-para-vídeo — um workflow de vídeo sincronizado com a batida musical

Use este skill para transformar uma faixa musical em um vídeo HyperFrames sincronizado com a batida. Você analisa a faixa uma vez, define os quadros, preenche um plano por quadro e constrói cada quadro como uma composição. A entrada é uma faixa musical mais imagens ou vídeos opcionais do usuário — não há narração nem captura de sites. Tipografia e templates são a base (um vídeo completo não precisa de ativos); qualquer mídia fornecida pelo usuário é cortada na mesma grade de batidas.

Você é o orquestrador. Trabalhe em videos/<projeto>/. Execute as etapas em ordem e passe cada Gate antes de prosseguir. Duas etapas precisam do usuário: Passo 3 (aprovação do plano) e Passo 6 (aprovação da renderização). Faça cada etapa você mesmo, exceto o Passo 4, onde você despacha um sub-agente por quadro. Mantenha as regras de design e movimento fora deste arquivo — elas vivem em references/ e no sub-agente frame-worker.

SKILL_DIR = diretório do skill. PROJECT_DIR = videos/<nome-do-projeto>/.

Workflow: Passo 0 configuração → hyperframes.json + assets/bgm.mp3; Passo 1 análise → audiomap.json; Passo 2 esqueleto → STORYBOARD.md (quadros, grupos TBD); Passo 3 plano → STORYBOARD.md completo + frame.md; Passo 4 construção → compositions/frames/NN-*.html; Passo 5 montagem → index.html; Passo 6 renderização → renders/video.mp4.

Duas ideias que moldam tudo

  • Um analisador, e você confia nele. analyze-beatgrid.py é o único analisador de batidas — nunca meça batidas novamente com outra ferramenta ou de ouvido. Suas energia / densidade / rolls / onsets / silêncios são sempre confiáveis. Seus bpm e beats_sec são confiáveis apenas quando a música é genuinamente rítmica; em música calma a grade é um metrônomo que o rastreador impôs, então guie-se por frases e energia e nunca corte rigidamente nela. Decidir em qual caso você está é o pacing de cada quadro (Passo 2).
  • Um quadro = um arquivo; grupos vivem dentro. O Passo 2 corta a faixa em quadros, e cada quadro se torna um arquivo de composição compositions/frames/NN-<id_do_quadro>.html, construído por um frame-worker. Um quadro pode subdividir-se em grupos (cada um um template ou uma combinação de primitivas de movimento). Densidade extra vai dentro de um grupo, então o número de quadros rastreia tratamentos distintos, não batidas — uma faixa rápida não explode o número de sub-agentes.

Passo 0: Configuração, BGM e entradas

Objetivo: Estabelecer a fonte musical, criar o projeto HyperFrames e anotar qualquer mídia fornecida pelo usuário.

A música é a espinha — estabeleça uma faixa antes de qualquer outra coisa. Este skill é ajustado para BGM rápido e de alta energia: uma grade de batidas forte dirige os cortes (faixas calmas funcionam, mas guie-se por frase em vez de batida). Se o usuário lhe deu áudio — um arquivo de música ou um vídeo para extrair o áudio — use-o. Se não, gere um: escolha o clima a partir da descrição do usuário (por exemplo, "synthwave intenso", "batida trap", "corporativo animado") e produza uma faixa via /hyperframes-media (references/bgm.md — recuperação HeyGen quando credenciado, senão Lyria / MusicGen local; ElevenLabs ou outro gerador também funciona). Antes de gerar, execute npx hyperframes auth status e transmita sua saída literalmente (não parafraseie ou reescreva) — ela mostra se o BGM vem do HeyGen ou do MusicGen local e, se não estiver logado, como fazer login. Se não estiver logado, PARE e aguarde o usuário escolher — fazer login ou continuar offline com MusicGen local — antes de gerar a faixa; não escreva chaves em um .env por repositório. (Em modo autônomo, anote o status e continue offline.) Consulte /hyperframes-media → Preflight para orientação canônica. De qualquer forma, a faixa fica em assets/bgm.mp3. Prepare quaisquer imagens ou vídeos fornecidos pelo usuário para que os quadros possam incorporá-los na grade de batidas; caso contrário, a tipografia carrega o vídeo inteiro.

Inicialize apenas se hyperframes.json estiver ausente. Nomeie <projeto> a partir do briefing em kebab-case, como midnight-drive-loop — nunca um timestamp. init verifica os skills instalados em relação aos mais recentes no GitHub e atualiza o conjunto global se algum estiver desatualizado.

npx hyperframes init "videos/<projeto>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<musica-do-usuario>" "$PROJECT_DIR/assets/bgm.mp3"   # extraia de um vídeo primeiro, se necessário
# apenas se o usuário forneceu imagens/vídeos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public

A marca (fonte + paleta) é escolhida no Passo 3, não aqui. Não escolha um gênero ou tipo de faixa antecipadamente — ativos são apenas um ingrediente opcional, e o gênero emerge das escolhas por quadro.

Gate: hyperframes.json + assets/bgm.mp3 existem; proporção / duração / fps e (se houver) o inventário de ativos estão anotados.


Passo 1: Analisar a música

Objetivo: Produzir a única análise de temporização canônica sobre a qual todo o vídeo é construído.

analyze-beatgrid.py é o único analisador de batidas — nunca meça batidas novamente com outra ferramenta ou de ouvido. Ele lê a faixa uma vez e escreve audiomap.json: fases de energia (nível / densidade / sensação), onsets + onset_rate, rolls, silêncios, hard_stops, key_moments, frases, tempo / grade e audio.duration_sec. É determinístico — o mesmo arquivo sempre dá o mesmo mapa. A maioria dos campos é confiável em qualquer música; bpm e beats_sec são confiáveis apenas quando a música é genuinamente rítmica, e julgar isso é a decisão que você toma no Passo 2.

Pré-requisitos: Python 3 com librosa, numpy e soundfile disponíveis. Se a importação falhar, instale-os no ambiente Python ativo antes de executar o analisador:

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

Gate: audiomap.json existe; audio.duration_sec é conhecido.


Passo 2: Esqueleto dos quadros (estrutura apenas)

Objetivo: Ler a música e definir os quadros — o esqueleto de STORYBOARD.md.

Leia references/frame-skeleton.md. Transforme audiomap.json no esqueleto de STORYBOARD.md você mesmo — não há JSON intermediário. Corte a faixa em quadros em mudanças musicais reais (hard_stops, SURGE / DROP key_moments, as bordas de um roll, um trecho sem onsets, um grande salto de energia), ajustando cada limite a um âncora do audiomap. Para cada quadro defina span_sec, pacing (o veredito da chamada de confiança do Passo 1 — beat_cut quando a grade é real, phrase_flow quando é um metrônomo imposto em música calma), mood e feel de uma linha (a situação musical simples que o Passo 3 combina com um template). Apenas classifique e organize aqui: deixe o ### Groups de cada quadro como TBD (Passo 3) e o frontmatter style em branco — sem templates, texto, cor ou fontes. Espere ~1–6 quadros.

Gate: os quadros cobrem a faixa (primeiro em 0, último em duration_s); cada um carrega span_sec + pacing + mood + feel; todo ### Groups é TBD; nenhum conteúdo em qualquer lugar.


Passo 3: Preencher o plano (com gate do usuário)

Objetivo: Transformar o esqueleto em um STORYBOARD.md aprovado e completo.

Leia references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md e montage.md (apenas se o usuário forneceu ativos). Editando o mesmo arquivo no lugar, faça duas coisas:

  1. Escolha a marca. Escolha um preset de ../hyperframes-creative/frame-presets/ usando a tabela em ../hyperframes-creative/references/design-spec.md (combine o clima da faixa; apenas suas fontes e cores importam — templates possuem a composição). Copie-o para frame.md sem modificações e preencha o frontmatter style (fonte + uma paleta de ≤4–6 amostras) a partir dele.
  2. Preencha cada quadro. Decida seus grupos e dê a cada um um tratamento: um template correspondente do catálogo (com parâmetros vinculados e âncoras reais do audiomap), uma composição livre do catálogo de primitivas ou um tratamento de ativo que obedeça a pacing. Escreva o texto. Você é dono do O QUÊ (template / primitivas + conteúdo + âncoras); o frame-worker é dono do COMO — nunca escreva tweens em milissegundos no storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

Corrija cada ✗ (erros graves: incompatibilidade de duração, quadros não cobrindo a faixa, um src ausente); avisos são de melhor esforço. Em seguida, mostre ao usuário um resumo quadro a quadro e itere até que ele aprove.

Gate: frame.md é uma cópia literal do preset; validate-plan.mjs sai com código 0; o usuário aprovou o plano.


Passo 4: Construir quadros a partir do plano

Objetivo: Construir cada quadro como um arquivo de composição independente.

Crie compositions/frames/. Leia sub-agents/frame-worker.md e ../hyperframes-core/references/subagent-dispatch.md. Despache um frame-worker por quadro, em paralelo quando possível (caso contrário, em ondas). Cada worker recebe exatamente um quadro e este contexto:

PROJECT_DIR: <caminho absoluto>
frame_id: <NN-id_do_quadro>              # = o stem do arquivo do quadro, por exemplo 02-f2; o id da composição
Seu bloco: o bloco `## Frame N — <id_do_quadro>` em PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiais: para cada grupo, <SKILL_DIR>/references/templates/<id>/index.html (templates) e
           <SKILL_DIR>/references/motion-primitives/<id>/ (livre); assets/ preparados (grupos de ativos)
Contratos: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Canvas: <l>×<a>   Pacing: <beat_cut|phrase_flow>
Escrever em: PROJECT_DIR/compositions/frames/<id_do_quadro>.html

O worker bifurca os materiais citados, converte cada âncora para segundos locais do quadro (local_t = track_t − span_sec[0]), fecha seus grupos com cortes de 0ms e escreve um arquivo de quadro seguro para busca. O worker nunca executa o CLI do hyperframes — esses comandos operam no projeto montado, que ainda não existe, então eles relatariam nos arquivos errados. O worker apenas escreve no contrato e para; você verifica após a montagem (Passo 6). À medida que cada worker retorna, você pode confirmar que seu arquivo está no disco.

Gate: cada quadro tem seu compositions/frames/NN-*.html no disco.


Passo 5: Montar

Objetivo: Conectar os quadros construídos + BGM no index.html reproduzível.

assemble-index.mjs é determinístico — nenhum subagente, nenhum julgamento. Ele referencia cada arquivo de quadro em seu data-start cumulativo, monta assets/bgm.mp3 na faixa 11 e faz cortes secos de quadro para quadro (os quadros cobrem a faixa sem lacunas, então não há injetor de transição).

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

Corrija qualquer ✗ que ele reporte — um arquivo de quadro ausente ou em branco significa que aquele worker escreveu um arquivo parcial; redespache-o (Passo 4) e monte novamente.

Gate: index.html existe; duração total == audiomap.audio.duration_sec.


Passo 6: Verificar e renderizar

Objetivo: Verificar o vídeo montado, obter aprovação do usuário e renderizar o MP4 final.

Execute o CLI no projeto montado — essa é a unidade correta (os workers por quadro não podiam executá-lo). lint verifica estrutura, validate executa Chrome headless (capturando erros JS e ativos ausentes), inspect tira instantâneos dos quadros.

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

Inspecione em t=0, início de cada quadro, o DROP / SURGE mais forte, cada hard_stops[].t e o quadro final. Em caso de falha, faça a correção segura mais barata você mesmo: edite o arquivo compositions/frames/NN-*.html ofensivo. Nunca altere a duração ou o tempo do áudio para esconder um problema de sincronia. Depois que os gates passarem, pause para revisão do usuário, então renderize apenas com aprovação:

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

Gate: lint / validate / inspect passaram; o usuário aprovou; renders/video.mp4 existe com áudio, duração == audiomap.audio.duration_sec. A resposta final informa o caminho do MP4 e a duração.


Tabela de retomada

Você temContinue de
assets/bgm.mp3 apenasPasso 1
audiomap.jsonPasso 2
STORYBOARD.md (esqueleto)Passo 3
STORYBOARD.md (completo)Passo 4
todos os arquivos de quadroPasso 5
index.htmlPasso 6

Referência rápida

Formatos: paisagem 1920x1080 por padrão; retrato 1080x1920; quadrado 1080x1080. Defina o canvas uma vez no frontmatter do storyboard (canvas: { w, h, fps }).

Scripts sob scripts/: analyze-beatgrid.py (o único analisador), validate-plan.mjs (verificação do plano), assemble-index.mjs (montagem do índice), stage-assets.mjs (preparação de mídia do usuário), lib/storyboard.mjs (analisador vendido). Todo o resto é o CLI do hyperframes.

LeiaQuando
references/frame-skeleton.mdPasso 2: ler a música, definir os quadros, definir pacing
references/planning.md · storyboard-format.mdPasso 3: escolher a marca, preencher cada quadro, escrever o plano
references/template-catalog.mdPasso 3: escolher um template por grupo
references/motion-primitive-catalog.mdPasso 3: escolher primitivas de movimento
sub-agents/frame-worker.mdPasso 4: construir o quadro do plano

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-nextjs

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

1345AbhishekKumar/starter-nextjs

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-nextjs

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-nextjs

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-nextjs

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-nextjs

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-nextjs

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

1345AbhishekKumar/starter-nextjs

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-nextjs

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-nextjs

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-nextjs

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-nextjs

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-nextjs

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Habilidades Relacionadas