Communitygithub.com

mychat

Use quando o usuário tem uma faixa musical (um arquivo de áudio ou um vídeo para extrair o áudio) e deseja um vídeo HyperFrames sincronizado com a batida, do calmo ao intenso. A música dirige tudo: um analisador a lê uma vez, o orquestrador organiza os quadros e preenche um plano por quadro, e um subagente constrói cada quadro. Tipografia e templates são a base — um vídeo completo não precisa de nenhum ativo — mas quaisquer imagens ou vídeos fornecidos pelo usuário são cortados nos quadros na mesma grade de batida (corte na batida / ken-burns). O gênero (lyric video, slideshow, promo cinética) surge das escolhas por quadro; o pipeline nunca se ramifica com base nele.

O que é mychat?

Este skill transforma uma faixa de música em um vídeo HyperFrames totalmente sincronizado com a batida, executando um fluxo de trabalho de 6 etapas onde a música é a única força motriz. Na Etapa 0, a configuração prepara o projeto e o áudio; na Etapa 1, um único analisador (`analyze-beatgrid.py`) produz um `audiomap.json` confiável, que é a única fonte de tempo para todo o vídeo. O orquestrador então cria um storyboard esqueleto (Etapa 2), preenche-o com templates, tipografia e ativos do usuário (Etapa 3, sujeita à aprovação), e despacha subagentes paralelos para construir cada quadro como um arquivo HTML autônomo (Etapa 4). Finalmente, o `index.html` é montado (Etapa 5) e validado/renderizado (Etapa 6) usando o CLI `hyperframes`. A abordagem de "um quadro = um arquivo" mantém a contagem de quadros baseada em tratamentos distintos, não em batidas individuais, garantindo que faixas rápidas não multipliquem o trabalho dos subagentes. O skill suporta a geração de BGM via HeyGen ou MusicGen, validação de planos e inspeção headless, e é ideal para criadores de conteúdo que desejam transformar música em vídeos cinéticos estilizados com mínimo esforço manual.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/9018/mychat/tree/HEAD/OpenMontage/.agents/skills/music-to-video

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

música-para-vídeo — um fluxo de trabalho de vídeo sincronizado com a batida, baseado em música

Use este skill para transformar uma faixa musical em um vídeo HyperFrames sincronizado com a batida. Você analisa a faixa uma vez, organiza os quadros, preenche um plano por quadro e constrói cada quadro como uma composição. A entrada é uma faixa musical mais imagens ou vídeos opcionais do usuário — não há narração e nem captura de site. Tipografia e templates são a base (um vídeo completo não precisa de nenhum ativo); qualquer mídia que o usuário fornecer é cortada na mesma grade de batida.

Você é o orquestrador. Trabalhe em videos/<projeto>/. Execute as etapas em ordem e passe cada Portão antes de prosseguir. Duas etapas precisam do usuário: Etapa 3 (aprovação do plano) e Etapa 6 (aprovação da renderização). Faça você mesmo cada etapa, exceto a Etapa 4, onde você despacha um subagente por quadro. Mantenha as regras de design e movimento fora deste arquivo — elas estão em references/ e no subagente frame-worker.

SKILL_DIR = este diretório do skill. PROJECT_DIR = videos/<nome-do-projeto>/.

Fluxo de trabalho: Etapa 0 configuração → hyperframes.json + assets/bgm.mp3; Etapa 1 analisar → audiomap.json; Etapa 2 esqueleto → STORYBOARD.md (quadros, grupos TBD); Etapa 3 plano → STORYBOARD.md completo + frame.md; Etapa 4 construir → compositions/frames/NN-*.html; Etapa 5 montar → index.html; Etapa 6 renderizar → renders/video.mp4.

Duas ideias que moldam tudo

  • Um analisador, e você confia nele. analyze-beatgrid.py é o único analisador de batida — nunca remeça batidas com outra ferramenta ou de ouvido. Sua energia / densidade / rolagens / inícios / silêncios são sempre confiáveis. Seus bpm e beats_sec são confiáveis apenas quando a música é genuinamente rítmica; em música calma, a grade é um metrônomo que o rastreador impôs, então marque o ritmo por frases e energia e nunca faça cortes duros nela. Decidir em qual caso você está é a pacing de cada quadro (Etapa 2).
  • Um quadro = um arquivo; grupos vivem dentro. A Etapa 2 corta a faixa em quadros, e cada quadro se torna um arquivo de composição compositions/frames/NN-<frame_id>.html, construído por um frame-worker. Um quadro pode subdividir-se em grupos (cada um um template ou uma combinação de primitivas de movimento). Densidade extra vai dentro de um grupo, então a contagem de quadros acompanha tratamentos distintos, não batidas — uma faixa rápida não explode o número de subagentes.

Etapa 0: Configuração, BGM e entradas

Objetivo: Estabelecer a fonte de música, criar o projeto HyperFrames e anotar qualquer mídia fornecida pelo usuário.

A música é a espinha dorsal — estabeleça uma faixa antes de qualquer outra coisa. Este skill é ajustado para BGM rápida e de alta energia: uma grade de batida forte dirige os cortes (faixas calmas funcionam, mas marque o ritmo por frase em vez de batida). Se o usuário lhe deu áudio — um arquivo de música, ou um vídeo para extrair o áudio — use-o. Caso contrário, gere um: escolha o humor da descrição do usuário (ex.: "synthwave envolvente", "batida trap", "corporativo animado") e produza uma faixa via /hyperframes-media (references/bgm.md — recuperação HeyGen quando credenciado, senão Lyria local / MusicGen; ElevenLabs ou outro gerador também funciona). Antes de gerar, execute npx hyperframes auth status e transmita sua saída literalmente (não parafraseie ou reescreva) — ela mostra se o BGM vem do HeyGen ou do MusicGen local e, se não estiver conectado, como fazer login. Se não estiver conectado, PARE e aguarde a escolha do usuário — faça login, ou continue offline com MusicGen local — antes de gerar a faixa; não escreva chaves em um .env por repositório. (No modo autônomo, anote o status e continue offline.) Veja /hyperframes-media → Preflight para a orientação canônica. De qualquer forma, a faixa vai para assets/bgm.mp3. Prepare quaisquer imagens ou vídeos fornecidos pelo usuário para que os quadros possam tecê-los na grade de batida; caso contrário, a tipografia carrega todo o vídeo.

Inicialize apenas se hyperframes.json estiver faltando. Nomeie <projeto> a partir do briefing em kebab-case, como midnight-drive-loop — nunca um timestamp. init verifica os skills instalados em relação aos mais recentes no GitHub e atualiza o conjunto global se algum estiver desatualizado.

npx hyperframes init "videos/<projeto>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<musica-do-usuario>" "$PROJECT_DIR/assets/bgm.mp3"   # extraia de um vídeo primeiro, se necessário
# apenas se o usuário lhe deu imagens/vídeos:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public

A marca (fonte + paleta) é escolhida na Etapa 3, não aqui. Não escolha um gênero ou tipo de faixa antecipadamente — os ativos são apenas um ingrediente opcional, e o gênero emerge das escolhas por quadro.

Portão: hyperframes.json + assets/bgm.mp3 existem; aspecto / duração / fps e (se houver) o inventário de ativos são anotados.


Etapa 1: Analisar a música

Objetivo: Produzir a única análise de tempo canônica sobre a qual todo o vídeo é construído.

analyze-beatgrid.py é o único analisador de batida — nunca remeça batidas com outra ferramenta ou de ouvido. Ele lê a faixa uma vez e escreve audiomap.json: fases de energia (nível / densidade / sensação), inícios + onset_rate, rolagens, silêncios, hard_stops, key_moments, frases, tempo / grade, e audio.duration_sec. É determinístico — o mesmo arquivo sempre dá o mesmo mapa. A maioria dos campos é confiável em qualquer música; bpm e beats_sec são confiáveis apenas quando a música é genuinamente rítmica, e julgar isso é a decisão que você toma na Etapa 2.

Pré-requisitos: Python 3 com librosa, numpy e soundfile disponíveis. Se a importação falhar, instale-os no ambiente Python ativo antes de executar o analisador:

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

Portão: audiomap.json existe; audio.duration_sec é conhecido.


Etapa 2: Esqueleto do quadro (apenas estrutura)

Objetivo: Ler a música e organizar os quadros — o esqueleto de STORYBOARD.md.

Leia references/frame-skeleton.md. Transforme audiomap.json no esqueleto de STORYBOARD.md você mesmo — não há JSON intermediário. Corte a faixa em quadros nas mudanças musicais reais (hard_stops, SURGE / DROP key_moments, as bordas de uma rolagem, um trecho sem inícios, um grande salto de energia), encaixando cada limite em uma âncora do audiomap. Para cada quadro, defina span_sec, pacing (o veredito da chamada de confiança da Etapa 1 — beat_cut quando a grade é real, phrase_flow quando é um metrônomo imposto em música calma), mood, e um feel de uma linha (a situação musical simples que a Etapa 3 combina com um template). Apenas classifique e organize aqui: deixe cada ### Groups do quadro como TBD (Step 3) e o style do frontmatter em branco — sem templates, texto, cor ou fontes. Espere ~1–6 quadros.

Portão: os quadros cobrem a faixa (primeiro em 0, último em duration_s); cada um carrega span_sec + pacing + mood + feel; todo ### Groups é TBD; nenhum conteúdo em qualquer lugar.


Etapa 3: Preencher o plano (com portão do usuário)

Objetivo: Transformar o esqueleto em um STORYBOARD.md aprovado e completo.

Leia references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md, e montage.md (apenas se o usuário forneceu ativos). Editando o mesmo arquivo no lugar, faça duas coisas:

  1. Escolha a marca. Selecione uma predefinição de ../hyperframes-creative/frame-presets/ usando a tabela em ../hyperframes-creative/references/design-spec.md (combine com o humor da faixa; apenas suas fontes e cores importam — os templates possuem a composição). Copie-a em frame.md sem modificações e preencha o style do frontmatter (fonte + uma paleta de ≤4–6 amostras) a partir dela.
  2. Preencha cada quadro. Decida seus grupos e dê a cada um um tratamento: um template correspondente do catálogo (com parâmetros vinculados e âncoras reais do audiomap), uma composição livre do catálogo de primitivas, ou um tratamento de ativo que obedeça à pacing. Escreva o texto. Você controla O QUE (template / primitivas + conteúdo + âncoras); o frame-worker controla COMO — nunca escreva tweens de milissegundos no storyboard.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

Corrija cada ✗ (erros graves: incompatibilidade de duração, quadros não cobrindo a faixa, um src faltando); avisos são de melhor esforço. Em seguida, mostre ao usuário um resumo quadro a quadro e itere até que ele aprove.

Portão: frame.md é uma cópia literal da predefinição; validate-plan.mjs sai com código 0; o usuário aprovou o plano.


Etapa 4: Construir quadros a partir do plano

Objetivo: Construir cada quadro como um arquivo de composição autônomo.

Crie compositions/frames/. Leia sub-agents/frame-worker.md e ../hyperframes-core/references/subagent-dispatch.md. Despache um frame-worker por quadro, em paralelo quando possível (caso contrário, em ondas). Cada worker recebe exatamente um quadro e este contexto:

PROJECT_DIR: <caminho absoluto>
frame_id: <NN-frame_id>              # = o nome do arquivo do quadro, ex.: 02-f2; o id da composição
Seu bloco: o bloco `## Frame N — <frame_id>` em PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materiais: para cada grupo, <SKILL_DIR>/references/templates/<id>/index.html (templates) e
           <SKILL_DIR>/references/motion-primitives/<id>/ (livre); ativos preparados/ (grupos de ativos)
Contratos: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Canvas: <l>×<a>   Pacing: <beat_cut|phrase_flow>
Escrever em: PROJECT_DIR/compositions/frames/<frame_id>.html

O worker bifurca os materiais citados, converte cada âncora para segundos locais do quadro (local_t = track_t − span_sec[0]), limita seus grupos com cortes de 0ms e escreve um arquivo de quadro seguro para busca. O worker nunca executa o CLI hyperframes — esses comandos operam no projeto montado, que ainda não existe, então eles reportariam nos arquivos errados. O worker apenas escreve no contrato e para; você verifica após a montagem (Etapa 6). À medida que cada worker retorna, você pode confirmar que seu arquivo chegou ao disco.

Portão: cada quadro tem seu compositions/frames/NN-*.html no disco.


Etapa 5: Montar

Objetivo: Conectar os quadros construídos + BGM no index.html reproduzível.

assemble-index.mjs é determinístico — sem subagente, sem julgamento. Ele referencia cada arquivo de quadro em seu data-start cumulativo, monta assets/bgm.mp3 na faixa 11 e faz cortes secos quadro → quadro (os quadros cobrem a faixa sem lacunas, então não há injetor de transição).

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

Corrija qualquer ✗ que ele reportar — um arquivo de quadro ausente ou em branco significa que aquele worker escreveu um arquivo parcial; re-despache-o (Etapa 4) e monte novamente.

Portão: index.html existe; duração total == audiomap.audio.duration_sec.


Etapa 6: Verificar e renderizar

Objetivo: Verificar o vídeo montado, obter aprovação do usuário e renderizar o MP4 final.

Execute o CLI no projeto montado — essa é a unidade correta (os workers por quadro não podiam executá-lo). lint verifica a estrutura, validate executa Chrome headless (capturando erros de JS e ativos ausentes), inspect captura quadros.

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

Inspecione em t=0, cada início de quadro, o DROP / SURGE mais forte, cada hard_stops[].t e o quadro final. Em caso de falha, faça a correção segura mais barata você mesmo: edite o compositions/frames/NN-*.html ofensivo. Nunca mude a duração ou o tempo do áudio para esconder um problema de sincronia. Depois que os portões passarem, pause para revisão do usuário, então renderize apenas após aprovação:

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

Portão: lint / validate / inspect passaram; o usuário aprovou; renders/video.mp4 existe com áudio, duração == audiomap.audio.duration_sec. A resposta final informa o caminho e a duração do MP4.


Tabela de continuação

Você temContinue de
assets/bgm.mp3 apenasEtapa 1
audiomap.jsonEtapa 2
STORYBOARD.md (esqueleto)Etapa 3
STORYBOARD.md (completo)Etapa 4
todos os arquivos de quadroEtapa 5
index.htmlEtapa 6

Referência rápida

Formatos: paisagem 1920x1080 por padrão; retrato 1080x1920; quadrado 1080x1080. Defina o canvas uma vez no frontmatter do storyboard (canvas: { w, h, fps }).

Scripts em scripts/: analyze-beatgrid.py (o único analisador), validate-plan.mjs (verificação do plano), assemble-index.mjs (montagem do índice), stage-assets.mjs (preparar mídia do usuário), lib/storyboard.mjs (analisador sintático fornecido). Todo o resto é o CLI hyperframes.

LeiaQuando
references/frame-skeleton.mdEtapa 2: ler a música, organizar os quadros, definir pacing
references/planning.md · storyboard-format.mdEtapa 3: escolher a marca, preencher cada quadro, escrever o plano
references/template-catalog.mdEtapa 3: escolher um template por grupo
references/motion-primitive-catalog.mdEtapa 3: escolher primitivas de movimento para composição livre
references/montage.mdEtapa 3: montagem de ativos (apenas se o usuário forneceu mídia)
sub-agents/frame-worker.mdEtapa 4: despachar frame-workers
references/design-spec.md (em hyperframes-creative)Etapa 3: escolher predefinições de moldura (fonte + paleta)

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

9018/mychat

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

9018/mychat

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

9018/mychat

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

9018/mychat

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

9018/mychat

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

9018/mychat

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

9018/mychat

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

9018/mychat

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

9018/mychat

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

9018/mychat

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

9018/mychat

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

9018/mychat

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

9018/mychat

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

9018/mychat

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

9018/mychat

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

9018/mychat

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

9018/mychat

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

9018/mychat

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

9018/mychat

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

9018/mychat

Download video and audio from YouTube and 1000+ sites using yt-dlp. No API keys needed. Use when: (1) Downloading a video from YouTube or other sites, (2) Extracting audio from a video URL, (3) Downloading subtitles/captions from a video, (4) Getting video metadata without downloading.

Habilidades Relacionadas