Communitygithub.com

Aseel1600/Edit01

音楽トラックからビート同期されたHyperFrames動画を生成します。静かな曲から激しい曲まで対応し、入力は音声ファイルまたは動画から抽出した音声です。

Edit01 とは?

このスキルは、Claude CodeなどのAIエージェント向けに設計された、音楽に完全に同期したビデオ生成ワークフローです。1つの音楽トラックを解析し、ビートグリッドに基づいてフレームを構成し、各フレームを個別のサブエージェントで構築するオーケストレーターアプローチを採用しています。特徴は、タイポグラフィとテンプレートだけで完全な動画が作成可能で、ユーザーが画像や動画を提供した場合は同じビートグリッド上でカットインされます。ジャンル(リリックビデオ、スライドショー、キネティックプロモーションなど)はフレームごとの選択から自然に決まり、パイプラインは分岐しません。HyperFramesプラットフォーム上で動作し、analyze-beatgrid.pyが唯一のビート解析ツールとして使用されます。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Aseel1600/Edit01/tree/HEAD/.agents/skills/music-to-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

music-to-video — 音楽に完全同期したビート同期動画ワークフロー

このスキルを使用して、音楽トラックをビート同期のHyperFrames動画に変換します。トラックを一度解析し、フレームをレイアウトし、フレームごとの計画を記入し、各フレームをコンポジションとして構築します。入力は音楽トラックと、ユーザーが提供するオプションの画像または動画です。ナレーションやウェブサイトキャプチャはありません。タイポグラフィとテンプレートが基本です(完全な動画にアセットは不要)。ユーザーが提供するメディアは、同じビートグリッド上でカットインされます。

あなたはオーケストレーターです。videos/<project>/ ディレクトリ内で作業します。手順を順番に実行し、各ゲートを通過してから次に進みます。2つの手順でユーザーの関与が必要です:ステップ3(計画承認)とステップ6(レンダー承認)。ステップ4を除き、すべての手順を自分で実行します。ステップ4では、フレームごとに1つのサブエージェントを起動します。デザインとモーションのルールはこのファイルには記述せず、references/ と frame-worker サブエージェントに保持します。

SKILL_DIR = このスキルディレクトリ。PROJECT_DIR = videos/<project-name>/。

ワークフロー:ステップ0 セットアップ → hyperframes.json + assets/bgm.mp3;ステップ1 解析 → audiomap.json;ステップ2 スケルトン → STORYBOARD.md(フレーム、グループは TBD);ステップ3 計画 → 完全な STORYBOARD.md + frame.md;ステップ4 構築 → compositions/frames/NN-*.html;ステップ5 アセンブル → index.html;ステップ6 レンダー → renders/video.mp4。

すべてを形作る2つのアイデア

  • 1つのアナライザー、それを信頼する。 analyze-beatgrid.py が唯一のビートアナライザーです — 他のツールや耳でビートを再測定しないでください。そのエネルギー/密度/ロール/オンセット/無音は常に信頼できます。bpm と beats_sec は、音楽が真にリズミカルな場合にのみ信頼できます。穏やかな音楽では、グリッドはトラッカーが課したメトロノームなので、代わりにフレーズとエネルギーでペースを調整し、ハードカットしないでください。どちらのケースかを判断するのは、各フレームの pacing(ステップ2)です。
  • 1フレーム = 1ファイル。グループは内部に存在する。 ステップ2では、トラックをフレームに分割します。各フレームは1つのコンポジションファイル compositions/frames/NN-<frame_id>.html になり、1つのframe-workerによって構築されます。フレームはさらにグループ(各テンプレートまたはモーションプリミティブの組み合わせ)に分割できます。余分な密度はグループの_内部_に配置されるため、フレーム数は異なる処理を追跡し、ビート数ではない — 速いトラックでもサブエージェントの数が爆発的に増えることはありません。

ステップ0: セットアップ、BGM、入力

目標: 音楽ソースを確立し、HyperFramesプロジェクトを作成し、ユーザーが提供したメディアを記録する。

音楽が背骨です — 他の何よりも先に1つのトラックを確立します。このスキルは高速で高エネルギーのBGMに調整されています。強力なビートグリッドがカットを駆動します(穏やかなトラックでも機能しますが、ビートではなくフレーズでペースを調整します)。ユーザーが音声(音楽ファイル、または音声を抽出する動画)を提供した場合はそれを使用します。提供されていない場合は生成します:ユーザーの説明(例:「ドライブ感のあるシンセウェーブ」、「トラップビート」、「アップビートなコーポレート」)からムードを選択し、/hyperframes-media(references/bgm.md — 認証済みの場合はHeyGen取得、それ以外の場合はローカルのLyria/MusicGen;ElevenLabsまたは別のジェネレーターでも可)を介してトラックを生成します。生成する前に、npx hyperframes auth status を実行し、その出力をそのまま中継します(言い換えたり書き換えたりしないでください) — BGMがHeyGenからかローカルのMusicGenからか、サインインしていない場合はその方法が表示されます。サインインしていない場合は、STOPしてユーザーが選択するのを待ちます — サインインするか、ローカルのMusicGenでオフラインで続行するか — トラックを生成する前に、キーをリポジトリごとの .env に書き込まないでください。(自律モードでは、ステータスを記録してオフラインで続行します。)詳細は /hyperframes-media → Preflight を参照してください。いずれの場合も、トラックは assets/bgm.mp3 に配置されます。ユーザーが提供した画像や動画をステージングして、フレームがビートグリッド上でそれらを織り込めるようにします。それ以外の場合は、タイポグラフィが動画全体を支えます。

hyperframes.json がない場合のみ初期化します。<project> は、ブリーフからケバブケースで名前を付けます(例:midnight-drive-loop) — タイムスタンプは使用しないでください。init はインストールされているスキルをGitHub上の最新版と照合し、古いものがあればグローバルセットを更新します。

npx hyperframes init "videos/<project>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3"   # 必要に応じて動画から先に抽出
# ユーザーが画像/動画を提供した場合のみ:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public

ブランド(フォント+パレット)はステップ3で選択します。ここでは選択しません。事前にジャンルやトラックタイプを選択しないでください。アセットは単なるオプションの材料であり、ジャンルはフレームごとの選択から生まれます。

ゲート: hyperframes.json + assets/bgm.mp3 が存在する。アスペクト比/長さ/fps、および(存在する場合)アセットインベントリが記録されている。


ステップ1: 音楽の解析

目標: 動画全体の基礎となる、唯一の信頼できるタイミング解析を生成する。

analyze-beatgrid.py が唯一のビートアナライザーです — 他のツールや耳でビートを再測定しないでください。トラックを一度読み取り、audiomap.json を書き出します:エネルギーフェーズ(レベル/密度/感触)、オンセット + onset_rate、ロール、無音、hard_stops、key_moments、フレーズ、テンポ/グリッド、audio.duration_sec。決定論的です — 同じファイルは常に同じマップを生成します。ほとんどのフィールドはどの音楽でも信頼できます。bpm と beats_sec は音楽が真にリズミカルな場合にのみ信頼でき、その判断はステップ2で行います。

前提条件: Python 3 と librosa、numpy、soundfile が利用可能であること。インポートに失敗した場合は、アナライザーを実行する前にアクティブなPython環境にインストールします:

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

ゲート: audiomap.json が存在する。audio.duration_sec がわかっている。


ステップ2: フレームスケルトン(構造のみ)

目標: 音楽を読み取り、フレームをレイアウトする — STORYBOARD.md のスケルトン。

references/frame-skeleton.md を読んでください。audiomap.json を自分で STORYBOARD.md のスケルトンに変換します — 中間JSONはありません。実際の音楽の変化(hard_stops、SURGE/DROP key_moments、ロールの端、オンセットのない部分、大きなエネルギージャンプ)でトラックをフレームに分割し、すべての境界をオーディオマップのアンカーにスナップします。各フレームに span_sec、pacing(ステップ1の信頼判断の結果 — グリッドが本物の場合は beat_cut、穏やかな音楽に課されたメトロノームの場合は phrase_flow)、mood、1行の feel(ステップ3でテンプレートを照合するためのプレーンな音楽状況)を設定します。ここでは分類とレイアウトのみ行います。すべてのフレームの ### Groups は TBD (Step 3) のまま、フロントマターの style は空白のままにします — テンプレート、コピー、色、フォントはありません。約1~6フレームを想定します。

ゲート: フレームがトラックをタイル状に敷き詰めている(最初は0、最後は duration_s)。各フレームに span_sec + pacing + mood + feel が設定されている。すべての ### Groups が TBD。コンテンツはどこにもない。


ステップ3: 計画を埋める(ユーザーゲート)

目標: スケルトンを承認済みの完全な STORYBOARD.md に変換する。

references/planning.md、storyboard-format.md、template-catalog.md、motion-primitive-catalog.md、および(ユーザーがアセットを提供した場合のみ)montage.md を読んでください。同じファイルをその場で編集して、2つのことを行います:

  1. ブランドを選択する。 ../hyperframes-creative/frame-presets/ から、../hyperframes-creative/references/design-spec.md のテーブルを使用して1つのプリセットを選択します(トラックのムードに合わせます。フォントと色のみが重要 — テンプレートがコンポジションを所有します)。frame.md に変更せずにコピーし、それからフロントマターの style(フォント + 最大4~6色のスウォッチパレット)を埋めます。
  2. すべてのフレームを埋める。 グループを決定し、各グループに処理(カタログから一致するテンプレート(バインドされたパラメータと実際のオーディオマップアンカー付き)、プリミティブカタログからの自由構成、または pacing に従うアセット処理)を割り当てます。コピーを書きます。あなたは「何を」(テンプレート/プリミティブ + コンテンツ + アンカー)を所有します。frame-worker は「どのように」を所有します — ストーリーボードにミリ秒単位のトゥイーンを決して書き込まないでください。
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

すべての ✗(ハードエラー:期間の不一致、フレームがトラックをタイル敷きしていない、src の欠落)を修正します。警告はベストエフォートです。その後、ユーザーにフレームごとの概要を表示し、承認が得られるまで繰り返します。

ゲート: frame.md がプリセットの逐語的なコピーである。validate-plan.mjs が終了コード0で終了する。ユーザーが計画を承認した。


ステップ4: 計画からフレームを構築する

目標: すべてのフレームを自己完結型のコンポジションファイルとして構築する。

compositions/frames/ を作成します。sub-agents/frame-worker.md と ../hyperframes-core/references/subagent-dispatch.md を読んでください。フレームごとに1つのframe-workerを、可能な限り並列で(それ以外の場合は波状に)起動します。各ワーカーは正確に1つのフレームと次のコンテキストを受け取ります:

PROJECT_DIR: <絶対パス>
frame_id: <NN-frame_id>              # = フレームファイルのステム、例:02-f2;コンポジションID
あなたのブロック: PROJECT_DIR/STORYBOARD.md 内の `## Frame N — <frame_id>` ブロック
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
素材: 各グループについて、<SKILL_DIR>/references/templates/<id>/index.html(テンプレート)と
           <SKILL_DIR>/references/motion-primitives/<id>/(自由構成);ステージングされた assets/(アセットグループ)
契約: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
キャンバス: <w>×<h>   ペーシング: <beat_cut|phrase_flow>
書き込み先: PROJECT_DIR/compositions/frames/<frame_id>.html

ワーカーは引用された素材をフォークし、すべてのアンカーをフレームローカル秒に変換し(local_t = track_t − span_sec[0])、グループを0msカットでゲートし、1つのシークセーフなフレームファイルを書き込みます。ワーカーは hyperframes CLI を決して実行しません — これらのコマンドはアセンブルされたプロジェクトに対して動作し、まだ存在しないため、誤ったファイルについて報告することになります。ワーカーは契約に従って書き込むだけで停止します。アセンブル後に確認します(ステップ6)。各ワーカーが戻ってきたら、ファイルがディスクに保存されたことを確認できます。

ゲート: すべてのフレームの compositions/frames/NN-*.html がディスクに存在する。


ステップ5: アセンブル

目標: 構築されたフレーム + BGM を再生可能な index.html に配線する。

assemble-index.mjs は決定論的です — サブエージェントも判断もありません。各フレームファイルを累積 data-start で参照し、assets/bgm.mp3 をトラック11にマウントし、フレームからフレームへハードカットします(フレームはギャップなくトラックをタイル敷きするため、トランジションインジェクターはありません)。

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

報告された ✗ を修正します — フレームファイルが欠落または空白の場合、そのワーカーが部分的なファイルを書き込んだことを意味します。それを再起動し(ステップ4)、再アセンブルします。

ゲート: index.html が存在する。総再生時間 == audiomap.audio.duration_sec。


ステップ6: 検証とレンダー

目標: アセンブルされた動画を検証し、ユーザーの承認を得て、最終的なMP4をレンダリングする。

アセンブルされたプロジェクトでCLIを実行します — それが正しい単位です(フレームごとのワーカーは実行できませんでした)。lint は構造をチェックし、validate はヘッドレスChromeを実行し(JSエラーと欠落アセットをキャッチ)、inspect はフレームのスナップショットを撮影します。

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

t=0、各フレームの開始、最も強いDROP/SURGE、すべての hard_stops[].t、および最終フレームで検査します。失敗した場合は、最も安価で安全な修正を自分で行います:問題のある compositions/frames/NN-*.html を編集します。同期の問題を隠すために期間やオーディオタイミングを決して変更しないでください。ゲートが通過したら、ユーザーレビューのために一時停止し、承認後にのみレンダリングします:

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

ゲート: lint / validate / inspect が合格。ユーザーが承認した。renders/video.mp4 が音声付きで存在し、再生時間 == audiomap.audio.duration_sec。最終的な返信はMP4パスと再生時間を示します。


再開テーブル

現在の状態続きから
assets/bgm.mp3 のみステップ1
audiomap.jsonステップ2
STORYBOARD.md(スケルトン)ステップ3
STORYBOARD.md(完全)ステップ4
すべてのフレームファイルステップ5
index.htmlステップ6

クイックリファレンス

フォーマット: デフォルトはランドスケープ 1920x1080。ポートレート 1080x1920。スクエア 1080x1080。ストーリーボードのフロントマターでキャンバスを一度設定します(canvas: { w, h, fps })。

スクリプトは scripts/ の下にあります:analyze-beatgrid.py(唯一のアナライザー)、validate-plan.mjs(計画チェック)、assemble-index.mjs(インデックスアセンブリ)、stage-assets.mjs(ユーザーメディアのステージング)、lib/storyboard.mjs(ベンダリングされたパーサー)。その他はすべて hyperframes CLI です。

参照タイミング
references/frame-skeleton.mdステップ2:音楽を読み、フレームをレイアウトし、ペーシングを設定
references/planning.md · storyboard-format.mdステップ3:ブランドを選び、各フレームを埋め、計画を書く
references/template-catalog.mdステップ3:グループごとにテンプレートを選ぶ
references/motion-primitive-catalog.mdステップ3:グループの自由構成のためのプリミティブを選ぶ
references/montage.mdステップ3:ユーザーがアセットを提供した場合のみ
sub-agents/frame-worker.mdステップ4

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Aseel1600/Edit01

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

Aseel1600/Edit01

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Aseel1600/Edit01

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Aseel1600/Edit01

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Aseel1600/Edit01

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Aseel1600/Edit01

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Aseel1600/Edit01

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Aseel1600/Edit01

Generate expressive, multilingual narration with fish.audio (S1 / S2-generation models) and reuse cloned voices via reference_id. Use when the user prefers fish.audio/Fish Audio TTS, wants a specific playground voice model, or needs high-emotion voice-clone narration.

Aseel1600/Edit01

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Aseel1600/Edit01

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Aseel1600/Edit01

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Aseel1600/Edit01

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Aseel1600/Edit01

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Aseel1600/Edit01

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

Aseel1600/Edit01

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Aseel1600/Edit01

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Aseel1600/Edit01

Best practices for Remotion - Video creation in React

Aseel1600/Edit01

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Aseel1600/Edit01

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Aseel1600/Edit01

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

関連スキル