Communitygithub.com

9018/mychat

ユーザーが楽曲(音声ファイルまたは動画から抽出した音声)を入力として、ビートに同期したHyperFrames動画を生成します。落ち着いた曲から激しい曲まで対応し、タイポグラフィとテンプレートだけで動画を完成させることができます。

mychat とは?

このスキルは、1つの楽曲を解析し、そのビートやエネルギー変化に同期したHyperFrames動画を生成するエージェントワークフローです。ユーザーが指定した楽曲(または動画から抽出した音声)を唯一の解析対象とし、オーケストレーターがフレーム構成を計画、各フレームを個別のサブエージェントが構築します。タイポグラフィとテンプレートが基本となり、ユーザーから画像や動画が提供された場合は、それらも同じビートグリッド上でカットインされます(ビートカット/ケンバーンズ効果)。このスキルはClaude Code、Cursor、CodexなどのAIエージェント向けに設計されており、リリックビデオ、スライドショー、キネティックプロモなど、ジャンルはフレームごとの選択から自然に決まります。ワークフローは6つのステップで構成され、各ステップでゲート(承認チェック)を通過する必要があります。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/9018/mychat/tree/HEAD/OpenMontage/.agents/skills/music-to-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

music-to-video — 1つの楽曲に基づいた、ビート同期の動画ワークフロー

このスキルは、楽曲をビート同期のHyperFrames動画に変換します。トラックを1回解析し、フレームをレイアウトし、フレームごとの計画を記入し、各フレームをコンポジションとして構築します。入力は楽曲と、オプションのユーザー画像または動画です — ナレーションやWebサイトキャプチャはありません。タイポグラフィとテンプレートが基本です(完全な動画にアセットは不要)。ユーザーが提供したメディアは、同じビートグリッド上でカットインされます。

あなたはオーケストレーターです。videos/<project>/ で作業します。ステップを順に実行し、次に進む前に各ゲートを通過してください。2つのステップでユーザーの操作が必要です:ステップ3(計画承認)とステップ6(レンダリング承認)。ステップ4(フレームごとに1つのサブエージェントを起動)を除き、すべてのステップを自分で行います。デザインとモーションのルールはこのファイルには記述せず、references/ と frame-worker サブエージェントに配置します。

SKILL_DIR = このスキルディレクトリ。PROJECT_DIR = videos/<project-name>/。

ワークフロー:ステップ0 セットアップ → hyperframes.json + assets/bgm.mp3;ステップ1 解析 → audiomap.json;ステップ2 スケルトン → STORYBOARD.md(フレーム、グループは TBD);ステップ3 計画 → 完全な STORYBOARD.md + frame.md;ステップ4 ビルド → compositions/frames/NN-*.html;ステップ5 アセンブル → index.html;ステップ6 レンダリング → renders/video.mp4。

すべてを形作る2つの考え方

  • 1つのアナライザー、そしてそれを信頼すること。 analyze-beatgrid.py が唯一のビートアナライザーです — 他のツールや耳でビートを再測定しないでください。そのエネルギー/密度/ロール/オンセット/無音は常に信頼できます。その bpm と beats_sec は、音楽が本当にリズミカルな場合にのみ信頼できます。穏やかな音楽では、グリッドはトラッカーが課したメトロノームであるため、代わりにフレーズとエネルギーでペースを調整し、それにハードカットしないでください。どちらのケースに該当するかを判断するのは、各フレームの pacing(ステップ2)です。
  • 1フレーム = 1ファイル;グループは内部に存在する。 ステップ2でトラックをフレームに分割し、各フレームは1つのコンポジションファイル compositions/frames/NN-<frame_id>.html になり、1つの frame-worker によって構築されます。フレームはグループ(テンプレートまたはモーションプリミティブの組み合わせ)に細分化できます。追加の密度はグループの内部に配置されるため、フレーム数はビートではなく、異なる処理を追跡します — 速いトラックでもサブエージェントの数が爆発的に増えることはありません。

ステップ0:セットアップ、BGM、および入力

目標:音楽ソースを確立し、HyperFramesプロジェクトを作成し、ユーザーから提供されたメディアを記録します。

音楽が背骨です — 他のすべての前に1つのトラックを確立します。このスキルは速くてエネルギッシュなBGMに最適化されています。強いビートグリッドがカットを駆動します(穏やかなトラックでも機能しますが、ビートではなくフレーズでペースを調整します)。ユーザーが音声 — 音楽ファイル、または音声を抽出する動画 — を提供した場合は、それを使用します。そうでない場合は、生成します:ユーザーの説明からムードを選択し(例:「ドライブするシンセウェーブ」、「トラップビート」、「アップビートなコーポレート」)、/hyperframes-media を介してトラックを生成します(references/bgm.md — 認証情報があればHeyGen取得、そうでなければローカルのLyria / MusicGen;ElevenLabsや他のジェネレーターも機能します)。生成する前に、npx hyperframes auth status を実行し、その出力をそのまま中継します(言い換えたり書き換えたりしないでください) — BGMがHeyGenから来るかローカルのMusicGenから来るか、サインインしていない場合はサインイン方法が表示されます。サインインしていない場合は、STOPしてユーザーが選択するのを待ちます — サインインするか、ローカルのMusicGenでオフラインで続行するか — トラックを生成する前に;リポジトリごとの .env にキーを書き込まないでください。(自律モードでは、ステータスを記録し、オフラインで続行します。)正式なガイダンスについては /hyperframes-media → Preflightを参照してください。どちらの場合でも、トラックは assets/bgm.mp3 に配置されます。ユーザーから提供された画像や動画をステージングし、フレームがビートグリッド上でそれらを織り込めるようにします。そうでなければ、タイポグラフィが動画全体を担当します。

hyperframes.json が欠落している場合にのみ初期化します。<project> には、ブリーフからケバブケースで名前を付けます(例:midnight-drive-loop) — タイムスタンプは使用しないでください。init は、インストールされているスキルをGitHub上の最新バージョンと照合し、古いものがあればグローバルセットを更新します。

npx hyperframes init "videos/<project>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3"   # 必要に応じて最初に動画から抽出
# ユーザーが画像/動画を提供した場合のみ:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public

ブランド(フォント+パレット)はここではなくステップ3で選択します。事前にジャンルやトラックタイプを選択しないでください — アセットは単なるオプションの材料であり、ジャンルはフレームごとの選択から現れます。

ゲート: hyperframes.json + assets/bgm.mp3 が存在する;アスペクト比/長さ/fps、および(もしあれば)アセットインベントリが記録されている。


ステップ1:音楽を解析する

目標:動画全体の基盤となる、唯一の正規のタイミング解析を生成します。

analyze-beatgrid.py が唯一のビートアナライザーです — 他のツールや耳でビートを再測定しないでください。トラックを1回読み取り、audiomap.json を書き出します。エネルギー位相(レベル/密度/フィール)、オンセット + onset_rate、ロール、無音、hard_stops、key_moments、フレーズ、テンポ/グリッド、audio.duration_sec が含まれます。これは決定論的です — 同じファイルは常に同じマップを生成します。ほとんどのフィールドはあらゆる音楽で信頼できます。bpm と beats_sec は、音楽が本当にリズミカルな場合にのみ信頼でき、その判断はステップ2であなたが行います。

前提条件:librosa、numpy、soundfile が利用可能なPython 3。インポートに失敗した場合は、アナライザーを実行する前にアクティブなPython環境にそれらをインストールします:

python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

ゲート: audiomap.json が存在する;audio.duration_sec が既知である。


ステップ2:フレームスケルトン(構造のみ)

目標:音楽を読み取り、フレームをレイアウトする — STORYBOARD.md のスケルトン。

references/frame-skeleton.md を読んでください。audiomap.json を自分で STORYBOARD.md のスケルトンに変換します — 中間JSONはありません。トラックを実際の音楽的変化(hard_stops、SURGE / DROP key_moments、ロールのエッジ、オンセットのないストレッチ、大きなエネルギージャンプ)でフレームに分割し、すべての境界をオーディオマップのアンカーにスナップします。各フレームに対して、span_sec、pacing(ステップ1の信頼判断の結果 — グリッドが本物の場合は beat_cut、穏やかな音楽に課されたメトロノームの場合は phrase_flow)、mood、および1行の feel(ステップ3でテンプレートを照合するためのプレーンな音楽状況)を設定します。ここでは分類してレイアウトするだけです:すべてのフレームの ### Groups は TBD(ステップ3) のままにし、フロントマターの style は空白にします — テンプレート、コピー、色、フォントはなし。約1〜6フレームを想定しています。

ゲート: フレームがトラックをタイル状に覆っている(最初は0、最後はduration_s);各フレームが span_sec + pacing + mood + feel を持っている;すべての ### Groups が TBD である;コンテンツはどこにもない。


ステップ3:計画を記入する(ユーザーゲート)

目標:スケルトンを承認された完全な STORYBOARD.md に変換します。

references/planning.md、storyboard-format.md、template-catalog.md、motion-primitive-catalog.md、および montage.md(ユーザーがアセットを提供した場合のみ)を読んでください。同じファイルをその場で編集し、2つのことを行います:

  1. ブランドを選択する。 ../hyperframes-creative/frame-presets/ から1つのプリセットを、../hyperframes-creative/references/design-spec.md のテーブルを使用して選択します(トラックのムードに一致させる;フォントと色のみが重要 — コンポジションはテンプレートが担当します)。それを変更せずに frame.md にコピーし、フロントマターの style(フォント+≤4–6スウォッチパレット)をそれから埋めます。
  2. すべてのフレームを記入する。 そのグループを決定し、各グループに処理を施します:カタログから適合するテンプレート(バインドされたパラメータと実際のオーディオマップアンカーを使用)、プリミティブカタログからの自由構成、または pacing に従うアセット処理を選択します。コピーを書きます。あなたはWHAT(テンプレート/プリミティブ+コンテンツ+アンカー)を所有します;frame-workerはHOWを所有します — ストーリーボードにミリ秒単位のトゥイーンを決して書かないでください。
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates

すべての ✗(ハードエラー:期間の不一致、フレームがトラックをタイル状に覆っていない、src の欠落)を修正します;警告はベストエフォートです。次に、ユーザーにフレームごとの要約を表示し、承認されるまで繰り返します。

ゲート: frame.md はプリセットの逐語的なコピーである;validate-plan.mjs が終了コード0で終了する;ユーザーが計画を承認した。


ステップ4:計画からフレームを構築する

目標:すべてのフレームを自己完結型のコンポジションファイルとして構築します。

compositions/frames/ を作成します。sub-agents/frame-worker.md と ../hyperframes-core/references/subagent-dispatch.md を読んでください。フレームごとに1つの frame-worker を、可能な限り並行して(そうでなければウェーブで)起動します。各ワーカーは正確に1つのフレームと以下のコンテキストを受け取ります:

PROJECT_DIR: <絶対パス>
frame_id: <NN-frame_id>              # = フレームファイルのステム、例:02-f2;コンポジションID
あなたのブロック:PROJECT_DIR/STORYBOARD.md の `## Frame N — <frame_id>` ブロック
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
マテリアル:各グループについて、<SKILL_DIR>/references/templates/<id>/index.html(テンプレート)および
           <SKILL_DIR>/references/motion-primitives/<id>/(自由);ステージングされた assets/(アセットグループ)
契約:../hyperframes-core/references/sub-compositions.md + determinism-rules.md
キャンバス:<w>×<h>   ペーシング:<beat_cut|phrase_flow>
書き込み先:PROJECT_DIR/compositions/frames/<frame_id>.html

ワーカーは引用されたマテリアルをフォークし、すべてのアンカーをフレームローカル秒に変換し(local_t = track_t − span_sec[0])、グループを0msカットでゲートし、1つのシークセーフなフレームファイルを書き込みます。ワーカーは hyperframes CLI を決して実行しません — これらのコマンドはアセンブルされたプロジェクトで動作しますが、まだ存在しないため、間違ったファイルについて報告することになります。ワーカーは契約に従って書き込んで停止するだけです;アセンブリ後(ステップ6)に検証します。各ワーカーが戻ってきたら、そのファイルがディスクに書き込まれたことを確認できます。

ゲート: すべてのフレームの compositions/frames/NN-*.html がディスク上にある。


ステップ5:アセンブル

目標:構築されたフレーム + BGMを再生可能な index.html に配線します。

assemble-index.mjs は決定論的です — サブエージェントも判断もありません。各フレームファイルを累積 data-start で参照し、assets/bgm.mp3 をトラック11にマウントし、フレーム→フレームをハードカットします(フレームは隙間なくトラックをタイル状に覆うため、トランジションインジェクターはありません)。

node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
  --hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"

報告された ✗ を修正します — 欠落または空白のフレームファイルは、そのワーカーが部分的なファイルを書き込んだことを意味します;それを再ディスパッチし(ステップ4)、再アセンブルします。

ゲート: index.html が存在する;合計期間 == audiomap.audio.duration_sec。


ステップ6:検証してレンダリングする

目標:アセンブルされた動画を検証し、ユーザーの承認を得て、最終的なMP4をレンダリングします。

アセンブルされたプロジェクトでCLIを実行します — それが正しい単位です(フレームごとのワーカーは実行できませんでした)。lint は構造をチェックし、validate はヘッドレスChromeを実行し(JSエラーと不足アセットをキャッチ)、inspect はフレームのスナップショットを撮ります。

( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )

t=0、各フレーム開始、最強のDROP / SURGE、すべての hard_stops[].t、および最終フレームでインスペクトします。失敗した場合は、最も安価で安全な修正を自分で行います:問題のある compositions/frames/NN-*.html を編集します。同期の問題を隠すために期間やオーディオタイミングを変更しないでください。ゲートが合格したら、ユーザーレビューのために一時停止し、承認された場合のみレンダリングします:

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

ゲート: lint / validate / inspect が合格した;ユーザーが承認した;renders/video.mp4 がオーディオとともに存在し、期間 == audiomap.audio.duration_sec。最終的な返信はMP4のパスと期間を記載します。


再開テーブル

持っているもの再開するステップ
assets/bgm.mp3 のみステップ1
audiomap.jsonステップ2
STORYBOARD.md(スケルトン)ステップ3
STORYBOARD.md(完全)ステップ4
すべてのフレームファイルステップ5
index.htmlステップ6

クイックリファレンス

フォーマット: デフォルトはランドスケープ 1920x1080;ポートレート 1080x1920;スクエア 1080x1080。キャンバスはストーリーボードのフロントマターで1回設定します(canvas: { w, h, fps })。

スクリプト は scripts/ の下にあります:analyze-beatgrid.py(唯一のアナライザー)、validate-plan.mjs(計画チェック)、assemble-index.mjs(インデックスアセンブリ)、stage-assets.mjs(ユーザーメディアのステージング)、lib/storyboard.mjs(ベンダリングされたパーサー)。その他はすべて hyperframes CLIです。

読むいつ
references/frame-skeleton.mdステップ2:音楽を読み、フレームをレイアウトし、ペーシングを設定する
references/planning.md · storyboard-format.mdステップ3:ブランドを選択し、各フレームを記入し、計画を書く
references/template-catalog.mdステップ3:グループごとにテンプレートを選択する
references/motion-primitive-catalog.mdステップ3:必要な場合、自由構成用のモーションプリミティブを選択する
references/montage.mdステップ3:ユーザーアセット(画像/動画)をビートグリッドにカットインする
sub-agents/frame-worker.mdステップ4:フレームごとに1つのサブエージェントを起動する
../hyperframes-core/references/subagent-dispatch.mdステップ4:サブエージェントの起動方法に関する契約
../hyperframes-core/references/sub-compositions.mdステップ4:サブコンポジション契約
../hyperframes-core/references/determinism-rules.mdステップ4:決定論的ビルドルール

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

9018/mychat

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

9018/mychat

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

9018/mychat

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

9018/mychat

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

9018/mychat

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

9018/mychat

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

9018/mychat

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

9018/mychat

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

9018/mychat

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

9018/mychat

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

9018/mychat

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

9018/mychat

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

9018/mychat

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

9018/mychat

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

9018/mychat

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

9018/mychat

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

9018/mychat

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

9018/mychat

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

9018/mychat

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

9018/mychat

Download video and audio from YouTube and 1000+ sites using yt-dlp. No API keys needed. Use when: (1) Downloading a video from YouTube or other sites, (2) Extracting audio from a video URL, (3) Downloading subtitles/captions from a video, (4) Getting video metadata without downloading.

関連スキル