概要
このスキルは、HyperFramesコンポジションを使用して、オーディオファイルから波形やビート同期要素をビジュアル化した動画を生成します。手動編集なしでトラックに付随するビジュアルが必要な場合に使用します。最終的なMP4をコンポジションからレンダリングします。
HyperFrames — 音楽を動画に
音楽トラック → ビート同期の動画。歌詞、スライドショー、またはキネティックプロモーション。音楽がペーシングを決定します。
使用するタイミング
- ユーザーがオーディオファイルを提供し、その動画を希望する場合
- ユーザーが動画を提供し、そこから音声を抽出したい場合(音楽抽出)
- ユーザーがムード説明を提供する場合(「製品ローンチ用のアップビートなローファイ」など)
- ユーザーが歌詞ビデオを希望する場合(歌詞をボーカルに同期)
- ユーザーがビート同期スライドショーを希望する場合(ビートに合わせて画像が切り替わる)
- ユーザーがキネティックプロモーションを希望する場合(トラックに合わせてタイポグラフィがパルスする)
使用してはいけないタイミング
- ユーザーがURLからの製品ローンチを希望する場合(
hyperframes-product-launch-videoを使用) - ユーザーがトーキングヘッド動画を希望する場合(
hyperframes-talking-head-recutを使用) - ユーザーがナレーション/ボイスオーバーを希望する場合(
hyperframes-faceless-explainerを使用) - 音楽が関与しない場合(
hyperframes-motion-graphicsを使用)
ワークフロー
1 · 音声を解決する
3つの入力パス:
- オーディオファイルが提供された場合:
ffprobeで持続時間、BPM(推定または検出)をプローブ - 動画が提供された場合:
ffmpeg -i input.mp4 -vn -acodec libmp3lame audio.mp3で抽出 - ムード説明: TTS/音楽モデルで生成、またはカタログBGMから選択
2 · ビート構造をマッピングする
セクションを聴く(または分析する):
- イントロ(0-8秒)→ タイトル/導入
- バース → コンテンツ/スライドショー
- コーラス/ドロップ → クライマックス/キネティックピーク
- アウトロ → CTA/フェード
ビートマップを書く:[{ time: 0, section: "intro" }, { time: 8, section: "verse" }, ...]
3 · シーンをセクションに計画する
各音楽セクションにビジュアル処理を割り当てる:
- イントロ: ゆっくりフェードイン、最小限の動き
- バース: 安定した表示、2〜4ビートごとに1要素
- コーラス: 最大のエネルギー — スケールバースト、色の変化、高速カット
- ブリッジ: ビジュアルブレイク — 静止ホールドまたはスローパン
- アウトロ: エンドカードに解決
4 · コンポジションを構築する
すべてのアニメーション開始時間をビートマップに固定する。CSSキーフレームまたはGSAPを、セクション境界に一致する絶対時間で使用。
<div id="main" data-composition-id="music-video"
data-start="0" data-duration="60" data-width="1080" data-height="1920" data-fps="30">
<div class="clip chorus-hit" data-start="32" data-duration="8" data-track-index="1">
<h1 class="lyric-line">CHORUS LYRIC HERE</h1>
</div>
<audio data-start="0" data-duration="60" src="./track.mp3"></audio>
</div>
5 · レンダリング
npx hyperframes render --output music-video.mp4
同期を確認:セクション境界でフレームをサンプリングし、ビジュアルの変更がビートに乗ることを確認する(±2フレームの許容範囲)。
アンチ・合理化テーブル
| 合理化 | 現実 |
|---|---|
| 「目測でタイミングを合わせる」 | 最初にビートマップ — すべてのシーンをセクション時間に固定 |
| 「全体で同じエネルギーを使う」 | コーラスはバースよりも強く — ダイナミクスが重要 |
| 「オーディオプローブをスキップする」 | 持続時間/BPMの不一致でレンダリング全体が破綻する |
| 「壁時計でアニメーションする」 | すべてのアニメーションはシーク可能 — コンポジション内の絶対時間を使用 |
検証
- 音声が解決されている(ファイル、抽出、または生成)
- セクション境界を含むビートマップが書かれている
- 各セクションに明確なビジュアル処理がある
- アニメーション時間がビートマップと一致している(±2フレーム)
- 出力の持続時間が音声の持続時間と一致している
- コーラス/クライマックスがバースと視覚的に区別できる