Communitygithub.com

音楽トラックをビート同期ビデオに変換 (HyperFrames)

音楽トラックをビート同期のHyperFramesビデオ(歌詞、スライドショー、キネティックプロモ)に変換します。オーディオファイル、動画から抽出した音声、またはムード指定からの生成音楽に対応。音楽がペーシングを決定し、ビートマップ抽出、セクションごとのシーン計画、音声反応型ビジュアルを学びます。

音楽トラックをビート同期ビデオに変換 (HyperFrames) とは?

このスキルは、ユーザーが提供する音楽トラックから、ビート同期されたHyperFramesビデオを生成します。入力として、直接オーディオファイル、動画からの音声抽出、または「アップビートなローファイで製品ローンチ用」のようなムード説明を受け付けます。まず`ffprobe`や`ffmpeg`で音声を解析・抽出し、曲のイントロ、バース、コーラスなどのセクションを特定するビートマップを作成します。次に、各セクションに応じたビジュアル処理(例:コーラスでは最高のエネルギー、バースでは安定した表示)をCSSキーフレームやGSAPでレイアウトします。最後に`npx hyperframes render`でMP4をレンダリングし、結果が音声の長さと一致し、ビートと同期していることを確認します。このスキルは、Claude Code、Cursor、CodexなどのAIエージェントプラットフォームで動作し、歌詞ビデオ、スライドショー、キネティックプロモーションの作成に特に有効です。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/oyi77/1ai-skills/tree/HEAD/content/hyperframes-music-to-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

概要

このスキルは、HyperFramesコンポジションを使用して、オーディオファイルから波形やビート同期要素をビジュアル化した動画を生成します。手動編集なしでトラックに付随するビジュアルが必要な場合に使用します。最終的なMP4をコンポジションからレンダリングします。

HyperFrames — 音楽を動画に

音楽トラック → ビート同期の動画。歌詞、スライドショー、またはキネティックプロモーション。音楽がペーシングを決定します。

使用するタイミング

  • ユーザーがオーディオファイルを提供し、その動画を希望する場合
  • ユーザーが動画を提供し、そこから音声を抽出したい場合(音楽抽出)
  • ユーザーがムード説明を提供する場合(「製品ローンチ用のアップビートなローファイ」など)
  • ユーザーが歌詞ビデオを希望する場合(歌詞をボーカルに同期)
  • ユーザーがビート同期スライドショーを希望する場合(ビートに合わせて画像が切り替わる)
  • ユーザーがキネティックプロモーションを希望する場合(トラックに合わせてタイポグラフィがパルスする)

使用してはいけないタイミング

  • ユーザーがURLからの製品ローンチを希望する場合(hyperframes-product-launch-videoを使用)
  • ユーザーがトーキングヘッド動画を希望する場合(hyperframes-talking-head-recutを使用)
  • ユーザーがナレーション/ボイスオーバーを希望する場合(hyperframes-faceless-explainerを使用)
  • 音楽が関与しない場合(hyperframes-motion-graphicsを使用)

ワークフロー

1 · 音声を解決する

3つの入力パス:

  • オーディオファイルが提供された場合: ffprobeで持続時間、BPM(推定または検出)をプローブ
  • 動画が提供された場合: ffmpeg -i input.mp4 -vn -acodec libmp3lame audio.mp3で抽出
  • ムード説明: TTS/音楽モデルで生成、またはカタログBGMから選択

2 · ビート構造をマッピングする

セクションを聴く(または分析する):

  • イントロ(0-8秒)→ タイトル/導入
  • バース → コンテンツ/スライドショー
  • コーラス/ドロップ → クライマックス/キネティックピーク
  • アウトロ → CTA/フェード

ビートマップを書く:[{ time: 0, section: "intro" }, { time: 8, section: "verse" }, ...]

3 · シーンをセクションに計画する

各音楽セクションにビジュアル処理を割り当てる:

  • イントロ: ゆっくりフェードイン、最小限の動き
  • バース: 安定した表示、2〜4ビートごとに1要素
  • コーラス: 最大のエネルギー — スケールバースト、色の変化、高速カット
  • ブリッジ: ビジュアルブレイク — 静止ホールドまたはスローパン
  • アウトロ: エンドカードに解決

4 · コンポジションを構築する

すべてのアニメーション開始時間をビートマップに固定する。CSSキーフレームまたはGSAPを、セクション境界に一致する絶対時間で使用。

<div id="main" data-composition-id="music-video"
     data-start="0" data-duration="60" data-width="1080" data-height="1920" data-fps="30">
  <div class="clip chorus-hit" data-start="32" data-duration="8" data-track-index="1">
    <h1 class="lyric-line">CHORUS LYRIC HERE</h1>
  </div>
  <audio data-start="0" data-duration="60" src="./track.mp3"></audio>
</div>

5 · レンダリング

npx hyperframes render --output music-video.mp4

同期を確認:セクション境界でフレームをサンプリングし、ビジュアルの変更がビートに乗ることを確認する(±2フレームの許容範囲)。

アンチ・合理化テーブル

合理化現実
「目測でタイミングを合わせる」最初にビートマップ — すべてのシーンをセクション時間に固定
「全体で同じエネルギーを使う」コーラスはバースよりも強く — ダイナミクスが重要
「オーディオプローブをスキップする」持続時間/BPMの不一致でレンダリング全体が破綻する
「壁時計でアニメーションする」すべてのアニメーションはシーク可能 — コンポジション内の絶対時間を使用

検証

  • 音声が解決されている(ファイル、抽出、または生成)
  • セクション境界を含むビートマップが書かれている
  • 各セクションに明確なビジュアル処理がある
  • アニメーション時間がビートマップと一致している(±2フレーム)
  • 出力の持続時間が音声の持続時間と一致している
  • コーラス/クライマックスがバースと視覚的に区別できる

Individual skills in this repo

This repo contains 12 individual skills — each has its own dedicated page.

oyi77/1ai-skills

Turn a weekly changelog .md into a finished branded changelog video using HyperFrames. Use when the user provides a changelog/digest markdown and wants the weekly video, or says 'changelog video'. Self-contained — fonts, background, lexicon, and scripts ship in the skill. Produces square 1080, ~45-60s videos with animated brand mock-UIs.

oyi77/1ai-skills

The transition technique catalog for HyperFrames videos — five velocity-matched SEAMS (zoom-through, inverse zoom-through, cut-the-curve, waterfall cut, rack-focus blur-cut) plus in-scene techniques (waterfall entry, nudge curve). Covers partial-travel velocity matching, Z scale-sign rule, size-scaled blur, the 10/65/25 slide ratio, and the 2-3 transition budget. Read before authoring any transition, text-beat handoff, or kinetic text entry.

oyi77/1ai-skills

Add captions/subtitles to talking-head or launch videos using HyperFrames. Use when the user wants embedded captions, verbatim caption rails, or cinematic text behind the subject. Covers the drop/rail/embed caption model, the overlay law (captions are NOT a reserved band), matte occlusion for embedded climaxes, and word-timestamp alignment from TTS output.

oyi77/1ai-skills

Turn arbitrary text — an article, notes, a topic, a brief — into a faceless explainer video using HyperFrames. Use when the user wants a topic explainer, concept breakdown, how-to, or listicle with no product/website to capture. Every visual is invented per scene (typography, abstract graphics, diagrams, data-viz). Not a video built from a website (use hyperframes-product-launch-video).

oyi77/1ai-skills

The fallback HyperFrames workflow for anything that doesn't fit other skills — longer multi-scene pieces, brand/sizzle reels, title cards, static loops, freeform compositions. Input- and length-agnostic. Also the home of companion mode (co-create with the full toolbox). Use when no other HyperFrames skill matches, or when the user wants a freeform video.

oyi77/1ai-skills

Create short, unnarrated, design-led motion graphics (~under 10s) using HyperFrames. Use when the user wants kinetic type, stat/chart hits, logo stings, lower-thirds, animated tweets/headlines, or transparent overlay motion graphics. MP4 or transparent overlay output. Teaches seek-safe keyframe authoring and the 2-3 transition budget rule.

oyi77/1ai-skills

Create product launch videos from a URL, brief, or script using HyperFrames (HTML→MP4). Use when the user wants a product launch video, site tour, social clip featuring a product's own visuals, or marketing/promoting a product. Up to ~3 min (sweet spot 30-90s). Teaches the HyperFrames production loop: plan → write HTML → wire seekable animations → add media → lint → preview → render.

oyi77/1ai-skills

The Video Production Manager — manages ALL video production under 1ai-content. Delegates to HyperFrames, Remotion, AI video, and FFmpeg based on the task. Has memory via 1ai-hub brain, follows 1ai-rules, and reports to Content Director. Use when the user says 'make a video', 'create video', 'edit video', 'video strategy', or needs any video production work.

oyi77/1ai-skills

Agent skill at content/video/gen/SKILL.md

oyi77/1ai-skills

Use when track portfolio company KPIs, variances, returns analysis. Use when user says "monitor portfolio", "track KPIs", "portfolio returns".

oyi77/1ai-skills

Use when go-to-market planning — launch sequencing, channel strategy, audience building, PR outreach. Use when planning product launches, building launch checklists, or coordinating multi-channel campaigns.

oyi77/1ai-skills

Use when portfolio manager — capital allocation, risk management, and performance metrics tracking for trading strategies.

関連スキル