概述
此技能可生成將音訊視覺化的影片——波形或節拍同步元素——使用 HyperFrames 組合從音樂檔案產生。當曲目需要配套視覺效果而無需手動編輯時使用。它從組合中渲染最終的 MP4。
HyperFrames — 音樂轉影片
音樂曲目 → 節拍同步的影片。歌詞、幻燈片或動態促銷。音樂驅動節奏。
使用時機
- 使用者提供 音訊檔案 並希望為其製作影片
- 使用者提供 要從中提取音訊的影片(音樂提取)
- 使用者提供 情緒簡報(「用於產品發布的 upbeat lofi」)
- 使用者想要 歌詞影片(文字與人聲同步)
- 使用者想要 節拍同步幻燈片(影像在節拍上切換)
- 使用者想要 動態促銷(排版隨音樂脈動)
不應使用時機
- 使用者想要從 URL 進行產品發布(使用
hyperframes-product-launch-video) - 使用者想要談話頭影片(使用
hyperframes-talking-head-recut) - 使用者想要旁白/語音旁白(使用
hyperframes-faceless-explainer) - 不涉及音樂(使用
hyperframes-motion-graphics)
工作流程
1 · 解析音訊
三種輸入方式:
- 提供音訊檔案: 使用
ffprobe探查持續時間、BPM(估計或檢測) - 提供影片: 使用
ffmpeg -i input.mp4 -vn -acodec libmp3lame audio.mp3提取 - 情緒簡報: 透過 TTS/音樂模型生成,或從目錄 BGM 中選取
2 · 繪製節拍結構
聆聽(或分析)各個段落:
- 前奏(0-8秒)→ 標題/建立
- 主歌 → 內容/幻燈片
- 副歌/高潮 → 高潮/動態巔峰
- 結尾 → 行動呼籲/淡出
撰寫節拍圖:[{ time: 0, section: "intro" }, { time: 8, section: "verse" }, ...]
3 · 為段落規劃場景
每個音樂段落獲得一套視覺處理:
- 前奏: 緩慢淡入,最小動態
- 主歌: 平穩揭示,每 2-4 拍一個元素
- 副歌: 最大能量——縮放爆發、顏色變化、快速切換
- 橋段: 視覺喘息——靜止保持或慢速平移
- 結尾: 解析至結束卡
4 · 建立組合
將每個動畫起始時間錨定到節拍圖。使用 CSS keyframes 或 GSAP,時間為與段落邊界匹配的絕對時間。
<div id="main" data-composition-id="music-video"
data-start="0" data-duration="60" data-width="1080" data-height="1920" data-fps="30">
<div class="clip chorus-hit" data-start="32" data-duration="8" data-track-index="1">
<h1 class="lyric-line">副歌歌詞於此</h1>
</div>
<audio data-start="0" data-duration="60" src="./track.mp3"></audio>
</div>
5 · 渲染
npx hyperframes render --output music-video.mp4
驗證同步:在段落邊界抽樣畫面,確認視覺變化落在節拍上(±2 畫面容差)。
反合理化表
| 合理化 | 現實 |
|---|---|
| 「我將憑感覺定時」 | 先建立節拍圖——每個場景錨定到段落時間 |
| 「我將全程使用相同能量」 | 副歌比主歌更強烈——動態很重要 |
| 「我將跳過音訊探查」 | 持續時間/BPM 不匹配會破壞整個渲染 |
| 「我將根據牆上時鐘做動畫」 | 所有動畫可搜尋——組合中使用絕對時間 |
驗證
- 音訊已解析(檔案、提取或生成)
- 已撰寫帶有段落邊界的節拍圖
- 每個段落有獨特的視覺處理
- 動畫時間與節拍圖匹配(±2 畫面)
- 輸出持續時間與音訊持續時間匹配
- 副歌/高潮在視覺上與主歌有區別