概述
此技能使用 HyperFrames 合成引擎,从音乐文件生成一个将音频视觉化的视频——波形或节拍同步元素。当需要为曲目创建配套视觉内容而无需手动编辑时使用。它会从合成中渲染最终的 MP4。
HyperFrames — 音乐转视频
一个音乐曲目 → 一个节拍同步的视频。歌词、幻灯片或动态宣传片。音乐驱动节奏。
何时使用
- 用户提供一个 音频文件 并希望为其制作视频
- 用户提供一个 要从中提取音频的视频(音乐提取)
- 用户提供一个 情绪简介(“为产品发布准备的欢快低保真音乐”)
- 用户想要一个 歌词视频(歌词与声乐同步)
- 用户想要一个 节拍同步的幻灯片(图片随节拍切换)
- 用户想要一个 动态宣传片(字体随曲目脉动)
何时不使用
- 用户想要一个从 URL 生成的产品发布视频(使用
hyperframes-product-launch-video) - 用户想要一个人物口播视频(使用
hyperframes-talking-head-recut) - 用户想要配音/画外音(使用
hyperframes-faceless-explainer) - 不涉及音乐(使用
hyperframes-motion-graphics)
工作流
1 · 解析音频
三种输入路径:
- 提供了音频文件: 使用
ffprobe探测时长、BPM(估算或检测) - 提供了视频: 使用
ffmpeg -i input.mp4 -vn -acodec libmp3lame audio.mp3提取音频 - 情绪简介: 通过 TTS/音乐模型生成,或从目录 BGM 中选择
2 · 映射节拍结构
聆听(或分析)各乐段:
- 前奏(0-8s)→ 标题/建立氛围
- 主歌 → 内容/幻灯片
- 副歌/高潮 → 高潮/动态峰值
- 尾声 → 行动号召/淡出
编写节拍映射:[{ time: 0, section: "intro" }, { time: 8, section: "verse" }, ...]
3 · 为各乐段规划场景
每个乐段获得一种视觉处理方案:
- 前奏: 缓慢淡入,最小运动
- 主歌: 稳定揭示,每 2-4 拍一个元素
- 副歌: 最大能量——缩放爆发、颜色变化、快速切换
- 桥段: 视觉喘息——静态保持或慢速平移
- 尾声: 解析为结束卡
4 · 构建合成
将所有动画起始时间锚定到节拍映射。使用 CSS 关键帧或 GSAP,并设置与乐段边界匹配的绝对时间。
<div id="main" data-composition-id="music-video"
data-start="0" data-duration="60" data-width="1080" data-height="1920" data-fps="30">
<div class="clip chorus-hit" data-start="32" data-duration="8" data-track-index="1">
<h1 class="lyric-line">副歌歌词在此</h1>
</div>
<audio data-start="0" data-duration="60" src="./track.mp3"></audio>
</div>
5 · 渲染
npx hyperframes render --output music-video.mp4
验证同步:在乐段边界处采样帧,确认视觉变化落在节拍上(±2 帧容差)。
反合理化表
| 合理化 | 现实 |
|---|---|
| “我会目测时间” | 先编写节拍映射——每个场景都锚定到乐段时间 |
| “我会全程保持相同能量” | 副歌比主歌更有力——动态很重要 |
| “我会跳过音频探测” | 时长/BPM 不匹配会破坏整个渲染 |
| “我会按实时时钟进行动画” | 所有动画都支持跳转——合成中使用绝对时间 |
验证
- 音频已解析(文件、提取或生成)
- 节拍映射已编写,包含乐段边界
- 每个乐段都有独特的视觉处理方案
- 动画时间与节拍映射匹配(±2 帧)
- 输出时长与音频时长匹配
- 副歌/高潮在视觉上与主歌有明显区别