歌词视频生成器技能
用户提供的输入: 一个音频文件、一张封面图片和可选歌词文本。
你交付的成果: 一个完整的 .mp4 文件。用户无需提供 SRT 文件——auto_srt.py 会自动从音频中生成。
执行步骤
pip install pillow imageio-ffmpeg vosk # ffmpeg 随 imageio-ffmpeg 一起安装
python scripts/make_video.py \
--audio song.mp3 --cover cover.png --lyrics lyrics.txt \
--title "歌曲名称" --artist "艺术家名称" \
--style spotify --out lyric_video.mp4
这一条命令即可完成:语音识别 → 将用户提供的歌词与识别结果对齐 → 生成 SRT → 分块渲染视频 → 拼接 → 输出 lyric_video.mp4。
--style spotify(默认)— 模糊封面背景、专辑卡片、进度条、平滑滚动的歌词。--style cinematic— 全屏背景(可指定--bg plate.png,否则自动生成一张)、2.35:1 宽银幕、Kalam 字体、逐词高亮。--start 9.6 --duration 20— 生成预告片段。- 无封面?根据标题自动生成。无歌词?使用语音识别文本。
输入项及缺失时的处理方法
| 输入项 | 说明 | 若缺失 |
|---|---|---|
| 音频 | mp3 / m4a / wav | 必填——请向用户索要 |
| 封面 | 方形,≥1000×1000 | 程序化生成;或使用 Figma 制作(generate_image,提示词见 PROMPTS.md) |
| 歌词文本 | 纯文本,每行一句歌词 | 使用语音识别文本,时间轴仍然自动生成 |
| 标题 / 艺术家 | 文本 | 从封面推断,或使用通用名称 |
| 语言 | --lang hi(默认)或 en | 根据歌词文本自动选择 |
拼写错误已被预期并处理:双方都会归一化(标点、nukta、大小写),单词匹配使用模糊比率,因此“कोलम्बस”与“कोलंबस”或“आईंस्टीन”与“आइंस्टाइन”仍能对齐。无法匹配的单词会通过相邻单词的时间插值处理。
处理流程(脚本功能)
auto_srt.py— 将音频解码为 16 kHz PCM,运行 Vosk(离线处理,首次会下载约 40–80 MB 的模型),可选择使用用户提供的歌词行作为语法约束,通过difflib和模糊匹配进行对齐,最终为每句歌词生成一条 SRT 字幕。spotify_lyrics.py/motivational_render.py— 使用 Pillow 渲染帧,将原始帧管道传给 ffmpeg。make_video.py— 分块渲染(默认每块 45 秒,内存保持低于 2 GB),使用ffmpeg -f concat -c copy拼接。
质量标准
- 连续运动,无跳跃:每帧均插值相机/滚动位移。
- 当前歌词行更大、更亮;相邻行按层级缩小并变暗。
- 自动缩小长行到安全宽度;绝不使文本超出帧边缘。
- 按文字系统使用正确字体:天城体文本需用天城体字体(已内置在
assets/fonts/中),拉丁文本需用拉丁字体。绝不在同一字符串中混用。 - 每帧一个动态效果:要么背景移动,要么文字移动,两者不同时进行。
交付前验证
ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg # 检查 2–3 个位置
检查:无剪辑的行、恰好一句当前行、无框/方框(字体问题)、进度时间正确、音画同步、边框/渐变一致。
常见陷阱
| 症状 | 原因 | 修复方法 |
|---|---|---|
| 显示方框而非文本 | 为文字系统使用了错误字体 | 使用 font_for(text, …);天城体字体位于 assets/fonts/ |
mkl_malloc: failed to allocate memory | 2 GB RAM + 大模型/音频 | 此处使用的 Vosk 避免此问题;若使用 whisper,请将音频分块为 8–10 秒 |
ffmpeg Cannot allocate memory | 内存中帧数过多 | --chunk 40,-threads 2,rc-lookahead=4 |
| 歌词随时间漂移 | 长的乐器间奏导致对齐失败 | 传入 --lyrics;每行文本对应一句歌词 |
| 背景跳动 | 预渲染的关键帧被替换而非混合 | 内置的渲染器会进行混合/插值 |