Communitygithub.com

歌词视频生成器

仅需一首歌、一张封面图和可选歌词文本,即可生成完整的歌词视频——无需 SRT 文件,通过离线语音识别和模糊对齐自动生成时间轴。提供两种风格:Spotify“正在播放”风格和电影励志风格(Kalam 印地语字体,单词高亮)。当用户需要制作歌词视频、卡拉 OK 视频、Spotify 风格的歌词编辑或励志歌词短片时使用。

歌词视频生成器 是什么?

此技能可从音频、封面图和可选歌词文本中自动生成完整的歌词视频,无需手动创建 SRT 字幕文件。整个流程完全离线,通过 Vosk 语音识别将音频转录为文字,再使用 difflib 和模糊匹配算法将转录结果与用户提供的歌词文本对齐,从而自动生成每条歌词行的时间轴。即使歌词中存在拼写错误(如“कोलम्बस”与“कोलंबस”等变体),对齐算法也能通过标准化和模糊匹配处理。该技能支持 Spotify 风格(模糊封面背景、专辑卡片、进度条、平滑滚动歌词)和电影励志风格(全屏背景、2.35:1 宽银幕、Kalam 字体、逐词高亮)两种视觉效果,适合短视频、音乐推广和社交媒体内容创作。用户只需提供音频文件,封面图片和歌词文本为可选,缺失时会自动生成或使用语音识别文本。制作过程采用分块渲染(每块 45 秒,内存消耗低于 2 GB),最终输出一个完整的 MP4 文件。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/CyberGaurav404/lyric-video-skill/tree/HEAD

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

歌词视频生成器技能

用户提供的输入: 一个音频文件、一张封面图片和可选歌词文本。 你交付的成果: 一个完整的 .mp4 文件。用户无需提供 SRT 文件——auto_srt.py 会自动从音频中生成。

执行步骤

pip install pillow imageio-ffmpeg vosk          # ffmpeg 随 imageio-ffmpeg 一起安装

python scripts/make_video.py \
    --audio song.mp3 --cover cover.png --lyrics lyrics.txt \
    --title "歌曲名称" --artist "艺术家名称" \
    --style spotify --out lyric_video.mp4

这一条命令即可完成:语音识别 → 将用户提供的歌词与识别结果对齐 → 生成 SRT → 分块渲染视频 → 拼接 → 输出 lyric_video.mp4。

  • --style spotify(默认)— 模糊封面背景、专辑卡片、进度条、平滑滚动的歌词。
  • --style cinematic — 全屏背景(可指定 --bg plate.png,否则自动生成一张)、2.35:1 宽银幕、Kalam 字体、逐词高亮。
  • --start 9.6 --duration 20 — 生成预告片段。
  • 无封面?根据标题自动生成。无歌词?使用语音识别文本。

输入项及缺失时的处理方法

输入项说明若缺失
音频mp3 / m4a / wav必填——请向用户索要
封面方形,≥1000×1000程序化生成;或使用 Figma 制作(generate_image,提示词见 PROMPTS.md)
歌词文本纯文本,每行一句歌词使用语音识别文本,时间轴仍然自动生成
标题 / 艺术家文本从封面推断,或使用通用名称
语言--lang hi(默认)或 en根据歌词文本自动选择

拼写错误已被预期并处理:双方都会归一化(标点、nukta、大小写),单词匹配使用模糊比率,因此“कोलम्बस”与“कोलंबस”或“आईंस्टीन”与“आइंस्टाइन”仍能对齐。无法匹配的单词会通过相邻单词的时间插值处理。

处理流程(脚本功能)

  1. auto_srt.py — 将音频解码为 16 kHz PCM,运行 Vosk(离线处理,首次会下载约 40–80 MB 的模型),可选择使用用户提供的歌词行作为语法约束,通过 difflib 和模糊匹配进行对齐,最终为每句歌词生成一条 SRT 字幕。
  2. spotify_lyrics.py / motivational_render.py — 使用 Pillow 渲染帧,将原始帧管道传给 ffmpeg。
  3. make_video.py — 分块渲染(默认每块 45 秒,内存保持低于 2 GB),使用 ffmpeg -f concat -c copy 拼接。

质量标准

  • 连续运动,无跳跃:每帧均插值相机/滚动位移。
  • 当前歌词行更大、更亮;相邻行按层级缩小并变暗。
  • 自动缩小长行到安全宽度;绝不使文本超出帧边缘。
  • 按文字系统使用正确字体:天城体文本需用天城体字体(已内置在 assets/fonts/ 中),拉丁文本需用拉丁字体。绝不在同一字符串中混用。
  • 每帧一个动态效果:要么背景移动,要么文字移动,两者不同时进行。

交付前验证

ffmpeg -ss 12 -i out.mp4 -frames:v 1 check.jpg   # 检查 2–3 个位置

检查:无剪辑的行、恰好一句当前行、无框/方框(字体问题)、进度时间正确、音画同步、边框/渐变一致。

常见陷阱

症状原因修复方法
显示方框而非文本为文字系统使用了错误字体使用 font_for(text, …);天城体字体位于 assets/fonts/
mkl_malloc: failed to allocate memory2 GB RAM + 大模型/音频此处使用的 Vosk 避免此问题;若使用 whisper,请将音频分块为 8–10 秒
ffmpeg Cannot allocate memory内存中帧数过多--chunk 40,-threads 2,rc-lookahead=4
歌词随时间漂移长的乐器间奏导致对齐失败传入 --lyrics;每行文本对应一句歌词
背景跳动预渲染的关键帧被替换而非混合内置的渲染器会进行混合/插值

相关技能