Communitygithub.com

动画歌词视频制作

根据提供的歌曲(音频文件和歌词),使用 Remotion 工具包制作竖屏动画歌词视频,适用于 YouTube Shorts、Instagram Reels 或 TikTok。

动画歌词视频制作 是什么?

该技能利用 Remotion 框架,将用户提供的歌曲音频和歌词转化为动态的竖屏动画歌词视频,适合在短视频平台发布。其核心是生成一段简短的、与歌词同步的绘画故事动画,并在动画下方逐行显示歌词,高亮当前演唱的单词。技能会引导用户完成从音频和歌词输入,到歌词转录、对齐、故事板创作、场景编码,直至最终渲染输出的完整流程。它包含一套预制的、风格统一的动画组件(如角色、场景、道具和时间控制函数),这些组件位于 `src/kit/` 目录下,旨在确保视频具有连贯的故事情节和一致的艺术风格,而非幻灯片式的静态画面。该技能明确要求用户拥有歌曲的使用权限,并且不会代替用户上传或发布任何内容。它支持多种语言,并能处理歌词与语音识别的差异,最终生成 1080x1920 分辨率、30fps 的 MP4 文件。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fransierra97/animated-lyric-video-kit/tree/main/.claude/skills/animated-lyric-video

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

动画歌词视频

视频内容为:一段歌曲片段、一个跟随歌词的简短绘画故事、以及在动画下方逐行显示的歌词(当前演唱单词高亮)。框架 shell(src/kit/LyricVideo.tsx)负责处理音频、标题、歌词、致谢、社交信息和淡入淡出效果。你的工作是确定片段、时间点和故事。请使用用户的母语回答。

0. 输入

仅获取缺失的信息,不多不少:

  • 音频文件和歌词文本。如果用户只提供一个歌名,要求提供文件。不要下载歌曲。
  • 艺术家、歌曲名称、致谢行(例如“词曲:…”)、可选的社交账号({network: 'instagram' | 'youtube', handle})。
  • 最大时长。如果未指定,默认为 60 秒。

只为用户拥有或有权使用的歌曲工作。永不上传或发布任何内容。

1. 创建歌曲

npm run new-song -- <kebab-id> --audio <file> --title "…" --artist "…" --credit "…"

此命令会创建 src/songs/<id>/ 目录(包含配置、歌词、场景),将音频复制到 public/,并注册合成 <id>。

2. 歌词、转写、对齐

  1. 编写 src/songs/<id>/lyrics.txt:每行一个屏幕行,按演唱顺序排列,重复的副歌也应再次写出。每行 2–7 个单词阅读效果最佳;较长的行应在自然停顿处分割。
  2. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>
  3. 选择片段并在 config.ts 中设置 start / end:
    • 保持在最大时长内;
    • 在保留的第一个演唱行前 2–3 秒开始(为封面场景留出空间);
    • 在一个完整的短语后结束,最好是副歌行,再加上约 1.5 秒的淡出时间(框架会在最后约 1.8 秒内淡出音频和画面);
    • 使用 transcription.json 的分段时间来寻找短语边界。
  4. python scripts/align.py src/songs/<id> 并阅读其报告:
    • "not heard: timing estimated":Whisper 跳过了该行;时间是猜测值。尝试更大的模型(--model mlx-community/whisper-large-v3-mlx 或 --model large-v3)或在 lyrics.ts 中手动修正。
    • "Dropped":不在所选片段内的行。如果用户粘贴了整首歌,这是预料之中的。
    • Whisper 的单词经常出错;以用户提供的歌词为准。切勿为了匹配 Whisper 而"纠正"用户的歌词。如果录音明显唱的是不同的词,请告知用户并询问应该显示哪个版本。

3. 在编码前编写故事

制作一个简短的情节点表:每个歌词行(或每对句)一个情节点,并附上 lyrics.ts 中的开始时间。然后将情节点转化为场景。

风格规则。这些规则是视频成功的关键;请遵守:

  • 暗示,而非逐字图解。 屏幕上不要出现重复歌词的文字或拟声词:不要有标志、标签、目的地、对话气泡、"汪汪"、"嘘"、"∞"。用动作、物体、光线、天气、色彩和反复出现的主题来讲述。如果一行歌词提到了某个事物(火车、狗、电话),思考它在故事中的含义并展现其含义,或者展示该事物但不要标出它的名字。
  • 一个故事,一套演员。 保持相同的角色和少数反复出现的场景与道具,使视频像一个连贯的故事,而非幻灯片。
  • 踩准关键词。 在重要单词开始的时间点触发弹出、冲击和变化(pop(t, word.start), sacudida(t, word.start))。
  • 永远在动。 任何一帧静止时间不应超过大约一秒钟。
  • 尊重布局。 在 1080x1920 画布上,绘制场景的范围是 y≈300 到 y≈1100。标题位于上方,歌词从 y≈1150 开始。
  • 场景应在它们所描绘的歌词行前约 0.3–0.5 秒切换;框架会进行 0.12 秒的交叉淡入淡出。
  • 第一个场景是封面(艺术家和歌曲名称,在人声开始前)。当第二个场景开始时,标题出现。

4. 编写场景代码

编辑 src/songs/<id>/scenes.tsx。一个场景是一个接收 t(歌曲时间,以秒为单位)的组件,并在 <Lienzo> 内部进行绘制:

const Meeting: Escena = ({t}) => {
  const k = u(t, 31.2, 33.0);            // 在歌曲的两个时间点之间,值从 0 变化到 1
  return (
    <Lienzo>
      <FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
      <Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
      <Corazon x={540} y={420} s={pop(t, 33.0)} />
    </Lienzo>
  );
};

export const SCENES = [
  {at: CONFIG.start, C: Cover},
  {at: 30.9, C: Meeting},
];

工具包参考(名称是西班牙语;README.md 中有术语表)。浏览 kit-gallery 组合中的所有部件。

  • 时间辅助函数(kit.tsx):u(t, a, b) 进度从 0→1;lerp,lerp2;缓动函数 eo(先快后慢),ei(先慢后快),eio(先慢后快再慢),back(过冲);pop(t, at) 弹性出现;sacudida(t, at) 阻尼抖动;rnd(i) 确定性随机数。永不使用 Math.random()。
  • 角色:<Persona tipo="el" | "ella" x y s mira pose enMano>。x, y 是脚部位置。mira 为 1 时面朝右,-1 面朝左。pose:bd/bt 正面/背面手臂 [肩部°, 肘部°](0 向下,90 向前,180 向上),paso + zancada(走路),inclina(倾斜),cabeza(头部倾斜),ojo: 'cerrado',beso,sonrojo(脸红)。ikBrazo(...) 将手瞄准一个点;puntoMano,puntoCabeza 返回画布上的点。<Pareja k>:0 表示分开,1 表示接吻。<Perro>。
  • 场景:FondoPuerto(港口,色板 PAL.noche | ocaso | alba),FondoHuerto(果园),FondoTejados(屋顶),FachadaFondo + FachadaFrente(阳台;在两者之间绘制角色),FondoBar,FondoInfierno,FondoTapia(粉刷墙),FondoEstacion(车站,传递 tren),FondoDescampado(夜晚荒地)。地面在大多数场景中位于 y=985(MUELLE_Y,ANDEN_Y);阳台地面 BALCON_Y,街道 CALLE_Y。
  • 物体:Barco,Tren + Humo,Coche(起雾的车窗,在雾中画心),Casa,Arbol,Banco,Maleta,Polaroid,Corazon,Labios,Flor,Manzana,Anillo,NeonCopa,Gaviota,Destello,Estallido(心形和嘴唇的爆发),Flotantes(漂浮的心形),Recuerdo(记忆色调),Luna,Estrellas,Mar,Cielo。

经验法则:每个渐变/裁剪 id 在整个视频中必须唯一(以场景名称作为前缀);所有计算都基于 t(无状态);从后往前绘制。

新的部件应放在 src/kit/ 中,风格保持一致:扁平颜色,无轮廓,围绕自身原点绘制,并带有 s 缩放属性。将他们添加到 Gallery.tsx。

5. 检查帧

npm run typecheck
npm run stills -- <id> <second> <second> …

在每个场景的开始、中间和每个关键词处请求帧。命令会生成 out/stills/<id>/sheet.jpg;在渲染前查看并修正:可读性,确保没有物体遮挡面部,没有内容超出标题或歌词区域,角色保持一致,没有文字标签,显示的歌词与音频时刻匹配。

6. 渲染与报告

npm run render -- <id>

输出:out/<id>.mp4,分辨率 1080x1920,30 fps,H.264 + AAC。使用 ffprobe 检查其时长,并向用户报告:文件路径、长度、使用的片段、用两到三句话描述的故事、以及你估计的每个时间点或发现的歌词疑问。说明你检查的是静止帧,而非正在播放的视频。

相关技能