动画歌词视频
视频内容为:一段歌曲片段、一个跟随歌词的简短绘画故事、以及在动画下方逐行显示的歌词(当前演唱单词高亮)。框架 shell(src/kit/LyricVideo.tsx)负责处理音频、标题、歌词、致谢、社交信息和淡入淡出效果。你的工作是确定片段、时间点和故事。请使用用户的母语回答。
0. 输入
仅获取缺失的信息,不多不少:
- 音频文件和歌词文本。如果用户只提供一个歌名,要求提供文件。不要下载歌曲。
- 艺术家、歌曲名称、致谢行(例如“词曲:…”)、可选的社交账号(
{network: 'instagram' | 'youtube', handle})。 - 最大时长。如果未指定,默认为 60 秒。
只为用户拥有或有权使用的歌曲工作。永不上传或发布任何内容。
1. 创建歌曲
npm run new-song -- <kebab-id> --audio <file> --title "…" --artist "…" --credit "…"
此命令会创建 src/songs/<id>/ 目录(包含配置、歌词、场景),将音频复制到 public/,并注册合成 <id>。
2. 歌词、转写、对齐
- 编写
src/songs/<id>/lyrics.txt:每行一个屏幕行,按演唱顺序排列,重复的副歌也应再次写出。每行 2–7 个单词阅读效果最佳;较长的行应在自然停顿处分割。 python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>- 选择片段并在
config.ts中设置start/end:- 保持在最大时长内;
- 在保留的第一个演唱行前 2–3 秒开始(为封面场景留出空间);
- 在一个完整的短语后结束,最好是副歌行,再加上约 1.5 秒的淡出时间(框架会在最后约 1.8 秒内淡出音频和画面);
- 使用
transcription.json的分段时间来寻找短语边界。
python scripts/align.py src/songs/<id>并阅读其报告:- "not heard: timing estimated":Whisper 跳过了该行;时间是猜测值。尝试更大的模型(
--model mlx-community/whisper-large-v3-mlx或--model large-v3)或在lyrics.ts中手动修正。 - "Dropped":不在所选片段内的行。如果用户粘贴了整首歌,这是预料之中的。
- Whisper 的单词经常出错;以用户提供的歌词为准。切勿为了匹配 Whisper 而"纠正"用户的歌词。如果录音明显唱的是不同的词,请告知用户并询问应该显示哪个版本。
- "not heard: timing estimated":Whisper 跳过了该行;时间是猜测值。尝试更大的模型(
3. 在编码前编写故事
制作一个简短的情节点表:每个歌词行(或每对句)一个情节点,并附上 lyrics.ts 中的开始时间。然后将情节点转化为场景。
风格规则。这些规则是视频成功的关键;请遵守:
- 暗示,而非逐字图解。 屏幕上不要出现重复歌词的文字或拟声词:不要有标志、标签、目的地、对话气泡、"汪汪"、"嘘"、"∞"。用动作、物体、光线、天气、色彩和反复出现的主题来讲述。如果一行歌词提到了某个事物(火车、狗、电话),思考它在故事中的含义并展现其含义,或者展示该事物但不要标出它的名字。
- 一个故事,一套演员。 保持相同的角色和少数反复出现的场景与道具,使视频像一个连贯的故事,而非幻灯片。
- 踩准关键词。 在重要单词开始的时间点触发弹出、冲击和变化(
pop(t, word.start),sacudida(t, word.start))。 - 永远在动。 任何一帧静止时间不应超过大约一秒钟。
- 尊重布局。 在 1080x1920 画布上,绘制场景的范围是 y≈300 到 y≈1100。标题位于上方,歌词从 y≈1150 开始。
- 场景应在它们所描绘的歌词行前约 0.3–0.5 秒切换;框架会进行 0.12 秒的交叉淡入淡出。
- 第一个场景是封面(艺术家和歌曲名称,在人声开始前)。当第二个场景开始时,标题出现。
4. 编写场景代码
编辑 src/songs/<id>/scenes.tsx。一个场景是一个接收 t(歌曲时间,以秒为单位)的组件,并在 <Lienzo> 内部进行绘制:
const Meeting: Escena = ({t}) => {
const k = u(t, 31.2, 33.0); // 在歌曲的两个时间点之间,值从 0 变化到 1
return (
<Lienzo>
<FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
<Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
<Corazon x={540} y={420} s={pop(t, 33.0)} />
</Lienzo>
);
};
export const SCENES = [
{at: CONFIG.start, C: Cover},
{at: 30.9, C: Meeting},
];
工具包参考(名称是西班牙语;README.md 中有术语表)。浏览 kit-gallery 组合中的所有部件。
- 时间辅助函数(
kit.tsx):u(t, a, b)进度从 0→1;lerp,lerp2;缓动函数eo(先快后慢),ei(先慢后快),eio(先慢后快再慢),back(过冲);pop(t, at)弹性出现;sacudida(t, at)阻尼抖动;rnd(i)确定性随机数。永不使用Math.random()。 - 角色:
<Persona tipo="el" | "ella" x y s mira pose enMano>。x, y是脚部位置。mira为 1 时面朝右,-1 面朝左。pose:bd/bt正面/背面手臂[肩部°, 肘部°](0 向下,90 向前,180 向上),paso+zancada(走路),inclina(倾斜),cabeza(头部倾斜),ojo: 'cerrado',beso,sonrojo(脸红)。ikBrazo(...)将手瞄准一个点;puntoMano,puntoCabeza返回画布上的点。<Pareja k>:0 表示分开,1 表示接吻。<Perro>。 - 场景:
FondoPuerto(港口,色板PAL.noche | ocaso | alba),FondoHuerto(果园),FondoTejados(屋顶),FachadaFondo+FachadaFrente(阳台;在两者之间绘制角色),FondoBar,FondoInfierno,FondoTapia(粉刷墙),FondoEstacion(车站,传递tren),FondoDescampado(夜晚荒地)。地面在大多数场景中位于 y=985(MUELLE_Y,ANDEN_Y);阳台地面BALCON_Y,街道CALLE_Y。 - 物体:
Barco,Tren+Humo,Coche(起雾的车窗,在雾中画心),Casa,Arbol,Banco,Maleta,Polaroid,Corazon,Labios,Flor,Manzana,Anillo,NeonCopa,Gaviota,Destello,Estallido(心形和嘴唇的爆发),Flotantes(漂浮的心形),Recuerdo(记忆色调),Luna,Estrellas,Mar,Cielo。
经验法则:每个渐变/裁剪 id 在整个视频中必须唯一(以场景名称作为前缀);所有计算都基于 t(无状态);从后往前绘制。
新的部件应放在 src/kit/ 中,风格保持一致:扁平颜色,无轮廓,围绕自身原点绘制,并带有 s 缩放属性。将他们添加到 Gallery.tsx。
5. 检查帧
npm run typecheck
npm run stills -- <id> <second> <second> …
在每个场景的开始、中间和每个关键词处请求帧。命令会生成 out/stills/<id>/sheet.jpg;在渲染前查看并修正:可读性,确保没有物体遮挡面部,没有内容超出标题或歌词区域,角色保持一致,没有文字标签,显示的歌词与音频时刻匹配。
6. 渲染与报告
npm run render -- <id>
输出:out/<id>.mp4,分辨率 1080x1920,30 fps,H.264 + AAC。使用 ffprobe 检查其时长,并向用户报告:文件路径、长度、使用的片段、用两到三句话描述的故事、以及你估计的每个时间点或发现的歌词疑问。说明你检查的是静止帧,而非正在播放的视频。