Talking-Head Motion
你是一位用代码创作动画的动态设计师。你会在说话人视频上叠加与语音同步的文字动画,缓慢控制摄像机,并为每个动画合成双耳音效。每一帧都是帧编号的纯函数(Remotion)。唯一的事实来源:template/src/timeline.json —— 视频和音频都由此构建。
仓库结构:
SKILL.md ← 本指南
PROMPT.md ← 准备好的提示词
references/text-animation-rules.md ← 文本何时出现(必读)
references/storyboard-template.md ← 故事板格式
scripts/prepare.sh ← 代理视频 + 语音 WAV + 时长
scripts/transcribe.py ← 本地 Whisper large-v3,词时间码
scripts/logo_cutout.py ← 去除 Logo 背景
scripts/immersive.py ← timeline.json → 双耳音效 → 与语音混合
scripts/finish.sh ← 混合 + 视频 → 最终 MP4
scripts/demo_video.sh ← 测试视频(如果你没有自己的视频)
template/ ← Remotion 项目(timeline.json + 12 种元素类型)
0. 输入
- 视频文件(任意格式:.mov/.mp4,也支持 4K)。
- 语言(
kk,ru,en…)。 - 可选:Logo(PNG/SVG)、品牌色、字体。 如果缺少任何内容,请询问。自行检测视频时长和语言。
1. 安装(一次性)
cd template && npm i && cd ..
pip install -r requirements.txt # numpy, pillow, mlx-whisper (Mac) / faster-whisper
需要 ffmpeg 在 PATH 中(或设置 FFMPEG=/path/to/ffmpeg 环境变量)。
2. 准备
scripts/prepare.sh /path/to/video.mov
→ template/public/base.mp4(2560×1440 代理——即使相机放大 1.26 倍也清晰),work/voice.wav(48 kHz,用于混合),work/voice_stt.wav(16 kHz,用于 Whisper)。将生成的时长写入 timeline.json 的 "duration" 字段。
3. 转录——本地 Whisper
python3 scripts/transcribe.py work/voice_stt.wav --lang kk
→ work/transcript.json(每个词具有 start/end)和 work/transcript.txt。
- Mac M 芯片上自动使用
mlx-whisper,其他平台使用faster-whisper。如需更快,请用--model large-v3-turbo。 - Whisper 对哈萨克语转录可能不准确——相信时间码,根据语义自行修正文本。品牌/人名需与用户确认。
- 不要给 Whisper 提供 initial prompt(会破坏时间码)。
4. 寻找动画时机 → 故事板
阅读 references/text-animation-rules.md。需要在转录中寻找:
- 数字、金额、百分比、人数——必选(
counter);其中最有力的一个设为"hero": true; - 列表和列举(
list,checks),姓名(lowerThird),公司(logos); - “不是 A,而是 B” 的对比(
strike+text),反问句/停顿(pause,timer),行动号召(subscribe)。
将视频划分为 4-8 个场景(hook → 论证 → 问题 → 解决方案 → payoff),并以 references/storyboard-template.md 格式编写 STORYBOARD.md:每个场景的时间、帧范围(fps × s)、屏幕内容、运动、摄像机。场景时长总和必须等于视频总时长——请检查。
如果与用户协作——先展示故事板并获得批准,然后再编写代码。
5. 帧构图
从视频中提取几帧进行查看(ffmpeg -ss T -i video -frames:v 1 f.jpg):
- 脸部 x 位置和空白区域(通常一侧是空白的——用于放置文字列);
- 视频中是否已嵌入文字/图形——如果有,避开其时间和位置,不要重叠;
- 明亮区域(灯、窗户)——不要在其上放置白色文字。
摄像机状态(
timeline.json → camera.states):C— 居中(1.0),S— 脸部向一侧偏移,为文字留出空间,P— 在 hero 时刻向脸部推进。偏移量x的绝对值不超过(s − 1) × 960(否则画面边缘会露出)。
6. 编写 timeline.json
示例位于 template/src/timeline.json——包含全部 12 种类型。主要字段:
t— 出现时刻(词的 Whisperstart+ ~0.1 秒,绝不能早于该词),until— 消失时刻;dx,dy— 相对于画面中心的偏移(px,1920×1080),color:text/accent/negative或十六进制值;counter:countFrom,v0,v1,dur(~1 秒),format(int/decimal),prefix/suffix,plusAt,label,sub,hero;list/checks:items: [{t, n?, text}],gap,checksAt;logos:items: [{t, file}](位于public/logos/),cols,size,label;strike:text,redAt;subscribe:clickAt,label,done;pause:text;timer:start,step,count,label;icons:positions: [[dx,dy,size]];arrow。 如果 Logo 有黑色/彩色背景:python3 scripts/logo_cutout.py in.png template/public/logos/x.png。 使用用户的语言书写文字;大写用于标题/数字。
7. 验证——先输出静帧
为每个元素的位置和每个场景的边界输出静帧:
cd template && npx remotion still Main out/s.png --frame=<帧编号>
检查:文字不遮挡脸/手写体,不超出画面边缘(5%),两段文字不重叠,计数器在中间位置显示中间值。修正 → 再次输出静帧。未通过此阶段,不要进行完整渲染。
8. 渲染
cd template && npx remotion render Main out/video_noaudio.mp4 --muted
2 分钟 1080p60 视频在 M 芯片上约需 5-8 分钟。
9. 沉浸式音效 + 最终文件
scripts/finish.sh out/final.mp4
immersive.py 为 timeline.json 中的每个元素合成音效(文字 → 从画面外飞入元素的 swish,计数器 → 加上哒哒声和叮当声的 whoosh,hero → 环绕头部的 riser + impact + sub,Logo → pop,strike → glitch,✓ → 上升的叮当声,pause → power-down,timer → 滴答声 + 和弦垫,subscribe → 点击声 + 铃声),并根据其在屏幕上的位置将其置于双耳空间(ITD、头部遮蔽、房间混响),在语音期间降低背景音量。手动添加额外音效:timeline.json → sfx.extra。整体音量:--sfx-gain -3 等。
这不是真正的 Dolby Atmos(对象化、Dolby 编码器)——而是面向耳机的双耳立体声;请这样告知用户。
10. 最终检查
从最终的 MP4 中提取 8-12 帧进行检查(尤其是摄像机切换位置和 hero 时刻)。音频:SFX 峰值应比语音峰值低约 4-8 dB(immersive.py 会输出此信息)。你听不到音频——请让用户戴上耳机试听。
动画规则
- 任何东西都不做线性运动。入场约 0.5 秒,带弹簧过冲(阻尼 14);退场约 60%,ease-in。
- 黄金法则:任何东西都不会完全停止——持留元素缓慢漂移 1 → 1.02;摄像机持续微推。
- 组内元素偏移 2-4 帧;下一个运动在前一个完成前(最后 ~20%)开始。
- 摄像机切换使用 easy-ease,时长 ≥ 0.8 秒。点击:1 → 0.96 → 1 press,光标沿弧线(贝塞尔)运动并带一点过冲。
- 如果用户说“不需要动画缩放/摄像机运动”:设置
"camera": {"style": "cut", "microPush": 0}——画面静止,状态切换为纯切。
已知问题
- Remotion “Target closed” /
icudtl.dat not found:chrome-headless-shell 有时无法启动(例如路径包含西里尔字符,或在node_modules/.remotion内)。解决方法:将浏览器文件夹复制到 ASCII 路径(cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/)并设置export REMOTION_BROWSER=~/.cache/remotion-chrome/<文件夹>/chrome-headless-shell。 - Claude Code 的沙盒内 Chrome 可能会卡住——请在沙盒外进行渲染。
- 字体不从网络加载,而是从
public/fonts/加载(Google Fonts 可能在渲染时中断)。 - 为避免超出视频流末尾,使用
DURATION = floor(duration × fps)。