Communitygithub.com

talking-head-motion

为说话人(talking-head)YouTube 视频添加与语音同步的动画文本(计数器、列表、姓名牌、Logo、对比、勾号、订阅、倒计时)以及双耳沉浸式音效(类似 Dolby Atmos),全部通过 Remotion 代码生成。

talking-head-motion 是什么?

该技能专为开发者和视频创作者设计,能够自动为说话人视频(如 YouTube 教程或演讲)生成与语音精确同步的动态文本动画和沉浸式双耳音效。它支持多种动画类型:数字计数器、列表、姓名牌、Logo、对比动画、勾选清单、订阅按钮和倒计时,并能为每个动画合成空间化音效(如 swish、whoosh、impact),通过 ITD、头部遮蔽和房间混响模拟 binaural 立体声。技能基于 Remotion 框架,所有动画和相机运动都是帧数的纯函数,确保精确性和可重复性。它适用于 Mac(M 芯片)和 Linux 平台,依赖本地 Whisper 模型进行语音转录,并自动调整动画时机,是制作高质量、富有表现力的说话人视频的强大工具。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shalabaymaksat/talking-head-motion/tree/main

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

Talking-Head Motion

你是一位用代码创作动画的动态设计师。你会在说话人视频上叠加与语音同步的文字动画,缓慢控制摄像机,并为每个动画合成双耳音效。每一帧都是帧编号的纯函数(Remotion)。唯一的事实来源:template/src/timeline.json —— 视频和音频都由此构建。

仓库结构:

SKILL.md                     ← 本指南
PROMPT.md                    ← 准备好的提示词
references/text-animation-rules.md   ← 文本何时出现(必读)
references/storyboard-template.md    ← 故事板格式
scripts/prepare.sh           ← 代理视频 + 语音 WAV + 时长
scripts/transcribe.py        ← 本地 Whisper large-v3,词时间码
scripts/logo_cutout.py       ← 去除 Logo 背景
scripts/immersive.py         ← timeline.json → 双耳音效 → 与语音混合
scripts/finish.sh            ← 混合 + 视频 → 最终 MP4
scripts/demo_video.sh        ← 测试视频(如果你没有自己的视频)
template/                    ← Remotion 项目(timeline.json + 12 种元素类型)

0. 输入

  • 视频文件(任意格式:.mov/.mp4,也支持 4K)。
  • 语言(kk, ru, en …)。
  • 可选:Logo(PNG/SVG)、品牌色、字体。 如果缺少任何内容,请询问。自行检测视频时长和语言。

1. 安装(一次性)

cd template && npm i && cd ..
pip install -r requirements.txt        # numpy, pillow, mlx-whisper (Mac) / faster-whisper

需要 ffmpeg 在 PATH 中(或设置 FFMPEG=/path/to/ffmpeg 环境变量)。

2. 准备

scripts/prepare.sh /path/to/video.mov

→ template/public/base.mp4(2560×1440 代理——即使相机放大 1.26 倍也清晰),work/voice.wav(48 kHz,用于混合),work/voice_stt.wav(16 kHz,用于 Whisper)。将生成的时长写入 timeline.json 的 "duration" 字段。

3. 转录——本地 Whisper

python3 scripts/transcribe.py work/voice_stt.wav --lang kk

→ work/transcript.json(每个词具有 start/end)和 work/transcript.txt。

  • Mac M 芯片上自动使用 mlx-whisper,其他平台使用 faster-whisper。如需更快,请用 --model large-v3-turbo。
  • Whisper 对哈萨克语转录可能不准确——相信时间码,根据语义自行修正文本。品牌/人名需与用户确认。
  • 不要给 Whisper 提供 initial prompt(会破坏时间码)。

4. 寻找动画时机 → 故事板

阅读 references/text-animation-rules.md。需要在转录中寻找:

  • 数字、金额、百分比、人数——必选(counter);其中最有力的一个设为 "hero": true;
  • 列表和列举(list, checks),姓名(lowerThird),公司(logos);
  • “不是 A,而是 B” 的对比(strike + text),反问句/停顿(pause, timer),行动号召(subscribe)。

将视频划分为 4-8 个场景(hook → 论证 → 问题 → 解决方案 → payoff),并以 references/storyboard-template.md 格式编写 STORYBOARD.md:每个场景的时间、帧范围(fps × s)、屏幕内容、运动、摄像机。场景时长总和必须等于视频总时长——请检查。 如果与用户协作——先展示故事板并获得批准,然后再编写代码。

5. 帧构图

从视频中提取几帧进行查看(ffmpeg -ss T -i video -frames:v 1 f.jpg):

  • 脸部 x 位置和空白区域(通常一侧是空白的——用于放置文字列);
  • 视频中是否已嵌入文字/图形——如果有,避开其时间和位置,不要重叠;
  • 明亮区域(灯、窗户)——不要在其上放置白色文字。 摄像机状态(timeline.json → camera.states):C — 居中(1.0),S — 脸部向一侧偏移,为文字留出空间,P — 在 hero 时刻向脸部推进。偏移量 x 的绝对值不超过 (s − 1) × 960(否则画面边缘会露出)。

6. 编写 timeline.json

示例位于 template/src/timeline.json——包含全部 12 种类型。主要字段:

  • t — 出现时刻(词的 Whisper start + ~0.1 秒,绝不能早于该词),until — 消失时刻;
  • dx, dy — 相对于画面中心的偏移(px,1920×1080),color:text / accent / negative 或十六进制值;
  • counter:countFrom, v0, v1, dur(~1 秒),format(int/decimal),prefix/suffix,plusAt,label,sub,hero;
  • list/checks:items: [{t, n?, text}],gap,checksAt;
  • logos:items: [{t, file}](位于 public/logos/),cols,size,label;
  • strike:text,redAt;subscribe:clickAt,label,done;pause:text;timer:start,step,count,label;icons:positions: [[dx,dy,size]];arrow。 如果 Logo 有黑色/彩色背景:python3 scripts/logo_cutout.py in.png template/public/logos/x.png。 使用用户的语言书写文字;大写用于标题/数字。

7. 验证——先输出静帧

为每个元素的位置和每个场景的边界输出静帧:

cd template && npx remotion still Main out/s.png --frame=<帧编号>

检查:文字不遮挡脸/手写体,不超出画面边缘(5%),两段文字不重叠,计数器在中间位置显示中间值。修正 → 再次输出静帧。未通过此阶段,不要进行完整渲染。

8. 渲染

cd template && npx remotion render Main out/video_noaudio.mp4 --muted

2 分钟 1080p60 视频在 M 芯片上约需 5-8 分钟。

9. 沉浸式音效 + 最终文件

scripts/finish.sh out/final.mp4

immersive.py 为 timeline.json 中的每个元素合成音效(文字 → 从画面外飞入元素的 swish,计数器 → 加上哒哒声和叮当声的 whoosh,hero → 环绕头部的 riser + impact + sub,Logo → pop,strike → glitch,✓ → 上升的叮当声,pause → power-down,timer → 滴答声 + 和弦垫,subscribe → 点击声 + 铃声),并根据其在屏幕上的位置将其置于双耳空间(ITD、头部遮蔽、房间混响),在语音期间降低背景音量。手动添加额外音效:timeline.json → sfx.extra。整体音量:--sfx-gain -3 等。 这不是真正的 Dolby Atmos(对象化、Dolby 编码器)——而是面向耳机的双耳立体声;请这样告知用户。

10. 最终检查

从最终的 MP4 中提取 8-12 帧进行检查(尤其是摄像机切换位置和 hero 时刻)。音频:SFX 峰值应比语音峰值低约 4-8 dB(immersive.py 会输出此信息)。你听不到音频——请让用户戴上耳机试听。

动画规则

  • 任何东西都不做线性运动。入场约 0.5 秒,带弹簧过冲(阻尼 14);退场约 60%,ease-in。
  • 黄金法则:任何东西都不会完全停止——持留元素缓慢漂移 1 → 1.02;摄像机持续微推。
  • 组内元素偏移 2-4 帧;下一个运动在前一个完成前(最后 ~20%)开始。
  • 摄像机切换使用 easy-ease,时长 ≥ 0.8 秒。点击:1 → 0.96 → 1 press,光标沿弧线(贝塞尔)运动并带一点过冲。
  • 如果用户说“不需要动画缩放/摄像机运动”:设置 "camera": {"style": "cut", "microPush": 0}——画面静止,状态切换为纯切。

已知问题

  • Remotion “Target closed” / icudtl.dat not found:chrome-headless-shell 有时无法启动(例如路径包含西里尔字符,或在 node_modules/.remotion 内)。解决方法:将浏览器文件夹复制到 ASCII 路径(cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/)并设置 export REMOTION_BROWSER=~/.cache/remotion-chrome/<文件夹>/chrome-headless-shell。
  • Claude Code 的沙盒内 Chrome 可能会卡住——请在沙盒外进行渲染。
  • 字体不从网络加载,而是从 public/fonts/ 加载(Google Fonts 可能在渲染时中断)。
  • 为避免超出视频流末尾,使用 DURATION = floor(duration × fps)。

相关技能