Communitygithub.com

发言人头像B-Roll动效

为发言人头像视频添加B-Roll动态图形。根据录音转录和时间戳,逐行决定何时显示发言者、何时在画面上叠加图形、以及何时用全屏图形覆盖,利用JavaScript Canvas将实际说的内容(数字、对比、步骤、关键词)绘制成图形,最终生成带原始音频的MP4和含Alpha通道的B-Roll视频。

发言人头像B-Roll动效 是什么?

该技能专为改善发言人头像视频(如讲解、课程、广告、播客片段)的观看体验而设计。它通过转录录音获取逐字时间戳,然后智能规划三种画面处理方式:纯发言者画面、半透明叠加图形(关键词、数字、图标等)、全屏覆盖图形(数据对比、流程步骤等)。所有图形使用JavaScript Canvas动态绘制,内容源自实际口述,不虚构信息。支持本地whisper.cpp或ElevenLabs API转录,最终输出含原始音频的完整MP4和含Alpha通道的ProRes/WebM文件,方便在剪辑软件中进一步编辑。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ItsMeMal/mallss3d-motion/tree/main/.claude/skills/talking-head-b-roll

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

发言人头像B-Roll动效 是做什么的?

用户的录音已经定稿:词句和表达方式不再改动。纯发言人头像画面容易让观众感到枯燥,因此本流程的任务是根据每一段讲话内容决定画面上呈现什么。声音始终连续;只有画面会变化。

录音不会被剪辑、移动、裁切或缩放。你制作的所有内容都是叠加在上方的一层:在发言者应显示的区域保持透明,在图形覆盖的区域不透明。scripts/render.mjs 将该层叠加到录音上并保留其音频。

一次性完成所有步骤:不要询问那些录音或合理默认值能回答的问题,并在交付时列出你所做的选择。在存放录音文件的文件夹中工作,并在此文件夹中运行脚本;输出文件也会生成在此处。下文中,<skill> 指代此技能所在的文件夹(即包含本文件的文件夹)。

1. 转录

node <skill>/scripts/transcribe.mjs talk.mp4            # → transcript.json,并打印每一句话的起止时间

它会打印视频的尺寸、帧率和时长(这些信息将用于页面),并以句子结尾为分割生成包含每个单词时间戳的 transcript.json。在做出任何决定前,请阅读完整的转录文本。转录使用本地的whisper.cpp(若已安装),否则使用 ELEVENLABS_API_KEY;如果两者均未配置,则会打印如何设置其中一种。停顿根据音频本身确定,因此句子之间的间隔就是发言者实际停顿的地方;句子内部的时间戳误差在零点几秒内。转录可能会误听数字:如果某个数字与上下文不符,请勿将其显示在屏幕上,并在交付时说明原因。

2. 规划:三种处理方式

A. 发言者画面。 仅显示原始视频,不叠加任何内容。用于发言者本身是重点的场景:开场白、个人观点或故事、情感时刻、呼吁行动、结束语。

B. 叠加层。 视频保持可见,叠加透明动态层:关键词或短语、递增的数字、图标、箭头、标志、逐项构建的简短列表。当某句话包含一个值得观看的具体内容,同时发言者仍值得关注时使用。将叠加层放在靠近边缘且位于画面顶部或底部三分之一的位置,避免遮盖发言者的面部。每次只显示一个想法;当这句话结束时,叠加层也随之消失。

C. 覆盖层。 不透明的全帧动态场景,在发言者声音继续的同时隐藏其画面。当某句话更适合通过画面而非面部来展示时使用:数字和对比、流程或步骤序列、原理演示、产品或界面、任何包含三个或更多部分的内容。动态效果应解释这句话的含义,而非装饰。

将转录文本按句子或从句结尾分割为若干行。为每一行分配A、B或C,并附上一句话的理由,同时说明B或C具体展示什么。然后检查节奏:

  • 以A开场,让观众认识发言者;以A结束。
  • 任何连续的A片段不应超过约8秒,中间用B或C打断。
  • 一个C片段持续约3–8秒;在C片段之间回到发言者画面,避免视频变成带旁白的幻灯片。
  • 在行边界处规划处理方式的切换,并在相应单词处进行叠加层的揭示;根据下方的时序规则选择元素是提前显示还是与话音同步。
  • 优先选择更少但更清晰的处理方式,而不是每一行都切换。

视觉时序:按节拍决定

为每个有意义的元素选择时序,而不是为整个B-Roll层设定统一的规则。记录其对应的口述单词/短语、时间戳、时序选择及简短理由:

时序适用场景时钟
提前约六帧眼睛可以预判的背景信息:坐标轴、卡片、对象、流程结构s.now
与相关单词同步新的关键事实:数量、百分比、价格、排名、最终图表值s.audioNow
延迟揭示包袱、否定、暂不公布的答案和结论s.audioNow,在揭示性单词或短语处触发

例如“营收增长了30%”,提前引入图表结构,然后在说到“30%”时使百分比清晰可读并让最终柱状值同步落地。“同步”意味着信息已经可读或稳定,而不仅仅是长渐隐/长计数已经开始。准备性动画可以提前开始,但不能过早透露答案。先前已陈述的值可作为背景继续显示。

保持 SCENES.from/to 和时间锚点使用原始转录的秒数。模板会根据 VISUAL_LEAD_FRAMES / FPS(默认六帧:25fps下240毫秒,30fps下200毫秒)推进结构时钟。s.now、t、s.in 和 s.out 跟随该时钟;s.audioNow 保持实际播放时间。每个同步的事实需通过 s.audioNow >= wordStart 来限制。不要同时移动时间锚点,也不要在后期剪辑中重新调整已完成层的时间。对于精确同步的需求,设置 VISUAL_LEAD_FRAMES = 0;在混合场景中,将事实性内容和需要保留的内容都放在音频时钟上。

保持录音、音频、字幕和影片时长不变。检查移动后的场景退出时间是否会隐藏同步的揭示或缩短其可读的保持时间;必要时延长或重新规划该场景及其相邻场景。保留以发言者画面开头的开场和结尾。注意时间锚点附近的情况:估计的单词时间并不能保证帧级精确。这是一个基于我们的样本评审得出的编辑默认值,并非通用的感知规则。

如需对比效果,保持视觉内容不变并附带声音进行审查。scripts/compare-timing.py 只是旧的全层移位实验工具:请仅向其输入零提前基线的Alpha层,切勿输入已选择性定时或已提前的层。它无法验证这些逐元素的选择。

本流程不涉及全屏硬字幕:仅在用户要求时添加。B叠加层的文本只是几个关键词,而不是正在说的句子。

屏幕上的文字使用发言者实际说的词语,或来自转录文本及用户资料中的数字和名称。不要虚构数字、声明或引述。

3. 构建页面

将 <skill>/templates/b-roll.html 复制到录音文件旁边,重命名为 page.html,并设置:

  • VIDEO、W × H(视频的尺寸:1920×1080,或1080×1920竖屏;4K文件可保持1920×1080的页面)、FPS、DURATION,这些值来自 transcribe.mjs 打印的信息。
  • FACE:发言者头部的位置(包含头发,并留出一点空间),以画面宽高的分数表示。运行 node <skill>/scripts/render.mjs page.html face --stills 2s,20s --face 查看带框的录音;调整直到所有静止帧中头部都在框内。
  • SCENES:每个B或C片段对应一个条目,格式为 { from, to, kind: 'overlay' | 'cover', draw },时间取自 transcript.json 中的单词时间戳。不在任何场景中的部分即为A。两个场景可以首尾相接(一个的 to 是下一个的 from);两者之间留有一丝发言者画面会产生闪烁感。
  • 每个场景一个 draw(t, s) 函数,根据该句话的内容编写。模板中的两个示例(一个关键词卡片和一个同步数字)展示的是结构而非最终样式。s.in 和 s.out 表示入场和退场时间;s.now 是推进后的结构时钟;对于同步的事实和需要保留的揭示,使用 s.audioNow 和原始单词时间锚点。

页面背景默认为浅色。仅当满足以下条件时使用深色:(a)用户或品牌明确要求,或(b)主题本身天然适合深色背景(终端/代码、夜空、影院)。霓虹黑底是每个AI视频的俗套默认风格;擅自选择它属于设计失败。

字体:每个使用的字体族通过一个Google Fonts <link> 引入所需的字重,并在 FONTS 中列出所有绘制的文字,确保不会使用回退字体渲染(渲染时需要网络连接加载字体)。

4. 检查

node <skill>/scripts/render.mjs page.html --check                 # 对照转录和像素检查规划
node <skill>/scripts/render.mjs page.html film.jpg --sheet 1      # 整部影片,每秒一帧,叠加在录音上
node <skill>/scripts/render.mjs page.html shot --stills 12s,20s   # 全帧画面,用于检查文字和间距

--check 必须通过:每个覆盖层在进入后必须完全隐藏发言者,没有叠加层触及 FACE 区域,每个原始语音时间锚点位于单词之间(显示的图形可能提前出现),没有内容绘制在场景之外,没有文字超出画面边界或与其他文字重叠。当文字距离画面边缘小于3%时会发出警告,因为某些播放器会裁切边缘。它还会打印时间线,显示每段时间的内容,并警告节奏问题(过长的纯发言者画面、覆盖层短于3秒或长于8秒、覆盖层连续出现、未以发言者画面开场或结束);如果你有合理理由,警告可以保留,但需说明原因。

它无法判断图形是否准确表达了对应的文字内容、文字是否清晰可读,或文字是否超出卡片边界或图表线条:请查看缩略图了解整体流程,并查看每个场景的静止帧检查文字。修复后再次检查,直到一切正常。

5. 渲染与交付

node <skill>/scripts/render.mjs page.html film.mp4        # 最终影片:录音 + B-Roll层 + 原始音频
node <skill>/scripts/render.mjs page.html b-roll.mov      # 仅含B-Roll层(带Alpha通道):ProRes 4444,适用于Premiere Pro、DaVinci Resolve、Final Cut
node <skill>/scripts/render.mjs page.html b-roll.webm     # 同上,VP9编码含Alpha通道:体积小,适用于浏览器和OBS

交付 film.mp4、页面(在浏览器中打开可播放带声音的影片并浏览场景),以及一份简短的规划表格:时间、所说内容、处理方式、屏幕上显示的内容。如果用户在Premiere Pro、DaVinci Resolve或Final Cut中剪辑,还需提供Alpha层(.mov文件;ProRes体积较大,1080p下约5MB/秒):将其放置在录音上方的时间线上,起始时间为0。说明你选择了哪些用户未明确要求的内容。

依赖要求:Node 18+、在工作文件夹或其上级文件夹中运行 npm i playwright-core(或在技能文件夹本身或其上级文件夹中安装)、ffmpeg、Chrome浏览器(或运行 npx playwright install chromium),以及用于转录的whisper.cpp或ElevenLabs密钥。

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

相关技能