Video Motion — 通过聊天制作配音视频的标准工作流
主工作流。三个来源各有其角色——不要在每个项目中都阅读全部,根据阶段调用:
| 阶段 | 规则来源 | 技能 |
|---|---|---|
| 简报、风格、脚本、配音、聊天工作流顺序 | motion-format | skill_view('motion-format') |
| 设计与电影法则(视频≠幻灯片、确定性、风格源于主题、陷阱) | bang-motion | skill_view('bang-motion') |
| 技术渲染管线(Whisper、音效、CDP 帧、审核、安全字幕) | html-motion-pipeline | skill_view('html-motion-pipeline') |
何时使用哪个
- 有特定风格配方(等距、卡通、3D 历史、产品促销等)
→ 使用
motion-format引擎(mf.py)+ 其风格配方。 - 平面动态 2D 解说 / 接力图 / 技术解说(如 Function Calling 视频)
→ 使用
html-motion-pipeline(GSAP 架构 + CDP 渲染),遵循bang-motion的设计法则。 - 促销/开场/标题/动态文字 →
bang-motion作为规则来源 + 架构。
从这里开始——工作流入口(不要跳过)
在编写一行代码之前(HTML、脚本、配音)用于视频任务:
0. 先阅读 USER.md 和 style-reference/STYLE.md(此技能文件夹内)——
USER.md = Hasbi 的偏好与标准(不要重复询问已写内容);
STYLE.md = 金色视觉风格 + 参考帧。在编写 HTML 之前使用 vision_analyze 分析 style-reference/ 中的帧,以便看到视觉目标,而不仅仅是凭描述想象。这些文件有意与 SOP 分开,以便在不触及工作流的情况下轻松更新。
- 先
skill_view('video-motion')——然后根据阶段调用子技能(上表)。 - 如果主题需要真实事实/技巧,务必先做研究(教育主题、“如何做 X”、比较、新闻):在编写脚本前从可靠来源收集关键点 + 强有力的钩子(
web_search/web_extract)——不要凭记忆编造内容。参阅references/topik-riset.md以了解如何选择和变化角度。 - 工作流顺序遵循用户,而不是上面的阶段表。 文档默认顺序是 简报→风格→脚本,但 Hasbi 用户经常故意颠倒:主题研究 → 选择主题 → 脚本 → 然后简报风格。 如果用户说“从主题/脚本开始,然后再做简报”,遵循这一点——在主题确定前不要提供风格或展示脚本草稿。在继续前,通过用户 ACC 锁定每个阶段(从选项中选择 1 个)。
- 场景 1 先做视觉测试 + ACC,然后再做配音和其他场景。 切勿在场景 1 获得用户批准前构建整个视频(所有场景 + MP4 渲染)。
- 不要携带以前项目的包袱。 每个视频都使用新文件夹并从干净的简报开始;用户经常要求“忘记以前的项目,从头开始研究”。
陷阱(代价高昂): 凭借记忆或直觉而非阅读子技能来构建,会产生幻灯片堆叠——每个场景变成一个 <section> 并进行淡入淡出。这违反了法则 #1,并且在看到“毁了”之前需要完整的渲染(约 9 分钟)。先阅读 bang-motion;从 index.fc-reference.html 开始,不要从头编写。
SOP 定位与工作流顺序(会话间一致性标准)
来源:项目 #11 “Perusahaan Tanpa Karyawan”(7 个场景,55.8 秒),没有一次布局修订就完成了。这是经过验证的、首次尝试即可获得整洁结果的方法。严格遵循顺序——跳过一个步骤 = 重新渲染整个内容。
阶段 A——准备(在接触 HTML 之前)
- 先处理配音,而不是视觉。 一旦用户发送配音文件 → 立即处理:
(必须 loudnorm——防止 Whisper 产生幻觉)。ffmpeg -i vo_raw.mp3 -af loudnorm=I=-16:TP=-1.5:LRA=11 -ar 16000 -ac 1 vo_norm.wav - 逐词转录(模型
small,语言id,word_timestamps=True,vad_filter=True,temperature=0,beam_size=5,int8)。通过soundfile→numpy 手动解码(避免av错误)。结果:vo_words.json= 所有时序的唯一真相来源。 - 从时间戳而不是脚本映射场景边界。 真实示例:
VO #11 落入 8 个场景 →
0/7.7/16.3/22.4/29.1/36.4/41.6。每个场景开始 = 其开场句第一个词的start。视觉元素在词组发音的确切时刻出现。
阶段 B——定位(整洁的关键)
整洁 = 严格的网格 + 每个场景一个焦点。具体规则(来自 #11 的证据):
- 每类元素一个垂直区域。 在 1080×1920 中:引子/标题顶部区域(y≈300),主要视觉中间区域(y 560–1250),场景结尾字幕区域(y≈1330),字幕固定在 y≈1460。不要混合不同区域的角色。
- 节点/列对称使用左-中-右:
left:250/540/830px(中心 540)。中间元素的top可以比边缘稍高以使构图更有活力,但水平间距必须相等。 - 卡片平衡(A-vs-B 对比):两张卡片的
width、top和 padding 必须相同;区别仅在于内容。不要一张胖一张瘦。 - 字幕位于
#world之外(是#stage的子元素,而非#world),这样它们不会跟随摄像机移动。 - 测量而非猜测。 每个文本必须通过
audit_overlap(0 冲突)和audit_center(中心偏差 <250px)。使用边界框,而非目测。
阶段 C——动画(“生动但平静”的关键)
- 完全确定性。 所有内容都是
t的纯函数。零Math.random()。环境效果(矩阵雨、粒子)使用种子 RNG(mulberry32(seed))以确保每次渲染相同。 - rAF = 渲染的敌人。 通过
page.evaluateOnNewDocument(()=>{window.requestAnimationFrame=()=>0;})禁用window.requestAnimationFrame,在goto之前进行——否则自动播放循环会覆盖__seek导致帧随机。(模式:rAF 仅用于浏览器预览,而非无头渲染。) - 词组同步。 每个视觉节奏使用
vo_words.json中的词时间戳作为补间锚点(例如,节点“RISET”在词“riset”的start时出现)。 - 持续运动:每个场景摄像机平滑垂直漂移(
y:-55→0)、圆环脉冲(scale 1↔1.06 yoyo)、数字计数器上升、硬币雨。所有都通过平均运动差异阈值(Gotcha #12)。 - 钩子 = 已设置,而非淡入。 帧 0 = TikTok 缩略图 → 钩子文本在 t=0 时已完全显示(
tl.set,而非从 opacity 0 开始fromTo)。不要让第一帧为空。
阶段 D——完整渲染前的验证
node snap.mjs→ 拍摄 15+ 个关键点的快照 → 通过视觉检查(不仅仅是 DOM 审核)。 快照文件名 = 秒,而非场景索引(snap_00003= t≈0.3 秒,而非场景 3)。在通过视觉评估前,先将审核点映射到正确的场景编号——检查“六边形场景”的帧可能会在钩子帧处通过为空,导致你错误地认为该场景已完成。- 快照时禁用 rAF(与渲染相同)→ 快照现在具有确定性。
- 逐个场景检查:文本是否被截断?重叠?空间过大?图标是否可识别?
- 再进行完整渲染(先测试
--sampai 3,然后完整渲染 + 恢复防 OOM)。 - 重新主题化的陷阱(暗↔亮):即使主色已更改,背景可能仍为暗色。 如果在渲染后将视频主题更改为亮/暗,全局颜色更改(body 背景、文本)不会更改每个场景单独编写的渐变背景(例如
#sc7 .bg{background:linear-gradient(180deg,#0a2a3a…)})和 CTA 元素上的暗色阴影——即使“我已经全部反转了”,该场景在 MP4 中仍然为暗色。修复: 重新主题化后,grep HTML 以查找每个场景的渐变和背景颜色模式(grep -nE "gradient|#0[0-9a-f]{5}" index.html)并确保每个场景都已更改。通过像素而非目测进行客观验证: 从 MP4 中提取每个场景的帧,然后测量背景区域的亮度(np.array(Image.open(f).convert('RGB'))[:80,:80].mean();>180 = 亮,<100 = 仍为暗色)。每个场景一个值,而非一个帧。这比vision_analyze更可靠,后者在桌面会话中经常超时或拒绝加载图像。
跨会话一致性预期: 此方法有效,因为(a)配音在视觉之前处理,(b)定位基于网格而非感觉,(c)确定性 + rAF 关闭。任何严格遵循阶段 A→D 的会话都将产生与项目 #11 相当的整洁度。
标准工作流(自适应——使用相关部分)
- 5 项简报(motion-format):什么、主题+素材、面向谁、时长、比例+字幕。 最多提问 1 次,其余使用默认值。
- 风格——用户提到 → 直接使用;未提到 → 提供 3 个选项 + 1 个推荐。编写
gaya.md(十六进制调色板 + 来源、字体、背景、运动签名、1 个与众不同之处)。 背景不默认为暗色。 风格源于主题/品牌,而非启动器/参考。 - 测试场景 1 的图像(约 8 秒,最终质量)→ 截图 → 显示 → 用户同意。
- 每个场景的脚本 →
naskah.md。或者如果用户自行录制:请求配音文件。 在聊天中显示脚本的格式 = 段落,而非表格。 Hasbi 用户希望将脚本阅读为流畅的故事(每个段落为散文),而非# | 视觉 | 配音 | 秒的表格。首先在naskah.md中编写表格作为内部蓝图(用于映射节奏→视觉,参见 Gotcha #18),但向用户展示以供 ACC 的版本是段落版本。 每个 Hasbi 视频脚本必须包含 Telegram 群组推广(群组diskusitentangai,配音文本中的 CTA + 结束画面中的群组徽标)——将 CTA 放在脚本本身中作为配音的结束句,而不仅仅是最终视觉。 - 配音 + 时序
- 用户自行录制(ElevenLabs 等):处理文件。通过 faster-whisper 进行逐词转录 + 时间戳(管线)。太快 → 提供速度变体(0.75/0.90/0.97),选择一个。
- 通过 ElevenLabs API:每个场景的剪辑,先测试场景 1。未经许可不要花费积分。
- 使用呼吸停顿同步句子(
silencedetect)。
- 构建所有场景——场景时长遵循配音时长。构建 2–3 个 → 截图 → 修复 → 重复。为最弱的场景添加“更多细节”。零 JS 错误。
- 渲染前的布局审核(必需,请参阅管线):0 溢出、不与元素碰撞、字幕安全,位于底部 UI 区域之外(Reels/TikTok 约 360px)。此外,零空帧——检查每个场景的初始帧(t0..t0+0.5):内容元素(非字幕)必须 opacity>0。仅检查碰撞/溢出的 DOM 审核不会捕获这一点(参见 Gotcha #6)。
7b. 交付前的运动审核(必需,与布局审核分开)。 布局审核和“空帧”审核仅证明内容存在,而非视频在移动——静态视频(静态幻灯片)两者都能通过,但在用户眼中完全失败。测量真实运动:从最终 MP4 中的一个场景内(而非跨场景,例如 t 和 t+0.4)提取两帧 → 计算平均绝对像素差异
mean(|A-B|)。 平均差异 < 1.0 = 该场景为静态,拒绝。 每个场景必须通过——有内容 + 帧间存在运动是两个不同的门;通过一个并不意味着通过另一个。(参见 Gotcha #12。) - 渲染:检查约 8 秒 → 用户听/看 → 完整渲染 → MP4。
必备法则(bang-motion + motion-format 的总结)
- 视频,而非幻灯片。 摄像机/世界在移动;场景因世界移动而改变,而非
<section>的淡入淡出。一个主题/视觉线贯穿始终。 - 确定性。 所有视觉 =
t/tl.time()的纯函数。零Math.random()而没有真随机、Date、performance.now。 - 风格源于主题,而非启动器/参考。 参考 = 节奏,而非外观。两个不同的视频应在以下至少 3 项上不同:调色板、字体、背景、运动签名。系列作品(第 1、2 部分等)除外:必须保持一致。
- 不要克隆以前视频的布局。 仅更改调色板/字体,同时使用相同的
<顶部标题> + <小图像> + <底部卡片>结构,对用户而言看起来仍然“非常相似”——不同的颜色不是不同的设计。开始新视频(非系列)时,要彻底改变每个场景的构图,而不仅仅是重新着色模板。 - 给每个场景一个大的焦点(一个主角)在中间区域,且没有重叠元素。 用户拒绝杂乱/堆叠的布局。将主角放在中央区域,其余的支持元素放在底部/边缘——不要将两个或三个大小相同的块并排放置。
- 不要克隆以前视频的布局。 仅更改调色板/字体,同时使用相同的
- 文本生动,背景服从。 句子大小写;仅当改变含义/节奏时才使用标点;强对比;背景不平铺单色。
- 文本不要紧贴边缘。 宽度为 100% 且带有居中文本的宽文本(
width:100%+text-align:center)以及大字体(≥56px)可能会接触/粘附左/右边缘。用户拒绝这一点(“紧贴边缘太厉害了”)。为单行大文本提供至少 50px 的侧边距,或者将width:100%替换为left:50px; right:50px。通过 DOM 验证:文本的边界框必须与画布左/右边缘保持至少 40px 的距离。
- 文本不要紧贴边缘。 宽度为 100% 且带有居中文本的宽文本(
- 钩子自帧 0 起就移动。 重要时刻给予大约 2.5 秒的时间。
- 逐词字幕用于 9:16;关键词使用强调色;位于安全区域。
- 屏幕上的事实 = 脚本中的事实。 不要编造数字。
- 连接线(节点图):SVG 位于场景的最底层,锚点为边缘到边缘(而非徽标中心),曲线平滑——从不穿过图标/文本。
- 身份徽标 = 用户/品牌的真实资产(必要时从网络获取),而非通用表情符号。
验证(你无法观看——只能查看帧)
- 通过
snap.mjs(管线)/mf.py potret(motion-format)拍摄关键秒数的快照。 - 整理联系表 → 评估:文本是否被截断?重叠?线条是否穿过?是否仍是幻灯片?
- 通过 DOM (
getBoundingClientRect)进行布局审核,在完整渲染之前进行。 - MP4 仅在最终导出时使用——不是检查工具。
- 通过像素分析进行“空帧”审核(当视觉后端崩溃时可靠):从 MP4 中每 0.25 秒提取帧,计算场景区域(y 200–1300)中暗像素(lum<100)的百分比。帧中 <0.5% 的暗像素 = 场景几乎为空。如果“最少内容”帧恰好落在每个场景的
t0→ 场景开头存在空档(Gotcha #6)。也可以通过 DOM 进行:计算每个场景在 t0 和 t0+0.1 时 opacity>0 的非字幕元素。
交付
index.html/scene.html由用户打开查看。- 最终 MP4 文件作为附件提供。
- 包括
naskah.md和gaya.md作为文档。