短格式垂直视频(超帧)
短格式 = 1080x1920 垂直,10–30秒,人像说话 + 动态图形场景叠加 + 卡拉OK样式字幕。此技能中的所有内容均源自 May Shorts 19 迭代复盘(v1 → v4),并应应用于每个新短片。
始终首先调用 /hyperframes。此技能基于该框架构建——它不会取代框架规则(data-* 属性、window.__timelines、合成结构)。这些规则无论采用何种格式都是不可协商的。
触发条件
- "制作一个短片"、"TikTok 帖子"、"Reels"、"Shorts"、"竖屏视频"
- 任何基于人像录制视频 + 脚本/文字记录为社交媒体制作的构建
- 重新调整时间、重新剪辑或重新同步现有短片
- 添加与配音同步的卡拉OK样式字幕
剧手册(高级概述)
- 音频是唯一真实来源。 先编辑音频(移除重录、停顿)。保存为
<name>-edit.mp4。使用ffprobe测量确切时长——这是合成的data-duration。 - 转录音频,使用
npx hyperframes transcribe <edit>.mp4 --model small.en --json;或者,如果在重新调整现有构建时,字幕中包含shift()函数,则保留现有字幕并仅移动场景起始时间。 - 在“编辑后时间”中确定场景边界——切勿在同一个文件中混合使用原始时间和编辑后时间锚点。请参阅下面的“音频同步协议”。
- 构建合成框架(4 层:氛围背景、接缝处理、字幕、人像)——请参阅下面的“合成框架”。
- 使用相对于每个场景
data-start的“本地”偏移量编写场景。 每个场景都是其自己的子合成,位于compositions/scene<N>-<label>.html下。 - 检查 → 草稿渲染 → 逐字帧验证 → 最终渲染。 这是验证关卡。切勿跳过第 3 步(帧验证)。
合成框架(始终开启的 4 层)
每个短格式垂直视频都有以下四个子合成,位于 compositions/ 下,加载在共享轨道上:
index.html (根元素, 1080x1920, data-composition-id="main")
├── ambient-bg.html track-index="3" — 径向渐变 + 漂移网格 + 粒子 + 暗角
├── face-wrapper + <video> track-index="0" — 人像(参见人像模式编排)
├── seam-treatment.html track-index="5" — 在 y=960 处柔化边缘(仅下半屏场景)
├── scene1-<label>.html track-index="1" — 场景叠加(背靠背,无间隙)
├── scene2-<label>.html track-index="1"
├── …
└── captions.html track-index="2" — 卡拉OK样式字幕,与单词同步
data-duration在根元素、氛围背景、接缝处理、人像视频、人像音频、字幕中必须完全相同。只有场景叠加随时间变化。- 人像的
<audio>是一个独立元素(混音器需要它),切勿使用视频本身的音轨。 class="clip"应添加到有时间的 div 上——切勿添加到<video>或<audio>上。
人像模式编排(短格式的标志性动作)
人像位于一个包装器 div 中,其尺寸为原始源文件的横向尺寸 (1920x1080)。GSAP 动画作用于包装器(切勿对视频元素本身进行动画——对 <video> 尺寸进行动画会冻结帧)。
两种模式:
const BOTTOM = { x: 0, y: 1136, scale: 0.5625 }; // 下半屏,全横向可见
const FULLSCREEN = { x: -1166.5, y: 0, scale: 1.7778 }; // 裁剪覆盖,填充 1080x1920
const MODE_DUR = 0.32;
BOTTOM 将 1920x1080 源文件渲染为 1080x607.5,居中于底部 960px。FULLSCREEN 水平裁剪以填充竖屏帧。
在新场景内容加载前 0.15 秒进行过渡,使用 ease: "expo.inOut":
[
{ t: <scene-4-start>, mode: FULLSCREEN },
{ t: <scene-5-start>, mode: BOTTOM },
…
].forEach(({ t, mode }) => {
mainTl.to("#face-wrapper", { ...mode, duration: MODE_DUR, ease: "expo.inOut" }, t - 0.15);
});
立即切换模式的人像帧是竖屏视频中最突兀的画面。始终进行插值。
人像调色(每个短片,无一例外)
#face-video {
filter: contrast(1.08) saturate(1.08) brightness(0.97);
}
再加上在整个持续时间内微妙的 1.00 → 1.025 Ken Burns 缩放(ease: "none")和侧面暗角 ::after 伪元素,使人像融入周围的深蓝色,而非紧贴锐利边缘。
接缝处理(下半屏场景必需)
在 y=960 处有一条从深蓝色到透明的渐变带(60–100px),外加一条带有柔和发光的 2px 强调扫描线。在放置人像之后绘制它,使其位于上方;全屏场景在接管时会覆盖它。锐利的 y=960 切割是 AI 编辑内容的第二大特征(仅次于背景平坦度)。
音频同步协议(不要跳过)
问题: 如果音频被编辑(移除了重录/停顿),源文字记录中的时间戳不再与编辑后的视频匹配。以原始时间编写的场景起始时间会延迟触发。
规则: 所有时间都基于“编辑后时间”。切勿混合使用。
任何短片重新调整时间的验证流程:
- 使用
ffprobe测量两个音频文件的时长:
差值 = 总共剪掉的时间。ffprobe -v error -show_entries format=duration -of csv=p=0 assets/original.mp4 ffprobe -v error -show_entries format=duration -of csv=p=0 assets/<name>-edit.mp4 - 如果在
captions.html中使用shift()函数来映射文字记录单词,则将其视为唯一真实来源。映射shift(originalTime) = editedTime也适用于每个场景的data-start。 - 场景内部偏移量(位于
compositions/sceneN.html内)是本地的,相对于场景的data-start。如果某个场景的父级data-start在编辑后时间中是正确的,则内部偏移量保持不变无需修改——除非场景跨越了一个剪辑点,在这种情况下,父级持续时间和内部偏移量都会发生变化。 - 人像模式过渡数组的时间必须使用编辑后时间。它们不会自动移位。
重新调整时间的计划格式(每次使用此表格结构):
| 场景 | 当前起始时间 | 当前时长 | 新起始时间 | 新时长 | 理由 |
|---|---|---|---|---|---|
| ... | ... | ... | ... | ... | ... |
然后是面部模式数组,然后是任何内部偏移量更改,最后是帧验证列表。
场景编写
一个场景 = 一个子合成文件。场景位于同一 data-track-index 上,背靠背(无间隙)。在每个场景内部:
data-duration与父级的槽位完全匹配- 所有 GSAP 锚点都是本地的(从场景开始索引为 0)
- 使用
tl.set({}, {}, <data-duration>)填充时间线,使 GSAPtl.duration()与data-duration匹配
场景节奏规则(来自 10 条原则)
- 无空白帧。 每 100 毫秒至少有一个动画元素。将首次入场偏移 0.1–0.3 秒,而不是 t=0。
- 高潮持续时间 ≥ 1 秒。 场景的“大揭示”(印章、数字锁定、妙语)在屏幕上必须至少有 1 秒,理想情况下为 1.5 秒。按揭示时间而非总时间来规划场景。
- 全程运动。 如果入场动画在 4 秒场景的本地 2 秒时全部结束,则添加次要动画:下划线扫过、勾选标记弹出、卡片上的环境漂移、药丸上的微小振荡发光。节奏感差 = 被划走。
- 变化缓动函数。 每个场景至少使用 3 种不同的缓动函数进行入场。
- 每运行 5 秒一个吸睛效果。 字体冲击、故障/色差揭示、快速摇摄、音频同步冲击。没有这些,视频读起来就像“带标签的人像”——正确但令人难忘。
字幕(卡拉OK样式)
- Montserrat 900 字体,46–58px(针对 1080 宽度),100% 白色基色
- 活动单词:缩放 1.08 弹出 + 颜色更改为强调色(AIS 为
#37bdf8,根据品牌进行调整) - 通过分层
text-shadow实现描边,切勿使用-webkit-text-stroke(在 Chromium 渲染中不一致) - 移除 rgba 背景药丸——让描边保持可读性。字幕应该像是框架上的涂鸦,而不是字幕轨道。
- 对于重新调整时间,在
captions.html中使用shift()函数将文字记录单词时间戳映射到编辑后时间。这使文字记录 JSON 保持不变,并使重新调整时间变得机械化。
有关完整的卡拉OK实现,请参阅 /hyperframes 下的 references/captions.md。简而言之:使用带有 data-word-start 属性的逐词 <span> 元素,GSAP 动画作用于每个跨度,弹出持续时间为 0.08–0.12 秒。
氛围背景(切勿使用纯深蓝色)
最低可行的背景堆栈:
- 径向渐变基础(中心比边缘亮 15–20%)
- 动画噪点/颗粒叠加,不透明度 8–12%
- 4–8 个漂移粒子点或网格轨迹
- 微妙的暗角
background: #07121c 本身只是一个占位符,而不是设计。对于科技感/控制室美学,请使用 feedback_techy_background_layers.md 中的 6 层堆栈(HUD 网格遮罩为暗角 + 电路轨迹 + 脉冲节点 + 扫描光束 + 遥测滚动条 + 角落单色标签)。
音频响应性
- 标题在节拍上脉冲 3–6%。背景可以在低音上达到 10–30%。
- 文本响应性保持微妙(3–6%),以便字幕保持可读性;背景可以更强烈。
- 使用有种子的离线分析器(预先计算音频特征轨迹),以确保渲染是确定性的。不要在渲染路径中使用
AnalyserNode——Math.random()和实时音频节点会破坏确定性。
过渡
- 轮换过渡类型。 没有两个连续的过渡是相同类型的。连续六个硬切是 AI 编辑的第一大特征。
- 人像模式过渡(
BOTTOM ↔ FULLSCREEN)在场景之间模式改变时,兼作场景过渡。 - 对于纯叠加场景到场景过渡,从注册表安装:
push-up、flash-through-white、sdf-iris或完整的着色器过渡包。使用npx hyperframes catalog --type block浏览。
验证关卡(强制——切勿未经验证就发布)
通过 Lint 检查 ≠ 设计有效。在您以逐字时间戳提取帧并读取每个 PNG 之前,不要报告短片渲染完成。
第 1 步——草稿渲染
cd video-projects/<slug>
npx hyperframes lint
npx hyperframes render --quality draft --output renders/<slug>-vN-draft.mp4
第 2 步——逐字帧提取
选择 8–15 个时间戳,每个时间戳对应一个说出的单词,并且在该时间点应有特定的视觉效果在屏幕上。不是整数。不是场景中间。而是精确的单词。
mkdir -p renders/frames-vN
for pair in "<t>:<label>" "<t>:<label>" ...; do
t="${pair%%:*}"; label="${pair##*:}"
ffmpeg -y -ss "$t" -i renders/<slug>-vN-draft.mp4 \
-frames:v 1 -q:v 2 "renders/frames-vN/t${t}-${label}.png"
done
第 3 步——读取每个 PNG
对每个 PNG 调用 Read,以便将图像加载到上下文中。不要仅列出文件名。对于每个帧,确认:
- 预期的视觉效果在预期的时刻出现在屏幕上(不是延迟 1 秒,也不是提前)
- 说话者的面孔在任何下半屏场景中都没有被裁剪
- 全屏 vs 下半屏人像模式对于该场景是正确的
- 字幕符合品牌风格,可读,没有溢出
- 无空白帧、无意外重叠、无文本超出画布
第 4 步——如果任何内容失败,修复并重新验证。切勿发布有问题的作品。
第 5 步——最终渲染
npx hyperframes render --quality standard --output renders/<slug>-vN.mp4
从最终渲染中抽查 3–4 帧(相同的时间戳,不同的文件夹 frames-vN-final/),以确认标准质量编码没有改变任何内容。
10 条规则(质量检查清单——在首次草稿之前运行)
每个短片构建。在编写过程中运行此清单,而不是之后。
- 无空白帧。 每 100 毫秒有一个动画元素。
- 场景高潮持续时间 ≥ 1 秒。 按揭示时间而非总时间来规划。
- 人像是一个角色。 调色 + Ken Burns 缩放 + 侧面暗角。
- 无硬缝。 在 y=960 处使用渐变 + 扫描线柔化边缘。
- 每 5 秒一个吸睛效果。 字体冲击、故障、快速摇摄、音频冲击。
- 音频响应性不可协商。 文本 3–6%,背景 10–30%。
- 轮换过渡类型。 没有两个连续相同的。
- 字幕要突出,而非礼貌地标注。 使用描边而非药丸背景。活动单词缩放 + 变色。
- 贯穿整个场景时长的运动。 如果入场动画提前结束,则添加次要动画。
- 背景是一个图层,而不是一种颜色。 至少包括径向渐变 + 噪点 + 粒子 + 暗角。
- 冲击/印章叠加效果在目标文本完全可见后放置。 揭示逻辑 > 单词同步。印章
t≥ 目标可见t+ 0.10–0.25 秒。否则,妙语会在铺垫之前出现。
项目结构(每个短片项目)
video-projects/<slug>/
├── hyperframes.json
├── meta.json (id, name, dimensions 1080x1920, fps 30)
├── index.html (根合成,4 层框架)
├── compositions/
│ ├── ambient-bg.html
│ ├── seam-treatment.html
│ ├── captions.html (如果重新调整时间,包含 shift() 函数)
│ ├── scene1-<label>.html
│ ├── scene2-<label>.html
│ └── ...
├── assets/
│ ├── <name>.mp4 (原始录制)
│ ├── <name>-edit.mp4 (已编辑——已移除剪辑——合成使用此文件)
│ ├── transcript.json (whisper 输出)
│ └── 品牌资源 (logo, brand-tokens.css, background music)
└── renders/
├── <slug>-v1-draft.mp4
├── frames-v1/
├── <slug>-v1.mp4
└── ...
重新调整时间协议(当音频被重新编辑或时间戳漂移时)
- 使用
ffprobe测量旧的和新的编辑后音频时长。差值 = 总共剪掉的时间。 - 识别剪辑窗口:哪些秒被移除了,从哪里移除的。
- 编写计划表格:每个场景的
data-start、data-duration、每个人像模式过渡的t,以及任何内部偏移量跨越剪辑点的场景。 - 对于每个跨越剪辑点的场景,其父级持续时间和内部偏移量都会发生变化。完全位于剪辑点一侧的场景只需移动父级
data-start。 - 检查 → 草稿渲染 → 逐字帧验证 → 最终渲染。无捷径。
短格式视频中应避免的操作
- 不要对
<video>元素尺寸进行动画——会冻结帧。对包装器 div 进行动画。 - 不要在任何时间线上使用
repeat: -1——会破坏捕获引擎。只使用有限次数。 - 不要使用
Math.random()或Date.now()——会破坏确定性。使用有种子的伪随机数生成器。