首先,保持本技能更新——在运行前向用户确认:
npx hyperframes skills update talking-head-recut。如果一切最新,此操作快速无影响;否则,它会刷新本技能及其依赖的核心领域技能,确保你使用前是最新版本。
谈话头部再加工
谈话头部再加工接受一个完整播放的本地视频,并在其上叠加一系列按时间顺序排列的、经过设计的图形卡片——包括标题、底三分、数据标注、引用、侧边面板、画中画——与说话内容同步。代理会设计卡片(时间和内容),并直接在对话中编写每张卡片的HTML,然后通过hyperframes将单个合成HTML组装并渲染为MP4。没有固定的原型列表或预定义的卡片结构——叠加内容完全由实际转录文本决定。
入口是
/hyperframes。 本技能为已有的谈话头部片段包装设计好的图形卡片(标题、底三分、数据标注、引用、侧边面板、画中画)——而非纯字幕(口语文字)。视频原样播放。 任何其他意图——纯字幕、独立图形、从头构建视频——或任何不确定性→请先阅读/hyperframes:意图层负责所有路由决策。
embedded-captions的图形包装兄弟。 字幕添加_口语文字_作为可读的隐藏字幕;本技能在播放的视频之上添加_设计的图形_。纯字幕→embedded-captions。从头构建视频→创建工作流(product-launch-video/faceless-explainer/ …)。
通过/hyperframes路由,意图层只确认输入(哪个片段),并宣布渲染策略问题为延迟提问——比例、布局、样式组和卡片数量保留到第7步,在那里探测的素材和转录文本为推荐提供依据;层的运行形状问题不适用。如果存在BRIEF.md,它包含已确认的输入和任何用户备注——请先阅读它。
工作目录中可检查的中间文件:
metadata.json— 时长 / 宽 / 高 / 帧率audio.mp3— 提取的音频transcript.json— 一个扁平的单词数组[{ text, start, end }, …](Whisper;无segments,无words包装器)storyboard.json— 轻量级卡片大纲(代理的计划)public/cards/card-XX.html— 每张卡片的HTML片段public/index.html— 最终组装的合成文件output.mp4— 渲染后的视频
CLI 解决方案
# hyperframes — 转录(本地 Whisper)+ 将组装的 HTML 渲染为 MP4
npx hyperframes --help
本技能完全运行在hyperframes CLI 和系统 ffmpeg / ffprobe 之上。转录通过 hyperframes transcribe 使用本地 Whisper——无需第三方服务、API 密钥或限速代理。
工作流
1. 检查环境
npx hyperframes doctor # ffmpeg, 无头浏览器, 渲染依赖
# 确认捆绑资产:
ls "<SKILL_DIR>/assets/fonts" "<SKILL_DIR>/assets/vendor/gsap.min.js"
必需:
ffmpeg/ffprobe(系统)<SKILL_DIR>/assets/fonts/*.woff2,<SKILL_DIR>/assets/vendor/gsap.min.js(本技能内捆绑,在第9步部署到工作目录)
转录无需密钥——hyperframes transcribe 在本地运行 Whisper(第4步)。
macOS 上强烈建议使用 hyperframes render:
export PRODUCER_BROWSER_GPU_MODE=hardware
2. 创建工作目录
所有工件位于 videos/<project-name>/ 下——与其他视频工作流(product-launch-video / faceless-explainer / pr-to-video)相同的约定。保持当前工作目录在工作区根目录;以下所有内容将写入此单一子目录。
VIDEO_PATH="/绝对/路径/input.mp4"
WORK_DIR="videos/$(basename "$VIDEO_PATH" | sed 's/\.[^.]*$//')"
mkdir -p "$WORK_DIR"
3. 提取音频和元数据
# 元数据 — 时长 / 宽 / 高 / 帧率
ffprobe -v error -select_streams v:0 \
-show_entries stream=width,height,r_frame_rate \
-show_entries format=duration -of json "$VIDEO_PATH" > "$WORK_DIR/metadata.json"
# 音频
ffmpeg -y -i "$VIDEO_PATH" -vn -acodec libmp3lame -q:a 2 "$WORK_DIR/audio.mp3"
输出:metadata.json(读取 width/height/duration;fps = 评估后的 r_frame_rate 分数,如 30000/1001 → 29.97)+ audio.mp3。
4. 转录
npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en
本地 Whisper——无需 API 密钥、代理或速率限制。将单词级别的 transcript.json 写入工作目录(单词 text + start / end 时间戳)。读取它以获取驱动第6步卡片定时的单词/句子时间;如果需要对句子级别的块进行分析,请根据标点或停顿自行将单词分组为句子。
限制到媒体时长。 Whisper 返回的最后一个单词的 end 可能略超过实际片段长度——请将每个卡片 endSec 和 composition.durationSeconds 限制到 metadata.json 的时长,否则渲染会在视频结束后显示黑色尾部。
5. 修正转录文本
transcript.json 是一个扁平的单词对象数组——[{ "text": "...", "start": s, "end": s }, …](无 segments 数组,无 words 包装器;每个单词的键是 text)。读取它并修复明显的 ASR 错误:
- 同音词、产品名称、技术术语、标点
- 原地编辑单词的
text;保留其start/end时间戳 - 没有预分组的
segments数组——自行将单词分组为句子(在句末标点或暂停处分隔),当你需要句子级别的块进行卡片定时时
6. 起草轻量级故事板(在聊天中)
不涉及 CLI。 读取 transcript.json + metadata.json 并直接设计卡片。storyboard.json 是代理内部的计划工件——没有 CLI 命令会读取它;它存在的意义是让你在编写每张卡片的 HTML 之前能清晰地思考时间和内容。保持形状与下面的示例一致,以便同一个大纲可以驱动你在第9步中编写的合成:
{
"schemaVersion": 3,
"composition": {
"fps": 30,
"width": 1080,
"height": 1920,
"durationSeconds": 121.2,
"layout": "portrait",
"themeId": "noir",
"seed": 42
},
"videoTrack": {
"sourcePath": "input-video.mp4",
"startSec": 0,
"endSec": 121.2,
"bounds": { "x": 0, "y": 0, "width": 1080, "height": 1920 }
},
"subtitles": { "enabled": false },
"cards": [
{
"id": "card-01",
"intent": "用演讲者在午夜焦虑的提问来吸引注意力",
"startSec": 0.5,
"endSec": 13.0,
"accentIndex": 0,
"zone": "fullscreen",
"contentHints": {
"kicker": "一个诚实的问题",
"title": "晚上11点灵魂拷问",
"detail": "客户60秒语音消息:'如果人民币升值,是否意味着我的美元保单是巨大的损失?'"
}
}
]
}
必需的卡片字段:
| 字段 | 类型 | 用途 |
|---|---|---|
id | 字符串 | 在卡片 HTML 和 GSAP 选择器中使用的稳定 ID |
intent | 字符串 | 自然语言描述;供卡片合成使用 |
startSec / endSec | 数字 | 时间(秒)(endSec > startSec) |
accentIndex | 0 | 1 | 2 | 3 | 4 | 此卡片使用5个主题强调色中的哪一个 |
zone | 枚举(见下文) | 卡片在画布上的位置 |
contentHints | 对象 | 自由形式容器;代理将提示词/标题/详情/数据/引用放在这里 |
archetype (可选) | 字符串 | 你可以附加的自由形式标签,用于记住卡片的模式;缺失则默认为自由形式 |
transition (可选) | 枚举:cut | fade | slide | wipe | 声明式卡片到卡片过渡 |
5个 zone 值:
| 区域 | 解析后的边界 | 使用场景 |
|---|---|---|
fullscreen | 覆盖整个画布 | 英雄时刻、大数字、格言 |
whiteboard-area | 内边距40像素(或竖屏高度的45%) | 密集数据/注释内容 |
lower-third | 底部30%的带状区域 | 在可见视频上的注释 |
side-panel | 右侧42%(横屏)或底部40%(竖屏) | 数据在一侧,视频在另一侧 |
video-overlay | 全画布,期望大部分透明的卡片 | 在全出血视频上的注释叠加 |
当你在第9步组装合成时,根据上表将每张卡片的 zone 解析为卡片宿主包装器上的像素边界。视频边界在合成级别(videoTrack.bounds)一次性设置;要使视频看起来“在卡片之间移动”,请在合成的 <script> 中针对 #video-wrap 编写 GSAP 补间动画(见第9步)。
没有预定义的卡片角色,没有预定义的叙事弧线。 卡片完全根据视频实际内容产生——可以是全部引用或全部数据,可以以数字开头,也可以以故事开头。让转录文本驱动节奏。
多少个要点?——从时长和密度自动推断。 没有固定上限。根据视频时长选择一个基础节奏,然后根据信息密度进行调整。只有下限是固定的:最少5张卡片,这样即使很短的视频也能有节奏感。
步骤1——按时长确定基础节奏(中等密度下自然的秒/卡):
| 视频时长 | 基础节奏(每张卡秒数) | 理由 |
|---|---|---|
| < 60 秒(短视频) | 6–8 秒 | 观众期望短格式中快节奏切换 |
| 60 秒 – 3 分钟 | 8–12 秒 | 正常的社交媒体节奏 |
| 3 – 10 分钟 | 12–20 秒 | 给予呼吸空间;每张卡片承载更多内容 |
| 10 – 30 分钟 | 20–35 秒 | 长格式讲座/访谈节奏 |
| > 30 分钟 | 30–60 秒 | 片段式、接近章节的感觉 |
步骤2——密度乘数(乘以基础节奏):
| 转录文本中的信号 | 乘数 | 效果 |
|---|---|---|
| 高密度——很多数字、不同的主张、断续的节奏、列表式列举、每1-2句就是一个新想法 | × 0.7 | 切换更快,卡片更多 |
| 中等密度——数据与叙事混合的流程 | × 1.0 | 基础节奏 |
| 低密度——一个延伸的故事、重复的重新阐述、缓慢的反思性节奏、单个论点展开 | × 1.5 | 切换更慢,卡片更少 |
步骤3——计算:
secPerCard = basePace × densityMultiplier
cardCount = max(5, round(videoDurationSec / secPerCard))
示例(注意——没有上限;长视频自然会生成更多卡片):
- 30秒短视频,单一笑点(低密度) → 7 × 1.5 = 10.5秒/卡 → round(30/10.5)=3 → 下限到 5 张卡
- 60秒反思性独白(低密度) → 10 × 1.5 = 15秒/卡 → 4 → 下限到 5 张卡
- 121秒谈话头部,丰富数据(高密度) → 10 × 0.7 = 7秒/卡 → 17 张卡
- 5分钟访谈,混合密度 → 16 × 1.0 = 16秒/卡 → 19 张卡
- 10分钟深度剖析,高密度 → 16 × 0.7 = 11秒/卡 → 55 张卡
- 30分钟讲座,中等密度 → 28 × 1.0 = 28秒/卡 → 64 张卡
- 1小时播客,低密度 → 45 × 1.5 = 67.5秒/卡 → 53 张卡
当一张卡片持续时间超过约15秒时,计划使用更丰富的卡片(数据块、多步骤揭示、通过交错动画展开的几个子要点)——静态的一行文字超过8秒会变得无聊。对于长片段,其中许多卡片超过30秒,考虑将时间线分块为子合成(每章一个.html,使用 data-composition-src 挂载),这样每个文件的 GSAP 时间线保持可管理——请参阅 HyperFrames lint 警告 timeline_track_too_dense。
content 可以是纯字符串("Title: annualized 5.69%\nNotes: ...")或任何捕获数据的 JSON 形状。代理每张卡片决定形状。
可选结尾。 本技能没有内置的固定品牌结尾。如果用户想要一个结束卡片,请自己设计一个中性的(文字标记 + 一行标语,约1.5-2秒,淡入 -> 短暂保持 -> 淡出),将其追加到 cards[],并将 composition.durationSeconds 扩展到其 endSec。否则以最后一张内容卡片结束。
7. 决定渲染策略
与用户确认视觉方向(请先执行此步骤)
在开始设计卡片或决定边界之前,**请用户选择输出比例
…
[已截断]