面板转短视频工具 (Panel to Reels)
将一段长录制内容转换为一组可直接发布的竖屏短视频。每个短视频在词边界处进行剪辑,重新构图至 9:16 并聚焦说话者面部,逐词添加字幕,并为每个视频生成适配 Instagram 个人资料网格的封面。每个片段以两种样式渲染:构建式(白色字幕,红/蓝/品红强调色)和品牌式(自定义颜色和字体,在 styles.json 中设置)。
脚本完成机械性工作,质量则取决于本文档中的判断性决策。请按顺序遵循工作流程,切勿跳过任何审查环节。
系统要求
- 配备 Apple Silicon 的 Mac(人脸追踪使用 Apple Vision,转录在 GPU 上使用 mlx-whisper)。
ffmpeg,需包含libx264和libx265(通过brew install ffmpeg安装)。- Python 3(设置脚本将在
~/.panel-to-reels/中自建虚环境)。 - 磁盘空间:一个 90 分钟的 4K 源文件大约 6 GB。
一次性设置,在本技能的文件夹中运行:
bash scripts/setup.sh
所有脚本都需要通过封装器运行,以确保使用正确的 Python 环境:bash scripts/run.sh <脚本名> <参数>。每个脚本的确切命令行请参阅 scripts/USAGE.md。
工作流程
在一个项目文件夹 P 中操作(请使用任何持久存储位置,切勿使用 /tmp,因为 macOS 会定期清理该目录)。每个脚本都将 P 作为其第一个参数。
1. 以最高可用分辨率获取源文件
运行 run.sh fetch P <url> 或将本地文件复制到 P/source.<扩展名>。对 16:9 画幅进行 9:16 裁切时,宽度仅保留约三分之一,因此 4K 源文件能保证输出短视频足够清晰。1080p 源文件也可使用,但放大裁切后画质会显得柔和。如果对方拥有原始录制文件,请索要原始相机文件,其质量优于任何上传版本。
2. 转录
运行 run.sh transcribe P --prompt "说话者姓名,公司名称,专业术语"。提示词非常重要:它能大幅提高名称的识别准确性。此操作会生成 transcript.txt 文件,每行开头都有一个词索引。您可以根据这些索引来挑选片段。
3. 如果对方有参考风格,请先学习
索要 2 到 6 个示例帖子。Instagram 会屏蔽直接下载,但公开的嵌入页面(instagram.com/reel/<id>/embed/captioned/)通常会暴露一个视频,并且始终会显示配文。截取帧画面并记录:字幕字体、大小、位置、词的呈现方式、哪些词带有颜色、封面标题的字体和布局。在渲染任何内容之前,将您的观察结果映射到 styles.json 中。
4. 阅读完整的转录文稿并挑选精彩时刻
请完整阅读整个转录文稿。不要只浏览前半部分。一个好的片段应满足:
- 是一个自包含的观点,时长在 20 到 80 秒之间。
- 以一个强有力的句子开场:一个主张、一个数字、一个问题或一个故事转折点。如果最佳句子出现在回答中间,则从那里开始。
- 以一个收尾句结束,而不是半途而废。
优先考虑您正在为其制作内容的说话者(优先选取他们自己的回答)。跳过活动或其他账号已经发布过的时刻;请询问对方或检查他们的链接。将候选列表以表格形式呈现(片段、说话者、钩子句子、时间戳),并让对方在开始制作前进行删减或添加。
5. 确认说话者出现在镜头前(请勿跳过)
对每个候选片段运行 run.sh peek P <起始时间> <结束时间>。多机位剪辑经常会在某人说话时切到反应镜头或全景镜头。规则如下:
- 如果说话者在片段大部分时间内未出现在镜头前,则放弃该片段。竖屏裁切会使其他人的脸覆盖在他们的话语之上。
- 短暂的反应镜头切换(占片段时长大约三分之一以下)可以保留在
letterbox模式下:全景镜头会叠放在模糊填充背景之上,这样就不会造成身份误认。 - 根据对方的衣着和座位位置来识别人员,然后对照转录文稿进行确认(谁被介绍、谁在回答问题)。不要仅凭外貌猜测姓名。
6. 基于词索引进行剪辑
将每个片段写入 P/clips.json(架构参见 scripts/USAGE.md,示例参见 examples/clips.example.json)。
spans是包含性的词索引范围。多个区间可以构成跳跃剪辑(jump cuts),用于收紧冗长的内容,但绝不能改变说话者的原意。fix用于纠正您确信存在的转录错误(例如,“pounded”被听成“found”,或者“CLAUDE.md”被听成“Claude on a D file”)。空字符串表示删除该词。- 如果某个短语含糊不清且您无法确定其内容,请将其剪掉。切勿猜测词句并强加于说话者。
- 当片段以主持人的问题开始时,只保留问题作为引入。绝不能让主持人的台词被误解为嘉宾的发言。
7. 构图
运行 run.sh shots P <clips>,查找镜头切换点(包括慢速溶解过渡),为每个镜头渲染一帧带标尺的画面,并打印出检测到的人脸中心坐标。将说话者的 x 坐标填入每个镜头的 framing 字段中。
crop是相对于源文件高度的裁切比例:对于 3 到 4 人的中景镜头,大约为 0.62;对于全景镜头,为 0.42 到 0.5。- 手持摄像机在摇镜头时需要为每次移动设置构图标记;跟踪器可以跟随平滑运动,但可能会在快速甩镜时丢失目标。
- 并排坐得很近的说话者:请使用打印出的人脸中心精确 x 坐标,而非目测值。
8. 构建并检查
运行 run.sh build P <clips>,然后从每个基础片段中抽取 10 到 16 帧进行检查。说话者在每一帧中都必须在画面内。先修正构图,再重新构建,然后才能进入字幕阶段。
9. 字幕、强调词和封面
- 强调词:手动挑选承载核心观点的词(数字、名称、观点落脚点的名词),填入
emphasis字段。任何没有手动设置强调词的字幕页面都会获得自动选择。 - 标题:4 到 9 个词,忠实于原话,简洁有力。将收尾句用
*星号*包裹,以便获得强调效果。标题内容不得超出说话者的原意。 - 封面帧:说话者面向镜头,如果可能,嘴巴应闭合。如果标题遮住了嘴巴,请提高
cover_shift值(它会将照片上移并淡化边缘)。 - 对镜自拍式的头部特写素材在画面中的位置低于面板式素材:将
caption_center设置为大约 1430,使字幕位于胸前而非嘴巴位置。
10. 渲染、审核、发布
运行 run.sh render_all P,它将以每种样式渲染所有片段,输出到 P/export/<样式名>/ 目录,并打印一个验证表格。然后您亲自审核:以网格尺寸生成所有封面的联系表,并为每个短视频抽取三到四帧进行检查。最后,以说话者的口吻为每个片段撰写配文。引用必须与转录文稿逐字匹配。只@您已确认的账号。对于未知的账号,请使用 [handle] 标记,让对方自行填写。
硬性规则
- 切勿将话语归因于错误的人。如有疑问,请放弃该片段。
- 字幕、封面和配文中的引用必须与转录文稿完全一致。
- 不得在其他组织的非归属内容上使用其名称或品牌标识。品牌标识来自
styles.json;请按项目设置。 - 不得在标题或配文中使用虚构的数字、结果或主张。
- 人脸和声音必须来自真实录制。不得生成或克隆说话者。
已剪辑好的竖屏视频
对于已经剪辑完成的头部特写视频(包括 iPhone HDR),请跳过剪辑和构图步骤:运行 run.sh transcribe P --file <视频文件> --clip <ID>,将片段添加到 clips.json 中,设置 "source_file" 和 "caption_center": 1430,然后运行 run.sh render_all P --clips <ID>。fix 和 emphasis 的词索引来自 P/base/<ID>.words.txt。原始源文件不会被修改。
样式和品牌标识组合
styles.json 包含预设样式。每个样式包含一个 label(导出文件夹名称)、一个 caption 块(字体、字号、在每个字幕页面上循环变化或渐变的强调色、药丸状背景块颜色)和一个 cover 块(强调色、底部渐变、品牌标识行、分隔符、可选的光晕效果)。将 styles.json 复制到项目文件夹 P 中并进行编辑以自定义项目。examples/summit-oak-styles.json 展示了一个完整的品牌化设置。字体根据文件名从本技能的 fonts/ 目录加载;可变字体使用 "Sora:ExtraBold" 语法。
品牌标识组合是每个封面标题下方的两行小字。在样式中设置,并可通过 clips.json 中的 "lockup": ["第一行", "第二行"] 为每个片段进行覆盖。活动片段应包含活动标识;个人视频则应包含其个人姓名和品牌标识,而非活动的。
经验教训(踩坑记录)
- iPhone 录制的素材是 HDR(HLG)格式。 直接叠加标准的 sRGB 图形会导致它们发光并过度饱和。脚本会检测 HLG 并将字幕转换为 HDR 格式,同时保持 10-bit HEVC 输出。通过 Finder 或纯 ffmpeg 抓取的预览看起来会暗淡且扁平;请使用
hlg.frame()生成的静态图像或在手机上判断。 - ffprobe 的 csv 输出可能带有尾随逗号(如
arib-std-b67,)。请使用in进行比较或去除逗号。 - 经过剪辑的面板视频通常使用溶解过渡而非硬切。 场景评分检测通常会漏掉它们;
shots.py中的帧差检测器能够捕捉到。 - 白色字幕在白色应用程序屏幕上会消失。 当字幕背后的背景为亮色时,字幕会自动获得一个深色药丸形背景块。
- Whisper 模型会拆分词元,例如
$2、400和80%。字幕会将其重新组合,因此强调词索引指向第一个部分。 - Instagram 在个人资料网格中显示封面时会被裁切成 3:4(y 方向范围为 1920 中的 240 至 1680)。请确保所有封面文字都位于该区域内。
- macOS 会在几天后清理
/tmp。 请将项目和虚环境保存在持久存储位置。 - 某些 ffmpeg 构建版本缺少
drawtext滤镜,某些 Intel 构建版本无法使用硬件编码器。脚本使用 PIL 处理所有文本,并使用libx265处理 HDR,因此无论哪种情况都能正常工作。
由 Micah Burgess, Summit Oak AI 构建。summitoakai.com