Communitygithub.com

micahwburgess-spec/panel-to-reels

将长篇演讲、小组讨论、播客或访谈录制转换为竖屏 9:16 短视频,并配上逐词构建的字幕和 Instagram 网格封面,支持两种字幕样式。也适用于已剪辑好的竖屏视频,包括 iPhone HDR 素材。适合需要从长视频中剪辑短视频、添加内嵌字幕或制作封面时使用。

panel-to-reels 是什么?

这是一个 AI 代理技能,专门用于将长篇视频内容(如演讲、小组讨论、播客或访谈)自动生成为适合社交媒体发布的竖屏 9:16 短视频。其核心流程包括:使用 Apple Vision 进行人脸追踪、通过 mlx-whisper(在 Apple Silicon GPU 上运行)进行转录、基于词边界进行剪辑、将画面裁切为 9:16 并聚焦说话者、逐词添加字幕,以及生成 Instagram 个人资料网格风格的封面。每个片段都会以两种样式渲染:一种使用白字和红/蓝/品红强调色,另一种使用 `styles.json` 中自定义的品牌颜色和字体。该技能还支持处理已剪辑好的竖屏视频(包括 iPhone HDR 素材),并提供了严谨的质量检查环节,例如要求检查说话者是否在画面中、进行镜头分析以及手动审核强调词和封面帧。它需要基于 Apple Silicon 的 Mac 电脑,并依赖 ffmpeg 和 Python 3。整个工作流程高度自动化,但关键在于人工判断:用户必须阅读完整的转录文稿、挑选精彩片段、确认说话者是否在镜头前,并为每个片段撰写准确的配文。该技能明令禁止归因错误、编造引语、擅自使用他人品牌标识,以及生成或克隆人脸和声音。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add micahwburgess-spec/panel-to-reels

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

面板转短视频工具 (Panel to Reels)

将一段长录制内容转换为一组可直接发布的竖屏短视频。每个短视频在词边界处进行剪辑,重新构图至 9:16 并聚焦说话者面部,逐词添加字幕,并为每个视频生成适配 Instagram 个人资料网格的封面。每个片段以两种样式渲染:构建式(白色字幕,红/蓝/品红强调色)和品牌式(自定义颜色和字体,在 styles.json 中设置)。

脚本完成机械性工作,质量则取决于本文档中的判断性决策。请按顺序遵循工作流程,切勿跳过任何审查环节。

系统要求

  • 配备 Apple Silicon 的 Mac(人脸追踪使用 Apple Vision,转录在 GPU 上使用 mlx-whisper)。
  • ffmpeg,需包含 libx264 和 libx265(通过 brew install ffmpeg 安装)。
  • Python 3(设置脚本将在 ~/.panel-to-reels/ 中自建虚环境)。
  • 磁盘空间:一个 90 分钟的 4K 源文件大约 6 GB。

一次性设置,在本技能的文件夹中运行:

bash scripts/setup.sh

所有脚本都需要通过封装器运行,以确保使用正确的 Python 环境:bash scripts/run.sh <脚本名> <参数>。每个脚本的确切命令行请参阅 scripts/USAGE.md。

工作流程

在一个项目文件夹 P 中操作(请使用任何持久存储位置,切勿使用 /tmp,因为 macOS 会定期清理该目录)。每个脚本都将 P 作为其第一个参数。

1. 以最高可用分辨率获取源文件

运行 run.sh fetch P <url> 或将本地文件复制到 P/source.<扩展名>。对 16:9 画幅进行 9:16 裁切时,宽度仅保留约三分之一,因此 4K 源文件能保证输出短视频足够清晰。1080p 源文件也可使用,但放大裁切后画质会显得柔和。如果对方拥有原始录制文件,请索要原始相机文件,其质量优于任何上传版本。

2. 转录

运行 run.sh transcribe P --prompt "说话者姓名,公司名称,专业术语"。提示词非常重要:它能大幅提高名称的识别准确性。此操作会生成 transcript.txt 文件,每行开头都有一个词索引。您可以根据这些索引来挑选片段。

3. 如果对方有参考风格,请先学习

索要 2 到 6 个示例帖子。Instagram 会屏蔽直接下载,但公开的嵌入页面(instagram.com/reel/<id>/embed/captioned/)通常会暴露一个视频,并且始终会显示配文。截取帧画面并记录:字幕字体、大小、位置、词的呈现方式、哪些词带有颜色、封面标题的字体和布局。在渲染任何内容之前,将您的观察结果映射到 styles.json 中。

4. 阅读完整的转录文稿并挑选精彩时刻

请完整阅读整个转录文稿。不要只浏览前半部分。一个好的片段应满足:

  • 是一个自包含的观点,时长在 20 到 80 秒之间。
  • 以一个强有力的句子开场:一个主张、一个数字、一个问题或一个故事转折点。如果最佳句子出现在回答中间,则从那里开始。
  • 以一个收尾句结束,而不是半途而废。

优先考虑您正在为其制作内容的说话者(优先选取他们自己的回答)。跳过活动或其他账号已经发布过的时刻;请询问对方或检查他们的链接。将候选列表以表格形式呈现(片段、说话者、钩子句子、时间戳),并让对方在开始制作前进行删减或添加。

5. 确认说话者出现在镜头前(请勿跳过)

对每个候选片段运行 run.sh peek P <起始时间> <结束时间>。多机位剪辑经常会在某人说话时切到反应镜头或全景镜头。规则如下:

  • 如果说话者在片段大部分时间内未出现在镜头前,则放弃该片段。竖屏裁切会使其他人的脸覆盖在他们的话语之上。
  • 短暂的反应镜头切换(占片段时长大约三分之一以下)可以保留在 letterbox 模式下:全景镜头会叠放在模糊填充背景之上,这样就不会造成身份误认。
  • 根据对方的衣着和座位位置来识别人员,然后对照转录文稿进行确认(谁被介绍、谁在回答问题)。不要仅凭外貌猜测姓名。

6. 基于词索引进行剪辑

将每个片段写入 P/clips.json(架构参见 scripts/USAGE.md,示例参见 examples/clips.example.json)。

  • spans 是包含性的词索引范围。多个区间可以构成跳跃剪辑(jump cuts),用于收紧冗长的内容,但绝不能改变说话者的原意。
  • fix 用于纠正您确信存在的转录错误(例如,“pounded”被听成“found”,或者“CLAUDE.md”被听成“Claude on a D file”)。空字符串表示删除该词。
  • 如果某个短语含糊不清且您无法确定其内容,请将其剪掉。切勿猜测词句并强加于说话者。
  • 当片段以主持人的问题开始时,只保留问题作为引入。绝不能让主持人的台词被误解为嘉宾的发言。

7. 构图

运行 run.sh shots P <clips>,查找镜头切换点(包括慢速溶解过渡),为每个镜头渲染一帧带标尺的画面,并打印出检测到的人脸中心坐标。将说话者的 x 坐标填入每个镜头的 framing 字段中。

  • crop 是相对于源文件高度的裁切比例:对于 3 到 4 人的中景镜头,大约为 0.62;对于全景镜头,为 0.42 到 0.5。
  • 手持摄像机在摇镜头时需要为每次移动设置构图标记;跟踪器可以跟随平滑运动,但可能会在快速甩镜时丢失目标。
  • 并排坐得很近的说话者:请使用打印出的人脸中心精确 x 坐标,而非目测值。

8. 构建并检查

运行 run.sh build P <clips>,然后从每个基础片段中抽取 10 到 16 帧进行检查。说话者在每一帧中都必须在画面内。先修正构图,再重新构建,然后才能进入字幕阶段。

9. 字幕、强调词和封面

  • 强调词:手动挑选承载核心观点的词(数字、名称、观点落脚点的名词),填入 emphasis 字段。任何没有手动设置强调词的字幕页面都会获得自动选择。
  • 标题:4 到 9 个词,忠实于原话,简洁有力。将收尾句用 *星号* 包裹,以便获得强调效果。标题内容不得超出说话者的原意。
  • 封面帧:说话者面向镜头,如果可能,嘴巴应闭合。如果标题遮住了嘴巴,请提高 cover_shift 值(它会将照片上移并淡化边缘)。
  • 对镜自拍式的头部特写素材在画面中的位置低于面板式素材:将 caption_center 设置为大约 1430,使字幕位于胸前而非嘴巴位置。

10. 渲染、审核、发布

运行 run.sh render_all P,它将以每种样式渲染所有片段,输出到 P/export/<样式名>/ 目录,并打印一个验证表格。然后您亲自审核:以网格尺寸生成所有封面的联系表,并为每个短视频抽取三到四帧进行检查。最后,以说话者的口吻为每个片段撰写配文。引用必须与转录文稿逐字匹配。只@您已确认的账号。对于未知的账号,请使用 [handle] 标记,让对方自行填写。

硬性规则

  • 切勿将话语归因于错误的人。如有疑问,请放弃该片段。
  • 字幕、封面和配文中的引用必须与转录文稿完全一致。
  • 不得在其他组织的非归属内容上使用其名称或品牌标识。品牌标识来自 styles.json;请按项目设置。
  • 不得在标题或配文中使用虚构的数字、结果或主张。
  • 人脸和声音必须来自真实录制。不得生成或克隆说话者。

已剪辑好的竖屏视频

对于已经剪辑完成的头部特写视频(包括 iPhone HDR),请跳过剪辑和构图步骤:运行 run.sh transcribe P --file <视频文件> --clip <ID>,将片段添加到 clips.json 中,设置 "source_file" 和 "caption_center": 1430,然后运行 run.sh render_all P --clips <ID>。fix 和 emphasis 的词索引来自 P/base/<ID>.words.txt。原始源文件不会被修改。

样式和品牌标识组合

styles.json 包含预设样式。每个样式包含一个 label(导出文件夹名称)、一个 caption 块(字体、字号、在每个字幕页面上循环变化或渐变的强调色、药丸状背景块颜色)和一个 cover 块(强调色、底部渐变、品牌标识行、分隔符、可选的光晕效果)。将 styles.json 复制到项目文件夹 P 中并进行编辑以自定义项目。examples/summit-oak-styles.json 展示了一个完整的品牌化设置。字体根据文件名从本技能的 fonts/ 目录加载;可变字体使用 "Sora:ExtraBold" 语法。

品牌标识组合是每个封面标题下方的两行小字。在样式中设置,并可通过 clips.json 中的 "lockup": ["第一行", "第二行"] 为每个片段进行覆盖。活动片段应包含活动标识;个人视频则应包含其个人姓名和品牌标识,而非活动的。

经验教训(踩坑记录)

  • iPhone 录制的素材是 HDR(HLG)格式。 直接叠加标准的 sRGB 图形会导致它们发光并过度饱和。脚本会检测 HLG 并将字幕转换为 HDR 格式,同时保持 10-bit HEVC 输出。通过 Finder 或纯 ffmpeg 抓取的预览看起来会暗淡且扁平;请使用 hlg.frame() 生成的静态图像或在手机上判断。
  • ffprobe 的 csv 输出可能带有尾随逗号(如 arib-std-b67,)。请使用 in 进行比较或去除逗号。
  • 经过剪辑的面板视频通常使用溶解过渡而非硬切。 场景评分检测通常会漏掉它们;shots.py 中的帧差检测器能够捕捉到。
  • 白色字幕在白色应用程序屏幕上会消失。 当字幕背后的背景为亮色时,字幕会自动获得一个深色药丸形背景块。
  • Whisper 模型会拆分词元,例如 $2、400 和 80 %。字幕会将其重新组合,因此强调词索引指向第一个部分。
  • Instagram 在个人资料网格中显示封面时会被裁切成 3:4(y 方向范围为 1920 中的 240 至 1680)。请确保所有封面文字都位于该区域内。
  • macOS 会在几天后清理 /tmp。 请将项目和虚环境保存在持久存储位置。
  • 某些 ffmpeg 构建版本缺少 drawtext 滤镜,某些 Intel 构建版本无法使用硬件编码器。脚本使用 PIL 处理所有文本,并使用 libx265 处理 HDR,因此无论哪种情况都能正常工作。

由 Micah Burgess, Summit Oak AI 构建。summitoakai.com

相关技能