Communitygithub.com

字幕生成(绿幕、语音同步、Shorts安全)

为短片生成与语音同步的字幕,作为独立的绿幕素材(可选带Alpha通道的ProRes 4444),适用于After Effects。白色大写文本、黑色描边、硬投影,每行2-3个词,居中偏低帧,避开YouTube Shorts UI,时间与旁白对齐。当用户要求为短视频生成字幕、隐藏式字幕、“绿幕字幕”、“teks ikut suara”或“captions skill”时使用。

字幕生成(绿幕、语音同步、Shorts安全) 是什么?

该技能专为需要后期在After Effects中编辑字幕的用户设计。它不会将字幕直接“烧录”到视频中,而是生成一段独立的纯绿色(#00FF00)背景素材,分辨率、帧率和帧数与原片完全一致,方便用户使用Keylight(或其他色度键工具)一键去背景。输出还包括一个ProRes 4444格式的Alpha通道文件(可选),以及一个包含每条字幕文本和入/出秒数的JSON文件,用于在AE中重建为文本图层。 技能的核心逻辑由`scripts/captions.py`脚本处理:它根据`words.json`(由faster-whisper与脚本拼写对齐生成)中的词级时间戳,自动切分字幕块(每块2-3个词,不超过句子/逗号/语音停顿,避免以虚词结尾)。脚本还会严格检查字幕是否落入YouTube Shorts的UI安全区(右16%宽度、底部25%高度、顶部8%高度),若超出则输出警告并提示调整字号或垂直位置。 字幕外观已与用户锁定:白色大写Arial Black字体,字号为帧高的3.2%(2560分辨率下为82px),黑色描边+硬黑色投影(无模糊/半透明,以防绿幕边缘产生绿灰色杂边)。字幕水平居中,其大写字母的中线位于帧高的71.5%(即角色胸部下方)。标点符号保留(除非使用`--strip-punct`移除尾部句点、逗号、分号、冒号)。 技能推荐在Haiku 5.5上运行(负责时间处理、切分和安全区检查),Sonnet仅用于评判新的字幕外观,Opus仅用于修改脚本逻辑。工作流程包括:首先生成`words.json`,然后进行10秒测试渲染(生成预览、绿幕和Alpha文件),用户确认后再进行全片渲染。脚本提供了多个可调参数,如垂直位置(`--y`)、字号(`--size`)、最大宽度(`--max-width`)、每块最大词数(`--max-words`)、语音停顿阈值(`--gap`)等。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fahniazz/claude-shorts-skills/tree/HEAD/skills/captions

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

字幕生成(绿幕、语音同步、Shorts安全) 是做什么的?

用户会在After Effects中进一步编辑字幕,因此字幕绝不烧录到影片中。请提供一个独立的纯绿色(#00FF00)素材,分辨率、帧率和帧数与影片完全一致,用户将使用Keylight进行抠像。

外观(于2026-11-11确认,源自用户的“锁定”参考帧)

  • 位置: 水平居中;大写字母的中线位于帧高的71.5%(角色胸部下方)。以大写字母的中线为锚点,因此逗号或字母Q不会导致字幕移动。
  • 白色、大写、Arial Black,字号为帧高的3.2%(2560分辨率下为82px)。最初为4%,用户要求缩小以避免被Shorts UI遮挡。黑色描边;硬黑色投影,方向为右下。投影为实心,有意为之:模糊/半透明投影会在绿幕上产生绿灰色杂边。
  • 保留脚本中的标点符号(如 MONA LISA. / PARIS, / 1911.)。这是用户要求的。--strip-punct 可移除尾部. , ; :
  • 每条字幕最多2-3个词。字幕绝不跨越句子/逗号或语音停顿,不以虚词(the, of, with, yang, di, dengan ...)结尾,不拆分姓名(如 Mona | Lisa),避免单个孤立的词。
  • 每条字幕在第一个词被说出的那一帧出现(一个5帧的弹出动画:0.85 -> 1.06 -> 1),并保持到下一条字幕出现。语音停顿后,字幕在其最后一个词结束后0.25秒消失。

YouTube Shorts 安全区(每条字幕在弹出动画的1.06峰值时都必须满足)

保守的覆盖区域:

  • 操作按钮:右侧16%的宽度
  • 标题/频道/音乐:底部25%的高度
  • 顶部栏:顶部8%的高度

脚本会测量每条字幕的墨迹,对任何越过安全区的字幕打印 WARNING outside the Shorts safe zone: <text>,并打印其覆盖范围(应约为“宽度83.8%,高度69.8-74.0%”)。字幕块会被拆分以适应 --max-width 0.68。对于单个长单词,则缩小字号以适配。绝不能提交带有WARNING的结果:请降低 --size,或略微提高 --y。

模型(节省Token,于2026-11-12批准)

在Haiku 5.5上运行字幕生成(使用model: "haiku"的remotion-renderer agent,或一个Haiku会话):脚本负责时间处理、拆分和安全区检查,并将结果打印为文本。仅当需要评判新的字幕外观时使用Sonnet;仅当需要修改 scripts/captions.py 逻辑时使用Opus。

步骤

  1. 词级时间戳: 短片对应的 stories/<slug>/voice/words.json 文件。该文件由 scripts/words_from_voice.py 生成(faster-whisper 与脚本拼写对齐)。如果文件缺失,请先生成: python scripts/words_from_voice.py <voice.wav> <SCRIPT.md> <words.json> [en|id]。 时间必须与影片音频匹配(最终版本的声音从0秒开始)。
  2. 先测试一小段(用户希望在完整渲染前看到一个简短的测试):
    python scripts/captions.py stories/<slug>/voice/words.json out/<slug>/captions --start 0 --dur 10 \
      --preview "out/<slug>/final/<Title>.mp4" --alpha
    
    它会打印每条字幕及其时间戳和安全区检查结果,并生成:
    • captions_green.mp4
    • captions_alpha.mov
    • captions.json
    • captions_preview.mp4(影片 + 抠像后的字幕 + 声音,仅用于检查)
  3. 检查:
    • 从预览中提取最宽字幕的帧,并用红色绘制出Shorts安全区(ffmpeg drawbox:x=iw0.84, y=ih0.45 至底部, y=ih0.75 至底部, 顶部 ih0.08),用 hstack 拼成一张图,仔细查看。
    • 查看一张全分辨率画面,检查是否存在绿色杂边。
    • 向用户发送 captions_preview.mp4、captions_green.mp4 以及打印的字幕列表。
  4. 用户确认后,使用 --dur <film frames / fps> 渲染完整长度,使素材的帧数与影片完全一致(使用 ffprobe -count_packets 确认)。

可调参数(scripts/captions.py)

  • --y 0.715:垂直位置
  • --size 0.032:字号
  • --max-width 0.68:最宽字幕宽度
  • --font <ttf>:字体文件
  • --max-words 3:每块最大词数
  • --gap 0.30:用于切分词组的停顿阈值(秒)
  • --hold 0.25:语音停顿后字幕保持时间(秒)
  • --lead 0:字幕提前出现的帧数
  • --no-pop:禁用弹出动画
  • --lower:保持原始大小写
  • --strip-punct:移除尾部标点
  • --alpha:输出ProRes 4444 Alpha通道文件

给用户的AE操作说明

  • 绿幕素材: 使用Keylight,将Screen Colour设为纯绿色。该素材为yuv444 crf 8编码,因此边缘保持干净。
  • Alpha .mov: 无需抠像(直接叠放在上层即可)。
  • captions.json: 列出每条字幕的文本及入点/出点秒数,用于在AE中重建为文本图层。

相关技能