字幕生成(绿幕、语音同步、Shorts安全) 是做什么的?
用户会在After Effects中进一步编辑字幕,因此字幕绝不烧录到影片中。请提供一个独立的纯绿色(#00FF00)素材,分辨率、帧率和帧数与影片完全一致,用户将使用Keylight进行抠像。
外观(于2026-11-11确认,源自用户的“锁定”参考帧)
- 位置: 水平居中;大写字母的中线位于帧高的71.5%(角色胸部下方)。以大写字母的中线为锚点,因此逗号或字母Q不会导致字幕移动。
- 白色、大写、Arial Black,字号为帧高的3.2%(2560分辨率下为82px)。最初为4%,用户要求缩小以避免被Shorts UI遮挡。黑色描边;硬黑色投影,方向为右下。投影为实心,有意为之:模糊/半透明投影会在绿幕上产生绿灰色杂边。
- 保留脚本中的标点符号(如 MONA LISA. / PARIS, / 1911.)。这是用户要求的。
--strip-punct可移除尾部. , ; : - 每条字幕最多2-3个词。字幕绝不跨越句子/逗号或语音停顿,不以虚词(the, of, with, yang, di, dengan ...)结尾,不拆分姓名(如 Mona | Lisa),避免单个孤立的词。
- 每条字幕在第一个词被说出的那一帧出现(一个5帧的弹出动画:0.85 -> 1.06 -> 1),并保持到下一条字幕出现。语音停顿后,字幕在其最后一个词结束后0.25秒消失。
YouTube Shorts 安全区(每条字幕在弹出动画的1.06峰值时都必须满足)
保守的覆盖区域:
- 操作按钮:右侧16%的宽度
- 标题/频道/音乐:底部25%的高度
- 顶部栏:顶部8%的高度
脚本会测量每条字幕的墨迹,对任何越过安全区的字幕打印 WARNING outside the Shorts safe zone: <text>,并打印其覆盖范围(应约为“宽度83.8%,高度69.8-74.0%”)。字幕块会被拆分以适应 --max-width 0.68。对于单个长单词,则缩小字号以适配。绝不能提交带有WARNING的结果:请降低 --size,或略微提高 --y。
模型(节省Token,于2026-11-12批准)
在Haiku 5.5上运行字幕生成(使用model: "haiku"的remotion-renderer agent,或一个Haiku会话):脚本负责时间处理、拆分和安全区检查,并将结果打印为文本。仅当需要评判新的字幕外观时使用Sonnet;仅当需要修改 scripts/captions.py 逻辑时使用Opus。
步骤
- 词级时间戳: 短片对应的
stories/<slug>/voice/words.json文件。该文件由scripts/words_from_voice.py生成(faster-whisper 与脚本拼写对齐)。如果文件缺失,请先生成:python scripts/words_from_voice.py <voice.wav> <SCRIPT.md> <words.json> [en|id]。 时间必须与影片音频匹配(最终版本的声音从0秒开始)。 - 先测试一小段(用户希望在完整渲染前看到一个简短的测试):
它会打印每条字幕及其时间戳和安全区检查结果,并生成:python scripts/captions.py stories/<slug>/voice/words.json out/<slug>/captions --start 0 --dur 10 \ --preview "out/<slug>/final/<Title>.mp4" --alphacaptions_green.mp4captions_alpha.movcaptions.jsoncaptions_preview.mp4(影片 + 抠像后的字幕 + 声音,仅用于检查)
- 检查:
- 从预览中提取最宽字幕的帧,并用红色绘制出Shorts安全区(ffmpeg
drawbox:x=iw0.84, y=ih0.45 至底部, y=ih0.75 至底部, 顶部 ih0.08),用hstack拼成一张图,仔细查看。 - 查看一张全分辨率画面,检查是否存在绿色杂边。
- 向用户发送
captions_preview.mp4、captions_green.mp4以及打印的字幕列表。
- 从预览中提取最宽字幕的帧,并用红色绘制出Shorts安全区(ffmpeg
- 用户确认后,使用
--dur <film frames / fps>渲染完整长度,使素材的帧数与影片完全一致(使用ffprobe -count_packets确认)。
可调参数(scripts/captions.py)
--y 0.715:垂直位置--size 0.032:字号--max-width 0.68:最宽字幕宽度--font <ttf>:字体文件--max-words 3:每块最大词数--gap 0.30:用于切分词组的停顿阈值(秒)--hold 0.25:语音停顿后字幕保持时间(秒)--lead 0:字幕提前出现的帧数--no-pop:禁用弹出动画--lower:保持原始大小写--strip-punct:移除尾部标点--alpha:输出ProRes 4444 Alpha通道文件
给用户的AE操作说明
- 绿幕素材: 使用Keylight,将Screen Colour设为纯绿色。该素材为yuv444 crf 8编码,因此边缘保持干净。
- Alpha .mov: 无需抠像(直接叠放在上层即可)。
- captions.json: 列出每条字幕的文本及入点/出点秒数,用于在AE中重建为文本图层。