语音 ↔ 视频同步
规则零:音轨驱动时钟。 画面根据实测音频进行定时,绝不能依赖猜测的持续时间。
1. 撰写旁白
- 从观众的处境切入,而非定义。一个故事线;先有因后有果。
- 将数字转换为可感知的尺度(例如“电话本大小”,而非“3.2 MB”)。
- 比喻必须有分量;叙述者需持有观点。
- 不要描述画面已经展示的内容;要说出画面无法传达的信息。
- 结尾呼应开头。章节边界需要衔接:第N章的最后一行要为第N+1章的第一行做铺垫。
- 根据语速进行预算:英语约125–150词/分钟(TTS语音各异——需测量一个样本);葡萄牙语约140–160词/分钟;中文约4–5.5字符/秒。
脚本文件格式(一个段落=一个镜头,| 分割字幕块):
# 第1章 地图为何撒谎
你看过的每一张地图 | 都是由某个 | 有目的的人绘制的。
墨卡托希望水手 | 能沿着直线航行。
## gap 0.6
## gap <秒数> 要求在该段落之后至少pause该时长(为最后一个画面提供停留时间)。需在音频中体现——对于TTS,使用SSML <break time="600ms"/>;对于逐段落文件汇编,则插入静音。时间线工具绝不移动时间点;它仅用于验证pause。
2. 锁定脚本
展示完整脚本,包含词数和预估时长,并获得明确的“已批准”。锁定后,所有时间点均从音频推导;更改任何一个词将导致其后的所有镜头重新定时。
3. 制作语音
- TTS(无录音时的默认选项):询问用户偏好的引擎/语音。将文本发送至云端TTS(ElevenLabs、Azure、OpenAI、Google、edge-tts)会将脚本共享给该提供商——需先确认。本地选项(Kokoro、Piper)则可保留在机器上。
- 录制旁白:接受WAV 48 kHz格式。修剪静音,保留自然呼吸,后续在混音中做规范化处理。
- 保持每个段落一个文件,或一个主文件加时间戳;两种方式均适用于时间线工具。
4. 获取时间戳
使用TTS API响应中的词级或段级时间戳,或使用音频与脚本强制对齐工具(WhisperX、whisper-timestamped、stable-ts,或带 word_timestamps=True 参数的Whisper)。将其规范化为此JSON格式:
{"segments": [{"text": "Every map you have seen", "start": 0.00, "end": 1.42,
"words": [{"word": "Every", "start": 0.00, "end": 0.21}]}]}
5. 构建时间线
python3 <插件根目录>/scripts/build_timeline.py words.json --script script.txt --fps 30 \
--out-dir timeline/ --max-chars 42 --min-dwell 1.0
生成 timeline.json(包含镜头起始/结束帧、字幕块、章节起点)、captions.srt、captions.vtt,并针对以下情况发出警告:脚本中的词在音频中缺失(或音频中的词在脚本中缺失)、字幕过长或阅读速度过快、镜头最后一条字幕距离下一个镜头不足 --min-dwell 秒(需在音频中添加pause或合并镜头)、请求的 ## gap pause在音频中不存在、以及超过3秒的静音。强制对齐工具未能定时的词(如WhisperX中的数字)将在其相邻词之间进行插值。将 timeline.json 输入到合成流程中;切勿手动输入帧号。
6. 字幕规则
- 每行≤42个字符,≤2行,屏幕上停留时间≥1.0秒,最高阅读速度约为17字符/秒。
- 在短语边界处断行,绝不能在冠词和名词之间断开。
- 在9:16比例中,保持字幕远离下部平台界面区域以及屏幕上的UI文字。
- 社交媒体使用内嵌字幕;YouTube和网页播放器使用侧加载的SRT/VTT文件。
7. 混音
| 层级 | 目标 |
|---|---|
| 集成响度(最终) | 社交/网络为−14 LUFS(−16亦可接受);广播为−23 LUFS |
| 真实峰值 | ≤ −1 dBTP |
| 旁白下的音乐 | 语音出现时闪避8–12 dB,起音/释放时间为150–300 ms |
| 音效 | 比音乐低约10 dB;放置于动因帧上,而非之后 |
使用 <插件根目录>/scripts/qc.sh loudness final.mp4 进行测量(广播用途加 -23)。当安装了HyperFrames音频技能时,hyperframes-audio 可在合成流程内提供闪避(“旁白雕刻”)、均衡器和自动化;否则使用FFmpeg的 sidechaincompress 和 loudnorm(两遍处理)。
8. 预览检查点
渲染前≤30秒的内容(包含语音、字幕和音乐)并询问:“语音、节奏、字幕大小和韵律——是否OK?”在此之后更改节奏意味着需重新运行TTS并重新定时一切。