对齐字幕
将现有剧本文本与音频对齐,生成卡拉OK风格的字幕。使用Qwen3-ForcedAligner-0.6B(约30毫秒精度)和jieba中文分词库(将字符分组为自然词语)。
流程
脚本 + 音频
↓
Qwen3-ForcedAligner(字符级时间戳)
↓
Jieba分词(字符 → 中文词语)
↓
基于位置的短语匹配(词语 → 短语)
↓
输出:包含嵌入词语时间戳的短语
用法
# 将脚本与音频对齐(输出短语级结果,包含词语时间戳)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."
# 保存到文件
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json
# 仅词语级(无短语分组)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level
输出格式
专为Remotion卡拉OK渲染设计:
{
"segments": [
{
"text": "当全世界...",
"startMs": 240, "endMs": 2080,
"words": [
{"text": "当", "startMs": 240, "endMs": 400},
{"text": "全世界", "startMs": 400, "endMs": 880}
]
}
],
"word_segments": [...],
"language": "Chinese",
"model": "Qwen3-ForcedAligner-0.6B"
}
编程用法
from align import align_captions
# 获取包含嵌入词语时间戳的短语
result = align_captions(
"voiceover.wav",
script="当全世界都在追AI的时候...",
language="Chinese"
)
# 每个短语都有一个用于卡拉OK高亮的 'words' 数组
for phrase in result["segments"]:
print(f"{phrase['text']}: {len(phrase['words'])} 个词语")
与 make-video 集成
make_video.py 脚本在以下情况下会自动使用对齐字幕功能:
- 存在声优文件
- 在 project.json 中提供了剧本
caption_mode设置为 "auto" 或 "asr"
输出将传递给Remotion的 RollingCaption 组件进行卡拉OK渲染。
错误恢复
- 音频文件未找到:在调用之前请验证路径是否存在。脚本会抛出
FileNotFoundError—— 请检查project.json中正确的声优路径。 - 模型下载失败:Qwen3-ForcedAligner(约1GB)在首次运行时下载。如果下载失败(网络/磁盘问题),请重试或手动下载到HuggingFace缓存(
~/.cache/huggingface/)。 - jieba未安装:运行
pip install jieba。如果没有jieba,中文文本会回退到字符级时间戳(无词语分组)。
备注
- 支持11种语言:中文、英文、粤语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语