字幕對齊
將現有腳本文字對齊音訊,產生卡拉OK風格字幕。使用 Qwen3-ForcedAligner-0.6B(約 30 毫秒精度)和 jieba 進行中文分詞(將字元組合成自然詞語)。
流程
腳本 + 音訊
↓
Qwen3-ForcedAligner(字元級時間戳記)
↓
Jieba 分詞(字元 → 中文詞語)
↓
基於位置的片語匹配(詞語 → 片語)
↓
輸出:帶有嵌入字時間戳記的片語
使用方式
# 將腳本對齊到音訊(片語級輸出,附帶字時間戳記)
python skills/align-captions/align.py voiceover.wav --script "當全世界都在追AI的時候..."
# 儲存到檔案
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json
# 僅輸出逐字級(無片語分組)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level
輸出格式
專為 Remotion 卡拉OK渲染設計:
{
"segments": [
{
"text": "當全世界...",
"startMs": 240, "endMs": 2080,
"words": [
{"text": "當", "startMs": 240, "endMs": 400},
{"text": "全世界", "startMs": 400, "endMs": 880}
]
}
],
"word_segments": [...],
"language": "Chinese",
"model": "Qwen3-ForcedAligner-0.6B"
}
程式化使用
from align import align_captions
# 取得帶有嵌入式字時間戳記的片語
result = align_captions(
"voiceover.wav",
script="當全世界都在追AI的時候...",
language="Chinese"
)
# 每個片語都有一個 'words' 陣列,用於卡拉OK高亮
for phrase in result["segments"]:
print(f"{phrase['text']}: {len(phrase['words'])} words")
與 make-video 整合
當以下條件成立時,make_video.py 指令碼會自動使用字幕對齊:
- 存在旁白音訊檔案
- 在 project.json 中提供了腳本
caption_mode設定為 "auto" 或 "asr"
輸出結果會傳遞給 Remotion 的 RollingCaption 元件進行卡拉OK渲染。
錯誤恢復
- 找不到音訊檔案:呼叫前請先確認路徑存在。指令碼會拋出
FileNotFoundError— 請檢查project.json中的旁白音訊路徑是否正確。 - 模型下載失敗:Qwen3-ForcedAligner(約 1GB)會在首次執行時下載。如果下載失敗(網路或磁碟問題),請重試,或手動下載到 HuggingFace 快取目錄 (
~/.cache/huggingface/)。 - jieba 未安裝:執行
pip install jieba。若未安裝,中文文字會退回到字元級時間戳記(無分詞分組)。
備註
- 支援 11 種語言:中文、英文、粵語、法文、德文、義大利文、日文、韓文、葡萄牙文、俄文、西班牙文