align-captions
既存のスクリプトテキストを音声にアライメントして、カラオケ形式のキャプションを生成します。Qwen3-ForcedAligner-0.6B(約30msの精度)と、中国語の単語分割(文字を自然な単語にグループ化)にjiebaを使用します。
パイプライン
スクリプト + 音声
↓
Qwen3-ForcedAligner(文字レベルタイムスタンプ)
↓
jieba単語分割(文字 → 中国語単語)
↓
位置ベースのフレーズマッチング(単語 → フレーズ)
↓
出力:単語タイムスタンプが埋め込まれたフレーズ
使用方法
# スクリプトを音声にアライメント(単語タイムスタンプ付きフレーズレベル出力)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."
# ファイルに保存
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json
# 単語レベル出力のみ(フレーズグループ化なし)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level
出力形式
Remotionのカラオケレンダリング用に設計されています:
{
"segments": [
{
"text": "当全世界...",
"startMs": 240, "endMs": 2080,
"words": [
{"text": "当", "startMs": 240, "endMs": 400},
{"text": "全世界", "startMs": 400, "endMs": 880}
]
}
],
"word_segments": [...],
"language": "Chinese",
"model": "Qwen3-ForcedAligner-0.6B"
}
プログラムでの使用法
from align import align_captions
# 単語タイムスタンプが埋め込まれたフレーズを取得
result = align_captions(
"voiceover.wav",
script="当全世界都在追AI的时候...",
language="Chinese"
)
# 各フレーズにカラオケハイライト用の'words'配列が含まれます
for phrase in result["segments"]:
print(f"{phrase['text']}: {len(phrase['words'])} words")
make-videoとの統合
make_video.py は以下の条件が満たされた場合、自動的にalign-captionsを使用します:
- 音声ファイルが存在する
project.jsonにスクリプトが指定されているcaption_modeが "auto" または "asr" に設定されている
出力はRemotionのRollingCaptionコンポーネントに渡され、カラオケレンダリングが行われます。
エラー回復
- 音声ファイルが見つからない場合: 呼び出し前にパスの存在を確認してください。スクリプトは
FileNotFoundErrorを発生させます——project.jsonで正しい音声パスを確認してください。 - モデルのダウンロードに失敗した場合: Qwen3-ForcedAligner(約1GB)は初回実行時にダウンロードされます。失敗した場合(ネットワーク/ディスク問題)、再試行するか、手動でHuggingFaceキャッシュ(
~/.cache/huggingface/)にダウンロードしてください。 - jiebaがインストールされていない場合:
pip install jiebaを実行してください。これがない場合、中国語テキストは文字レベルのタイムスタンプにフォールバックします(単語グループ化なし)。
注意事項
- 対応言語は11言語:中国語、英語、広東語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語