音声 ↔ 映像 同期
ルールゼロ: 音声トラックが時計を支配する。映像は測定された音声に合わせてタイミングを決め、推測された時間には合わせない。
1. ナレーションを書く
- 定義ではなく、視聴者の状況から始める。一つのストーリーライン。原因の後に結果。
- 数値を体感スケールに変換する(「3.2MB」ではなく「電話帳の大きさ」)。
- 比喩には重みが必要。ナレーターは明確な視点を持つ。
- 映像がすでに示していることを説明しない。映像が伝えられないことを言う。
- 冒頭に呼応して締めくくる。チャプターの境界は引き継ぎ: チャプターNの最後の行が、N+1の最初の行を設定する。
- 話す速度で予算を組む: 英語 ≈ 125–150語/分(TTS音声は異なる — サンプルを測定すること); ポルトガル語 ≈ 140–160語/分; 中国語 ≈ 4–5.5文字/秒。
スクリプトファイルの書式(1段落 = 1ショット、| はキャプションブロックを区切る):
# チャプター1 地図が嘘をつく理由
あなたが見た地図は | 誰かによって描かれた | 理由があって。
メルカトルは船乗りに | まっすぐな針路を保たせたかった。
## gap 0.6
## gap <秒数> は、段落後に少なくともその長さの間を要求する(最後のビジュアルのための滞留)。音声内でそれを生成する — TTSの場合はSSML <break time="600ms"/>、段落ごとのファイルを組み立てる場合は挿入された無音。タイムラインツールは決してタイミングをずらさない。ポーズが存在することを検証する。
2. スクリプトを確定する
スクリプト全体を単語数と推定時間とともに表示し、明示的な「承認」を得る。確定後、すべてのタイミングは音声から導出される。単語を変更すると、その後のすべてのショットが再タイミングされる。
3. 音声を生成する
- TTS(録音がない場合のデフォルト): ユーザーに好みのエンジン/音声を尋ねる。テキストをクラウドTTS(ElevenLabs、Azure、OpenAI、Google、edge-tts)に送信すると、そのプロバイダーとスクリプトが共有される — 事前に確認する。ローカルオプション(Kokoro、Piper)はマシン内に留める。
- 録音ボイスオーバー : WAV 48 kHzを受け付ける。無音をトリミングし、呼吸は自然に残し、後でミックスでノーマライズする。
- 段落ごとに1ファイルにするか、タイムスタンプ付きの1つのマスターファイルを保持する。どちらもタイムラインツールで動作する。
4. タイムスタンプを取得する
TTS APIレスポンスからの単語またはセグメントレベルのタイムスタンプを使用するか、音声をスクリプトに強制アライメントする(WhisperX、 whisper-timestamped、 stable-ts、または word_timestamps=True 付きのWhisper)。次のJSONに正規化する:
{"segments": [{"text": "Every map you have seen", "start": 0.00, "end": 1.42,
"words": [{"word": "Every", "start": 0.00, "end": 0.21}]}]}
5. タイムラインを構築する
python3 <plugin-root>/scripts/build_timeline.py words.json --script script.txt --fps 30 \
--out-dir timeline/ --max-chars 42 --min-dwell 1.0
timeline.json(開始/終了フレーム、キャプションブロック、チャプター開始を含むショット)、 captions.srt、 captions.vttを生成し、以下の警告を出力する: 音声にないスクリプトの単語(またはスクリプトにない音声の単語)、読みにくいほど長いまたは速いキャプション、次のショットまで --min-dwell 秒未満しかないショットの最後のキャプション(音声にポーズを追加するかマージする)、リクエストされた ## gap ポーズが音声にない場合、3秒を超える無音。強制アライナーがタイミングを設定しなかった単語(WhisperXでは数字に多い)は、隣接する単語間で補間される。 timeline.json を合成に渡す。フレーム番号を手入力しないこと。
6. キャプションルール
- 1行あたり≤42文字、≤2行、画面表示時間≥1.0秒、読み取り速度最大約17文字/秒。
- フレーズの境界で区切る。冠詞と名詞の間では絶対に区切らない。
- 9:16の下部プラットフォームUIゾーンと画面上のUIテキストを避ける。
- ソーシャルメディア向けは焼き込みキャプション。YouTubeとウェブプレイヤー向けはサイドカーSRT/VTT。
7. ミックス
| レイヤー | ターゲット |
|---|---|
| 統合ラウドネス(最終) | ソーシャル/ウェブ用 −14 LUFS(−16も可); 放送用 −23 LUFS |
| トゥルーピーク | ≤ −1 dBTP |
| VO下の音楽 | 音声中は8–12 dBダッキング、アタック/リリース150–300 ms |
| SFX | 音楽より約10 dB下げる; 原因となるフレーム上に配置(後ではない) |
<plugin-root>/scripts/qc.sh loudness final.mp4 で測定する(放送用は -23 を追加)。HyperFrames Audioスキルがインストールされている場合、 hyperframes-audio が合成内でダッキング(「ボイスオーバーカーブ」)、EQ、オートメーションを提供する。それ以外の場合は、FFmpegの sidechaincompress と loudnorm(2パス)を使用する。
8. プレビューチェックポイント
最初の≤30秒を音声、キャプション、音楽付きでレンダリングし、以下を確認する: 「音声、ペース、キャプションサイズ、リズム — OK?」 このポイント以降にペースを変更すると、TTSの再実行とすべての再タイミングが必要になる。