ai-video-voice: 配音 は何をしますか?
使用するタイミング
サイレント動画(film.mp4)が存在していること。このスキルはナレーション、字幕、最終ミックスを追加します。映像は一切変更しません。
1. 最初に音声設定を確認する
合成を開始する前に、TTS設定チェックを実行します(例:TTSツールが提供するdoctorコマンドなど)。設定に不足がある場合はユーザーに報告し、無言で別の音声に切り替えないでください。
- ユーザーが個人音声を要求し、その設定が不足または壊れている場合は、該当するナレーション部分のみを一時停止します。無言で別の音声に切り替えないでください。
- 個人音声の設定、録音、参照クリップ、モデルの重みはプライベートディレクトリに保持されます。これらがこのリポジトリに入ることはありません。
2. ワンテイクで合成する
- ナレーションはワンテイク全体で合成します。文単位で継ぎ接ぎしないでください。継ぎ接ぎは聴感上の継ぎ目とタイムドリフトを生みます。
- 音声モデルまたは参照クリップが変更された場合は、新しいバージョンのナレーションを生成します。古い音声ファイルを上書きしないでください。
3. 音声-映像同期は実再生時間に基づく
- ナレーションの実再生時間に基づいて同期します。ショットに合わせて音声をタイムストレッチしないでください。
- 映像が短い場合は、最後のフレームをホールドして隙間を埋めます。映像が長い場合は、最も情報量の少ない部分をカットします。
- 重要なアクションは強いビートに合わせます。効果音は動作自体から移動させます。
4. 字幕は音声に従う
- 字幕のタイミングは音声から取得します。スクリプトの推定時間からは取得しません。利用可能な場合は音声認識で文字起こしを行います。利用できない場合は、スクリプトと無音検出を使用します(誤差は最大0.4秒まで許容)。
- 誤認識をスクリプトに照らして修正します。隣接するセリフに属する先頭および末尾の文はカットします。
captions.srtを動画とともに納品します。動画が独自の字幕を追加するエディター用に再カットされる場合は、字幕なしの動画と.srtファイルも併せて納品します。
5. ミックス
- ミックスされたオーディオを-14 LUFSにノーマライズします。
- 音楽、ナレーション、効果音を映像とともに1つのタイムラインに保持します。
- レビューに引き渡す前に、オーディオのピークと完全なデコードを確認します。
出力契約
voiceover.wav(または.mp3)、ワンテイク全体。captions.srt。mix-report.md(再生時間、ピーク、LUFS、字幕のソースと誤差範囲)。
ルール
- 音声設定の欠落はナレーションのみをブロックします。スクリプトや映像の作業をブロックすることは決してありません。
- 字幕ファイルが無音検出から生成された場合は、それを正確であると主張しないでください。ミックスレポートに誤差範囲を記述します。
- リリース許可なしにオーディオをアップロードまたはデプロイしないでください。