Launch voice
launch-film下のツールマニュアル。skills/launch-film/SKILL.mdから開始:ここにコア、フック+ボディテンプレート、および教訓が含まれます。このページが異なる場合、launch-filmが優先されます。
現代のローンチフィルムでは、音声が主導し、映像は単語ごとにそれを説明します。「tagged」と音声が言うとき、何かがタグ付けされます。これは、すべての単語にタイムスタンプがある場合にのみ機能します。
プロバイダー
- デフォルト:自身のアカウント上の Higgsfield。
text2speech_v2(エンジンelevenlabs、minimax、seed_speechなど、音声により異なる)を使用し、約100のプリセット音声からキャスティングし、1行あたり約0.3クレジット。Seed Audio は、プロンプトとオーディオリファレンスで操作できるナレーターを生成。scripts/hf_voice.pyがCLIをラップします。 - 無料スクラッチ音声:
scripts/scratch_voice.pyは、macOS のsay(またはLinux のespeak-ng)で仮のテイクを作成します。これでフィルム全体を構築しタイミングを調整し、すべてのレビューに「スクラッチ音声」とラベル付けし、後で本番テイクに置き換えます。 - 無料ローカルクローン:
scripts/clone_local.py(Chatterbox、MIT)は、承認されたナレーターの音声を、そのセリフの8~10秒からクローンします。代役であり、マスターではありません。権利のある音声のみをクローンしてください。 - 音声は、単独のクリップではなく、完成したフィルム内でレビューします。却下された音声のリストを保持し、再度提案されないようにします。
キャスティング
python3 skills/launch-voice/scripts/hf_voice.py cast "<the film's opening line>" film/vo/auditionは、すべてのプリセット音声(約110の音声で約34クレジット)で最初の行を読み上げ、各テイクを Whisper でチェックし、ペースとピッチの動きを測定します。ranking.mdには、正確なテイクが最初にリストされ、次に約2.5語/秒、約2半音の動き(会話調、アナウンスではない)に近いものが続きます。--only Name,Nameで少数を再キャストできます。- 性別を問わず上位6程度を選び、完全なスクリプトでテストします(
hf_voice.py lines)、次にそれらをフィットさせます(下記参照)。12%以上のスピードアップが必要な音声はスクリプトに対して遅すぎます。その音声をドロップするか、単語を削ってください。 - 生き残った各音声でフィルム全体を構築し、オーナーに選択させます。テストでは、ElevenLabs のペースとピッチのばらつきが最も少なかったため、デフォルトのエンジンです。
長さとペース
- 目標は、1秒あたり2.2~2.7語。優れたリファレンスローンチでは2.4語でした(63秒で151語)。
- 20秒のフィルムは約45語、30秒は約70語、60秒は約140語を想定。音声をスピードアップする前に、単語を削ってください。
- ストーリーボードのフレームごとに1行、6~20語で、キーとなる名詞や動詞がビートに合うようにフレージングします。
フィルムテンプレートの手順
- スクリプトは
film/film.jsonのlinesにあります。1行につき1ファイルをfilm/vo/body/line-<id>.wavに記録します。本番テイクはhf_voice.py lines(lines を{"lines": [{"line": "02", "text": "..."}]}として記述)、スクラッチテイクはpython3 skills/launch-voice/scripts/scratch_voice.py film/film.json(--hook film/hooks/<name>を追加してフック行も音声化)を使用します。 python3 skills/launch-voice/scripts/prep_lines.py film/film.jsonを実行します(--align forceで強制アライメントを強制;uvがインストールされている場合、初回実行時に torch を取得、約2GB)。これにより、各行の継続時間と単語時間を含むfilm/vo/body/lines.jsonが書き出されます。torch が利用可能な場合は強制アライメント、そうでない場合は whisper.cpp、それもない場合は推定(フラグ付き)を使用します。film/build.pyは、フィルムタイムライン上に行を配置し、すべてのピクチャーキューはその単語に従います。新しいテイクは、1回のプリパスとリビルドで完了します。
フリーフォームフィルムの手順
vo/script-lines.json({"lines": [{"line": "01", "text": "..."}]})、次に行ごとに1ファイル:hf_voice.py lines vo/script-lines.json vo/takes/<voice> --voice <Name>。テキスト、音声、エンジン、ジョブID がlines.jsonに保存されます。- フィット:
python3 skills/launch-voice/scripts/fit_lines.py vo/placement.plan.json vo/takes/<voice> vo/versions/<voice>。計画は、各行に最も早い開始時間、息継ぎの間隔、そしてフレームが終了しなければならない場合はend_byを与えます。行内の0.25秒を超えるポーズは0.22秒に短縮されます。それでもオーバーフローする行の連続は、まとめてスピードアップされ、上限は12%です。次にスティッチ:python3 skills/launch-voice/scripts/stitch.py vo/versions/<voice>/placement.json vo/versions/<voice> vo/versions/<voice>/vo.wav。 - 行ごとの単語時間。ビジュアルを合わせる必要があるものには、強制アライメントを使用します:
uv run -q --with torch --with torchaudio --with soundfile python skills/launch-voice/scripts/force_align.py line.wav "the exact words"。クイックリードには、align_lines.pyが whisper.cpp を行ごとに実行します。アンカーは発話順に解決されるため(各アンカーは前のアンカーの後の最初の一致)、どの音声でもフィルムのタイミングが再調整されます。フィルム全体に対して1回の whisper パスでは行の終わり付近でずれが生じますが、行ごとのパスではずれません。 - 単語時間を
launch-motion(各ビルドをその単語にアンカー)とlaunch-sound(イベントは単語に従う)に渡します。
ビンテージナレーター
アーカイブ風やドキュメンタリー風のオープニングの場合:python3 skills/launch-voice/scripts/vintage.py IN.wav OUT.wav --crackle crackle.wav は、帯域を150 Hz~5.8 kHzに制限し、テープサチュレーション、スローなワウ、実際のビニールのパチパチ音(Seed Audio で1つ生成)を追加します。Seed Audio は、ビンテージナレーターの声で直接行を話すこともできます("a warm, deep 1960s documentary narrator on an old vinyl record ... exactly these words: ...")。ゆっくりと読み、言い回しを変える可能性があるため("gotta" が "got to" になるなど)、Whisper で確認してください。
同期ルール
- キーワードは、そのビジュアルと2フレーム以内に一致するようにします。キーワードの最初のフレームでビルドを開始します。ビジュアルをその単語より先行させる場合は、4フレーム未満に抑え、すべての場所で統一します。
- シーンの切り替わりでは、行間に0.25~0.5秒の息継ぎの間隔を設けます。
- 最後の行は、ロゴの少なくとも1秒前に終了します。ロゴには独自のほぼ無音の領域が与えられます(
launch-mixドロップアウト)。
音声プロバイダーが利用できない場合
スクラッチ音声でビルドし、すべてのレビューにスクラッチとラベル付けし、ピクチャーを調整された単語にアンカーしたままにします。これにより、本番音声への差し替えは1回のプリパスとレンダリングで完了します。オーナーの許可なしに、音声プロバイダーやアカウントを切り替えないでください。
修正
- 行が5%未満オーバーランする場合:
ffmpeg -af atempo=1.04。それ以上の場合:行を書き直します。 - 単語の発音が間違っている場合:スクリプトではなく、行の
sayフィールド(hf_voice.py用)で音声的に綴り直します。 - Whisper がソフトな語尾を聞き間違える場合:強制アライメントを使用するか、アンカープレフィックスを短くします。再録音はしないでください。
- 数字:アライメントするテキストではスペルアウトします("24" ではなく "twenty four")。
- Whisper ベースモデルは製品名を聞き間違えます。最終的な単語は、スモールモデルかそれ以上(
WHISPER_MODEL)で確認してください。