Communitygithub.com

ボイスオーバー — 一語一句のナレーションでアニメの尺を決める

確定台本からナレーション、効果音、BGMベッドを生成。スタジオで設定した声(ElevenLabs、ローカルQwen3-TTS、本人の録音)を使い、検証済みテイク、1本のボイストラック、アニメが従う単語タイミングマップを出力します。

ボイスオーバー — 一語一句のナレーションでアニメの尺を決める とは?

Launch Video レシピのステップ2(音声+タイミング)。自分のマシンで動くモーションデザインスタジオ GTKottman/mortiflix-oss(2026-10-05公開)より。確定台本を一語一句読み上げ、ナレーションが映像全体の時計になります。vo.mjs check で設定済みエンジン(ElevenLabs、ComfyUI経由でローカルGPU上のQwen3-TTS、本人の声、なし)を確認し、speak で全行を生成して欠けた語がある行は撮り直し、build で voice/voice.wav と voice/timing.json を出力してカットを単語に合わせます。ロボット的なシステム音声には頼らず、ElevenLabs無料プランのクレジット表記も指摘します。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/GTKottman/mortiflix-oss/tree/HEAD/pipelines/_shared/skills/voiceover

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

ボイスオーバー

承認済みスクリプトは 一字一句 読み上げられ、ナレーションはアニメーションのタイミングの基準となります。

VO=.claude/skills/voiceover/vo.mjs
node $VO check                                   # 使用するエンジン、音声、モデル、クレジット、このエンジンのルールを表示
node $VO speak voice/lines.json                  # 各行を読み上げ、チェック、単語が抜けている場合はリテイク
node $VO speak voice/lines.json --only b03-1     # 修正した行のみを再読み上げ
node $VO build voice/lines.json                  # voice/voice.wav + voice/timing.json を生成

0. どの音声?

node $VO check で、オーナーが設定で設定した内容が表示されます(エンジンや音声の選択はあなたは行いません)。

  • elevenlabs: 音声、モデル、設定は選択済み。キーは環境変数にあり(絶対に表示しないでください)。 check で計画とクレジットを表示します。フリープラン の場合、音声は非商用であり、ElevenLabsのクレジットを記載する必要があります:提出ノートにその旨を明記してください。
  • qwen: このマシンのGPU上でComfyUIを通じてQwen3-TTSを使用(無料、ローカル)。check でComfyUIまたはスイートが準備できていないと表示された場合、それは mfx needs-you です。
  • none: ナレーションなし。概要でナレーションが求められていた場合は、次のゲートで、画面上のテキストのみにするか(デフォルト)、オーナーが音声を設定するのを待つかを確認してください。ロボットのようなシステム音声は絶対に使用しないでください。
  • own: オーナーが自分の声でナレーションを行います。voice/lines.json を以下のように正確に記述します(短い行にすること;演技指示は行頭に [タグ] として記述し、オーナーが指示として見られるようにします;IPAやv4のテクニックは使用せず、人間が script を読めるようにします)。node $VO speak voice/lines.json を実行すると、まだ録音が必要な行がリストされ、オーナーを録音ブース(ウェブスタジオ、mortiflix record、またはファイルのインポート)に誘導する mfx needs-you テキストが表示されます。それを送信して停止します。オーナーが再開すると、speak がパスし、build が行ごとにタイミングを取ったトラックを生成します。録音後に1行を変更した場合、speak がその行を再度要求します。
  • オーナー自身の録音 が input/ にある場合(1つの長いファイル、任意のエンジン):代わりにそれを使用します(クリップとして行ごとにカットしてから build します)。

自分で音声やモデルを変更しないでください:それらはオーナーの選択です。明らかに改善できる場合に限り、ハンドオフ時に変更を提案してください。

1. voice/lines.json の作成

1文またはブレスグループにつき1エントリ(約600文字以内;短い行はリテイクが簡単です):

[
  { "id": "b01-1", "text": "[暖かく、ゆったりと] どの街にも鼓動がある。", "script": "どの街にも鼓動がある。", "gap_after": 0.5 },
  { "id": "b01-2", "text": "我々の鼓動は「自転車」で動いている。", "script": "我々の鼓動は自転車で動いている。" }
]
  • text は音声が読み上げる内容、script は同じ単語を通常のスペルで記述したもの(text にタグやIPAが含まれる場合に必要:チェック時に比較されます)。gap_after はその行の後のポーズ(デフォルト0.4秒;ビート間は長めに)。
  • IDはスクリプトのビート(b01-1)、文字、数字、ダッシュに従います。
  • 数字、日付、金額は読まれる通りに記述します(「二十二十六」、「四・五パーセント」など)。

ElevenLabs Eleven v4 の指示(eleven_v4、デフォルト)

  • 角括弧内の音声タグ で演技を指定します:[暖かく]、[落ち着いて、好奇心旺盛に]、[ささやく]、[ため息]、[興奮して]、[速く、軽やかに]。行頭に1つだけ配置します。ムードが大きく変わる場合のみ、もう1つ追加できます。
  • 声を説明し、音を説明しないでください。 v4は効果音も生成するため、[雨] や [拍手] はノイズとして出力される可能性があります。[静かで、ささやくような声] と書き、[静かな部屋] とは書かないでください。チェック機能は、テイク内の非音声的な音をフラグします。
  • 句読点と大文字: 省略記号(...)は間と重みを追加し、大文字は強調を追加します。SSMLは使用しません: v4は <break> と <phoneme> を無視します(読み上げられる可能性があります)。
  • 発音: IPAは引用符内のスラッシュで囲み、"/ˈkoʊmæl/" のように記述し、標準スペルを script に記述します。
  • v4には 安定性と類似性のみ(設定で設定)があり、スタイルや速度の設定はありません:タグと句読点でペースを指示します。
  • 各行は前後の行のテキストと一緒に送信されるため、行をまたいで自然な流れで読み上げられます。

その他のElevenLabsモデル(オーナーが選択した場合):eleven_multilingual_v2 にはスタイルと速度の設定があり、<break time="1.0s" /> ポーズ(最大3秒)を受け付けます。eleven_flash_v2 は <phoneme> タグを受け付けます。これらにv4スタイルのタグを使用しないでください。

Qwen3-TTS(ローカル)の指示

  • 読み上げは、オーナーが設定した 指示文(1.7Bモデル)に従います。行はプレーンテキストとして読み上げられます。タグとIPAは読み上げ前に削除されるため(script が存在する場合は script が読み上げられます)、難しい名前は script で読みやすいようにスペルを記述してください。
  • 10言語(英語、中国語、日本語、韓国語、ドイツ語、フランス語、ロシア語、ポルトガル語、スペイン語、イタリア語)。

2. 読み上げとチェック

speak は各行を生成し、音声テキスト変換(ElevenLabs Scribe v2、またはローカルのQwen3-ASR)で聞き取り、スクリプトの単語の少なくとも92%が一致し、3単語以上の抜けや追加がなく、余計な音がない場合にそのテイクを保持します。失敗した行は新しいシードでリテイクされます(最大 --max-takes、デフォルト3)。どちらにせよ最良のテイクが保持されます。ElevenLabsの行は複数同時に実行されます(プランの制限より1つ少ない数);ローカルの行は、2つのモデルがGPUを交互に使用するため、すべての行を読み上げてから、すべての行を聞き取ります。

  • 結果:voice/clips/<id>.(mp3|wav) + <id>.json(エンジン、テイク番号、シード、文字起こし、単語タイミング)、全てのテイクは voice/takes/ に、voice/speak-report.json に保存されます。
  • 繰り返し失敗する行: 再試行するのではなく、入力を修正してください。長い文を分割したり、数字をスペルアウトしたり、IPA(ElevenLabs)や発音しやすいスペル(ローカル)を追加してから、speak --only でその行だけを再実行します。
  • 最初の2行を聞いて から残りを生成してください:ペース、発音、トーンを確認します。チェックは単語の欠落を検出しますが、味付けは判断しません。

3. ビルド

build は、クリップをギャップと結合して voice/voice.wav(48 kHzモノラル)を作成し、voice/timing.json を書き出します:各行の開始と終了、およびチェックが単語ごとのタイミングを測定した場合は各単語の開始と終了("timing": "words")、それ以外の場合は行のみ。アニメーションのタイミングをフレームに変換し(Math.round(seconds * fps))、video/src/timing.ts に記述し、voice.wav を video/public/ にコピーします。単語の途中でカットしないでください:無音部分でカットします。

4. 効果音と音楽(ElevenLabs、有効な場合)

node .claude/skills/voiceover/sound.mjs sfx "柔らかくガラス質のシューッという音、左から右へ" --seconds 1.2 --out sfx/whoosh.mp3
node .claude/skills/voiceover/sound.mjs sfx "低い都市のアンビエント、遠くの交通" --seconds 20 --loop --out sfx/city.mp3
node .claude/skills/voiceover/sound.mjs music "温かみのあるミニマルなシンセベッド、90 BPM、希望に満ちた" --seconds 45 --out music/bed.mp3

効果音:0.5~30秒、--loop でシームレスなアンビエント、--influence 0~1(プロンプトにどの程度忠実に従うか)。音楽:--vocals がない限りインストゥルメンタル、3秒~10分。全てのプロンプトを assets/SOURCES.md に記録します。

5. ミキシング

音楽は、ボーカルが話している間は約18 dB下げ、無音部分では上げることができます。最終ミックス:-14 LUFS、トゥルーピーク ≤ -1 dBTP(最終パススキル)。

6. 記録

voice/VOICE.md を作成:エンジン、音声、モデル、設定、使用したタグ、発音の修正、却下したテイクとその理由。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

関連スキル