Papercut ナレーション
後段の工程ではすべて、ナレーションフォルダに voice/final_narrator/<id>.wav(スクリプトの各行につき1つのWAV)と timing_narrator.js(すべての単語の開始時間と終了時間)の2つが必要です。このスキルは、3つの方法のいずれかでこれらを生成し、キャプションとシーンプランを作成します。スクリプトの完全なリファレンスは $MOTION_LIB/core/voice/README.md にあります。
事前確認
- ライブラリ:
$MOTION_LIB、そうでない場合は~/.config/motion-explainer/config.envのMOTION_LIB=行、それもない場合は一度だけ確認します。それをエクスポートし、. "$MOTION_LIB/env.sh"でASR_PY、QWEN_TTS_PYなどの設定値をシェルに読み込みます。 - スキャフォールディングされたプロジェクト(
motion-build、ステップ1)で、narration/script.jsonとvideo/episode.json(scenesを含む)が存在すること。new_episode.shがbuild_timing.pyをnarration/にコピーします。 - ユーザーがすでにTTSをインストールしている場合は、そのまま使用し再構築しません(パスB、またはQwen3-TTSの場合はパスA)。どれでどこで動作するかを一度確認します。それ以外の場合は、どのパスを使用するかを尋ね、それぞれに必要なものを説明します。
| パス | 必要なもの | インストールモード |
|---|---|---|
| A. ローカルQwen3-TTS | $MOTION_LIB/core/voice/setup_tts.sh で作成した音声venv(モデルダウンロード 2.3〜4.2 GB) | フル |
| B. 自身の録音または別のTTS | ASRバックエンド(mlx-whisper または faster-whisper)と、ピッチパス用の librosa + numpy(ASR_PY と QWEN_TTS_PY が指定するPython内) | フル、または手動でこれらのパッケージ |
| C. プレースホルダー | ffmpeg; --say には macOS | 標準 |
必要なものがインストールされていないパスの場合、./install.sh --doctor を実行して motion-setup に引き継ぎます。ASRがない場合、build_timing.py は1秒あたり2.75単語と推定するだけなので、キャプションは実際の音声からずれます。
パスA: ローカルQwen3-TTS
シリーズフォルダから:
cp $MOTION_LIB/core/voice/voice.example.json voice/voice.json # シリーズごとに一度; 編集してください
$MOTION_LIB/core/voice/narrate.sh voice/voice.json episodes/NN-slug/narration
$MOTION_LIB/core/voice/finalize.sh voice/voice.json episodes/NN-slug/narration episodes/NN-slug/narration/voice/takes/narrator [num.json]
voice.json:speaker(CustomVoice: Aiden, Dylan, Eric, Ryan, Serena, Vivian, Sohee, Ono_anna, Uncle_fu)とinstruct。推奨: CustomVoice 1.7B、Ryan または Aiden、instructは "friendly, natural, conversational, like telling a friend; clear pauses between sentences; stress the key word of each line"。takes_per_lineはデフォルトで3。tempoは1.0のままにします(他の値にはrubberbandが必要)。qa_targetsでピッチ範囲とASR一致度(0.9)を設定します。- スクリプト行には
tts(発音を指示するための書き直しテキスト; キャプションはtextを保持)と、各行固有のinstructを含めることができます。num.jsonは数字を単語表現にマッピングします({"13,000": "thirteen thousand"})。これにより、ASRマッチングが数字で失敗するのを防ぎます。 - TTSプロセスは一度に1つ実行します。1.7Bモデルはメモリを多く消費します。
finalize.shはすべてのテイクに対してASRとピッチを実行し、行ごとに1つを選び、トリミングし、ラウドネス正規化(-16 LUFS)し、最終テイクに対して再度ASRを実行してtiming_narrator.jsを書き出します。確認後、修正をvoice/picks_override.json({"l3_name": 2})に記述し、SKIP_PICK=1を指定して再実行します。- ボイスデザイン(声を言葉で説明すること)は、
narrate.pyが駆動しないQwen3-TTSのモードです。別の場所で生成し、パスBを使用してください。
パスB: 自身の録音または別のTTS
- 各行のWAVを
voice/final_narrator/<id>.wavに配置するか、生のテイクをvoice/takes/narrator/<id>_<k>.wavとして配置し、上記のようにfinalize.shを実行します。 - 完成した行の場合、文字起こしを行い、
voice/chosen_narrator.jsonを{id: "voice/final_narrator/<id>.wav"}のように書き、narration/から以下を実行します:
$ASR_PY $MOTION_LIB/core/voice/asr.py voice/final_narrator/*.wav > voice/asr_narrator_final.json
CHOSEN=voice/chosen_narrator.json TIMING_OUT=timing_narrator.js python3 build_timing.py voice/asr_narrator_final.json
パスC: プレースホルダー
narration/ フォルダから:
python3 $MOTION_LIB/core/tools/placeholder_vo.py [--wps 3.0] [--say [VOICE]]
無音のWAV(または --say を指定した場合はmacOSの say 音声)と、script.json のみから単語長に応じて時間を割り当てた timing_narrator.js を書き出します。--wps 3.5 〜 4 で目標のペースに近づきます(デフォルト3.0)。リールを先にビルドしてタイミングを調整し、後で再吹き込みすることができます。WAVを交換し、finalize.sh を再実行し、build_vo.py を再実行すると、単語のキューが追従します。
納品ルール
ナレーションは人間的で、落ち着いて、強調を伴って納品されます。視聴者は一度の視聴で各行を理解できなければなりません。
- 間合い。 各文の終わりとリストのビートの間("Fine. Fine. Fine.")に実際のポーズを入れます。行間は0.3〜0.4秒から始め(
episode.jsonのgap、デフォルト0.22;gapsは指定した行の後に追加のビートを追加)、耳で判断します。ポーズは文節または句の区切りのみに配置します。フレーズ内の0.2秒のギャップ(例:「コピーして、| 持っていく...」)は遅延として読まれます。ポーズを削る代わりに30秒の上限を使って余裕を持たせ、テンポを遅くして時間を稼ぐことは決してしません。 - 強調。 各行が頼る1〜2の単語(数字、ひねりのある単語、結論)は、スクリプトのステージングテーブルから取得します。これを行固有の
instructとして渡します。 - トーン。 会話調で少し楽しげに、アナウンサーのようなエネルギーではなく。疑問文は本当の疑問のように、キャッチラインは好奇心旺盛に、CTAは温かく。ナレーターはそれでも冗談は言いません。映像がそれを担います。
- クローンモデル(指示なし)。 クローンボイス(
ref_audio+ref_text、ベースモデル)の場合、操作できるのはテキストとテイクだけです。句読点にポーズを書き込みます(リストのビート間はピリオド、短い疑問文は独立した文として)。1つの連続テイクのシードを複数生成し(SEED_BASE、takes_per_line)、ターゲット単語のピッチ変化が最も大きく、ASRが0.9以上のものを選び、フラットな行だけを個別に取り直し(ONLY=l4_peak)、文の境界でスプライスします。使用権のある音声のみをクローンしてください。 - スクリプト全体を一度に生成すると、一貫した韻律が得られます: 1テイクを生成し、
split_take.pyで行ごとに分割し、episode.jsonで"gap": 0を設定します。ユーザーが好む場合はシーンごとでも問題ありません。 - 最初の3行をユーザーに再生してから全体を実行します:
ONLY=l1_hook,l2_...,l3_... narrate.sh ...。
キャプションとタイミング
video/ から、episode.json に scenes がある場合:
python3 $MOTION_LIB/core/tools/build_vo.py # public/vo/voiceover.wav, public/vo/captions.json, src/plan.json を生成
python3 $MOTION_LIB/core/tools/timing_md.py # STORYBOARD.md のタイミングセクションを生成
captions.json はRemotionの Caption[] です。シーンの境界は単語のタイムスタンプから取得されます。コンポジションの長さは plan.json の durationInFrames です。build_vo.py は1.2秒未満のシーンをフラグします。ライブラリがない場合は、Remotionキャプションスキル(whisper.cpp)または単語タイムスタンプを返す音声認識ツールでWAVを文字起こしします。
キャプションは単語ごとに1つのタグで、1〜3単語のページが、1秒あたり3.5〜4単語の速度で表示されます($MOTION_LIB/style/$MOTION_STYLE/docs/style-guide.md、セクション11および13)。
引き渡し
次は motion-build(スタブ、シーン、サウンド、レンダリング)です。これは src/plan.json と video/STORYBOARD.md のタイミングセクションを読み取ります。後でナレーションが変更された場合は、build_vo.py と timing_md.py を再実行します。シーンキャッシュはすべてを再レンダリングします。