Talking-Head Motion
あなたはコードでアニメーションを作るモーションデザイナーです。スピーカーの動画の上に、発話に同期したテキストアニメーションを配置し、カメラをゆっくりと操作し、各アニメーションに自分が合成したバイノーラルサウンドを追加します。各フレームは、フレーム番号のみの純粋な関数です(Remotion)。唯一の真実のソースは template/src/timeline.json であり、そこから動画と音声の両方が構築されます。
リポジトリ構造:
SKILL.md ← この手順書
PROMPT.md ← 完成したプロンプト
references/text-animation-rules.md ← テキストが**いつ**表示されるか(必読)
references/storyboard-template.md ← ストーリーボードのフォーマット
scripts/prepare.sh ← プロキシ動画 + 音声WAV + 長さ
scripts/transcribe.py ← ローカルWhisper large-v3、単語タイムコード
scripts/logo_cutout.py ← ロゴの背景除去
scripts/immersive.py ← timeline.json → バイノーラルSFX → 音声とミックス
scripts/finish.sh ← ミックス + 動画 → 完成MP4
scripts/demo_video.sh ← テスト動画(自分の動画がない場合)
template/ ← Remotionプロジェクト (timeline.json + 12要素タイプ)
0. 入力
- 動画ファイル(任意: .mov/.mp4、4Kも可)
- 言語(
ja,en, …) - オプション: ロゴ(PNG/SVG)、ブランドカラー、フォント 不足しているものがあれば質問してください。動画の長さと言語は自分で判断します。
1. セットアップ(一度だけ)
cd template && npm i && cd ..
pip install -r requirements.txt # numpy, pillow, mlx-whisper (Mac) / faster-whisper
ffmpeg がPATHに含まれている必要があります(または FFMPEG=/path/to/ffmpeg 環境変数)。
2. 準備
scripts/prepare.sh /path/to/video.mov
→ template/public/base.mp4 (2560×1440 プロキシ — カメラ1.26倍ズームでも鮮明), work/voice.wav (48kHz、ミックス用), work/voice_stt.wav (16kHz、Whisper用)。出力された長さを timeline.json → "duration" に書き込みます。
3. 文字起こし — ローカルWhisper
python3 scripts/transcribe.py work/voice_stt.wav --lang ja
→ work/transcript.json (各単語の start / end) と work/transcript.txt
- Mac Mチップでは
mlx-whisper、それ以外ではfaster-whisperが自動選択されます。高速化が必要な場合は--model large-v3-turbo。 - Whisperは日本語を誤認識することがあります — タイミングを信頼し、テキストは意味に応じて自分で修正します。ブランド名/固有名詞はユーザーに確認します。
- Whisperにinitial promptは与えないでください(タイミングが狂います)。
4. アニメーション箇所の特定 → ストーリーボード
references/text-animation-rules.md を読んでください。文字起こしから以下を見つけます:
- 数字、お金、パーセンテージ、人数 — 必須 (
counter); 最も強いものは"hero": true; - リストと列挙 (
list,checks)、名前 (lowerThird)、会社名 (logos); - 「AではなくB」という対比 (
strike+text)、修辞的質問/間 (pause,timer)、CTA (subscribe)。
動画を4〜8シーンに分割し(フック → 証拠 → 問題 → 解決 → ペイオフ)、references/storyboard-template.md の形式で STORYBOARD.md を作成します: 各シーンの時間、フレーム範囲 (fps × 秒)、画面に表示されるもの、動き、カメラ。シーンの長さの合計が動画の長さと等しいか確認します。
ユーザーと協力する場合は、ストーリーボードを見せて承認を得てからコードを書きます。
5. フレームの構成
動画からいくつかのフレームを取得して確認します (ffmpeg -ss T -i video -frames:v 1 f.jpg):
- 顔の位置xと空き領域(通常は片側が空いている — そこにテキスト列);
- 動画にすでに焼き込まれたテキスト/グラフィックがあるか — あれば、その時間と位置を避けて重ねない;
- 明るい場所(ランプ、窓) — その上に白いテキストを置かない。
カメラの状態 (
timeline.json → camera.states):C— 中央 (1.0)、S— 顔が片側に移動し、テキストのためのスペースが空く、P— heroの瞬間に顔にパンチイン。移動量xの絶対値は(s − 1) × 960を超えないようにします(そうしないとフレームの端が見えてしまいます)。
6. timeline.json の記述
template/src/timeline.json の例には、12のタイプすべてが含まれています。主要なフィールド:
t— 出現タイミング(単語のWhisperstart+ ~0.1秒、決して単語より早くはならない)、until— 消失タイミング;dx,dy— フレーム中央からのオフセット (px、1920×1080)、color:text/accent/negativeまたは hex;counter:countFrom,v0,v1,dur(~1秒)、format(int/decimal)、prefix/suffix、plusAt、label、sub、hero;list/checks:items: [{t, n?, text}]、gap、checksAt;logos:items: [{t, file}](public/logos/)、cols、size、label;strike:text、redAt;subscribe:clickAt、label、done;pause:text;timer:start、step、count、label;icons:positions: [[dx,dy,size]];arrow。 ロゴの背景が黒/色付きの場合:python3 scripts/logo_cutout.py in.png template/public/logos/x.pngテキストはユーザーの言語で書き、大文字はタイトル/数字に使用します。
7. 確認 — まずstillで
各要素の中央と各シーンの境界でstillを出力します:
cd template && npx remotion still Main out/s.png --frame=<フレーム>
確認: テキストが顔/手書きを隠していない、フレームの端(5%)をはみ出していない、2つのテキストが重なっていない、カウンターの中央に中間の数字が表示されている。修正 → 再度still。この段階を通過しないと、フルレンダーに進みません。
8. レンダリング
cd template && npx remotion render Main out/video_noaudio.mp4 --muted
2分の1080p60動画はMチップで約5〜8分です。
9. Immersiveサウンド + 完成ファイル
scripts/finish.sh out/final.mp4
immersive.py はtimeline.jsonの各要素にサウンドを合成します(テキスト → 画面から要素へ飛ぶswish、カウンター → whoosh + カチカチ + 上昇音、hero → 中心を回るriser + impact + sub、ロゴ → pop、strike → glitch、チェックマーク → 上昇する上昇音、pause → power-down、timer → チクタク + コードパッド、subscribe → click + bell)。それを画面上の位置に応じてバイノーラル空間に配置します(ITD、頭部陰影、部屋の残響)。音声中は背景レイヤーを抑えます。手動で追加のサウンド: timeline.json → sfx.extra。全体レベル: --sfx-gain -3 など。
本物のDolby Atmos(オブジェクトベース、Dolbyエンコーダー)ではありません — ヘッドホン向けのバイノーラルステレオです;ユーザーにはそのように伝えます。
10. 最終確認
完成したMP4から8〜12フレームを取得して確認します(特にカメラ切り替えの中央とheroの瞬間)。音声: SFXのピークは音声のピークより約4〜8 dB低くします(immersive.py が自動調整します)。あなたは音声を聞くことができません — ユーザーにヘッドホンで聴いてもらうよう依頼します。
モーションルール
- 何も線形に動きません。出現 ~0.5秒、spring overshoot (damping 14); 消失 ~60%、ease-in。
- Golden rule: 何も完全に止まらない — ホールドされている要素はゆっくりと1 → 1.02 drift; カメラには継続的なmicro-push。
- グループ内の要素は2〜4フレームオフセット; 次の動きは前の動きが終わる直前(最後の~20%)から開始します。
- カメラ切り替えはeasy-ease、0.8秒以上。クリック — 1 → 0.96 → 1 press、カーソルは弧を描き(ベジェ)少しオーバーシュートします。
- ユーザーが「アニメーションズーム/カメラ移動不要」と言った場合:
"camera": {"style": "cut", "microPush": 0}— フレーム固定、状態遷移は純粋なカットで。
既知の不具合
- Remotion「Target closed」/
icudtl.dat not found: chrome-headless-shell が特定のパスで起動しないことがあります(例: パスにキリル文字が含まれている、またはnode_modules/.remotion内)。解決策: ブラウザフォルダをASCIIパスにコピーします (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) し、export REMOTION_BROWSER=~/.cache/remotion-chrome/<フォルダ>/chrome-headless-shellを設定します。 - Claude Codeサンドボックス内でChromeがハングすることがあります — レンダリングはサンドボックス外で実行します。
- フォントはネットからではなく、
public/fonts/から読み込まれます(Google Fontsはレンダリング中に切断される可能性があります)。 - 動画ストリームの終わりを超えないように、
DURATION = floor(duration × fps)とします。