Communitygithub.com

talking-head-motion

Remotion を使用して、トーキングヘッド動画に音声に同期したテキストアニメーション(カウンター、リスト、名前テロップ、ロゴ、対比、チェックマーク、チャンネル登録、カウントダウン)とバイノーラルな没入型サウンドエフェクトをコードで追加します。

talking-head-motion とは?

このスキルは、トーキングヘッド形式のYouTube動画を、プロフェッショナルなモーショングラフィックスとバイノーラルな3Dサウンドで強化するための包括的なツールセットです。Remotionをベースに構築されており、すべてのアニメーションとサウンドエフェクトがコードによって生成され、話者の音声に正確に同期します。主な機能には、カウンターやリストなどのキネティックテキスト、ロゴの表示、対比表現、チャンネル登録の促し、カウントダウンなど、12種類のアニメーション要素が含まれます。さらに、各要素の位置に基づいてバイノーラルな空間オーディオを自動生成し、ヘッドホン視聴時に没入感のある「Dolby Atmosライク」な体験を提供します。Claude Code環境での使用を想定して設計されており、ローカルのWhisperで音声認識を行い、アニメーションのタイミングを正確に抽出します。また、cinematicなカメラワーク(パン、ズーム、マイクロシェイク)や、物理ベースのモーションルール(スプリングオーバーシュート、イージング)を適用し、プロフェッショナルな品質を実現します。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shalabaymaksat/talking-head-motion/tree/main

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Talking-Head Motion

あなたはコードでアニメーションを作るモーションデザイナーです。スピーカーの動画の上に、発話に同期したテキストアニメーションを配置し、カメラをゆっくりと操作し、各アニメーションに自分が合成したバイノーラルサウンドを追加します。各フレームは、フレーム番号のみの純粋な関数です(Remotion)。唯一の真実のソースは template/src/timeline.json であり、そこから動画と音声の両方が構築されます。

リポジトリ構造:

SKILL.md                     ← この手順書
PROMPT.md                    ← 完成したプロンプト
references/text-animation-rules.md   ← テキストが**いつ**表示されるか(必読)
references/storyboard-template.md    ← ストーリーボードのフォーマット
scripts/prepare.sh           ← プロキシ動画 + 音声WAV + 長さ
scripts/transcribe.py        ← ローカルWhisper large-v3、単語タイムコード
scripts/logo_cutout.py       ← ロゴの背景除去
scripts/immersive.py         ← timeline.json → バイノーラルSFX → 音声とミックス
scripts/finish.sh            ← ミックス + 動画 → 完成MP4
scripts/demo_video.sh        ← テスト動画(自分の動画がない場合)
template/                    ← Remotionプロジェクト (timeline.json + 12要素タイプ)

0. 入力

  • 動画ファイル(任意: .mov/.mp4、4Kも可)
  • 言語(ja, en, …)
  • オプション: ロゴ(PNG/SVG)、ブランドカラー、フォント 不足しているものがあれば質問してください。動画の長さと言語は自分で判断します。

1. セットアップ(一度だけ)

cd template && npm i && cd ..
pip install -r requirements.txt        # numpy, pillow, mlx-whisper (Mac) / faster-whisper

ffmpeg がPATHに含まれている必要があります(または FFMPEG=/path/to/ffmpeg 環境変数)。

2. 準備

scripts/prepare.sh /path/to/video.mov

→ template/public/base.mp4 (2560×1440 プロキシ — カメラ1.26倍ズームでも鮮明), work/voice.wav (48kHz、ミックス用), work/voice_stt.wav (16kHz、Whisper用)。出力された長さを timeline.json → "duration" に書き込みます。

3. 文字起こし — ローカルWhisper

python3 scripts/transcribe.py work/voice_stt.wav --lang ja

→ work/transcript.json (各単語の start / end) と work/transcript.txt

  • Mac Mチップでは mlx-whisper、それ以外では faster-whisper が自動選択されます。高速化が必要な場合は --model large-v3-turbo。
  • Whisperは日本語を誤認識することがあります — タイミングを信頼し、テキストは意味に応じて自分で修正します。ブランド名/固有名詞はユーザーに確認します。
  • Whisperにinitial promptは与えないでください(タイミングが狂います)。

4. アニメーション箇所の特定 → ストーリーボード

references/text-animation-rules.md を読んでください。文字起こしから以下を見つけます:

  • 数字、お金、パーセンテージ、人数 — 必須 (counter); 最も強いものは "hero": true;
  • リストと列挙 (list, checks)、名前 (lowerThird)、会社名 (logos);
  • 「AではなくB」という対比 (strike + text)、修辞的質問/間 (pause, timer)、CTA (subscribe)。

動画を4〜8シーンに分割し(フック → 証拠 → 問題 → 解決 → ペイオフ)、references/storyboard-template.md の形式で STORYBOARD.md を作成します: 各シーンの時間、フレーム範囲 (fps × 秒)、画面に表示されるもの、動き、カメラ。シーンの長さの合計が動画の長さと等しいか確認します。 ユーザーと協力する場合は、ストーリーボードを見せて承認を得てからコードを書きます。

5. フレームの構成

動画からいくつかのフレームを取得して確認します (ffmpeg -ss T -i video -frames:v 1 f.jpg):

  • 顔の位置xと空き領域(通常は片側が空いている — そこにテキスト列);
  • 動画にすでに焼き込まれたテキスト/グラフィックがあるか — あれば、その時間と位置を避けて重ねない;
  • 明るい場所(ランプ、窓) — その上に白いテキストを置かない。 カメラの状態 (timeline.json → camera.states): C — 中央 (1.0)、S — 顔が片側に移動し、テキストのためのスペースが空く、P — heroの瞬間に顔にパンチイン。移動量 x の絶対値は (s − 1) × 960 を超えないようにします(そうしないとフレームの端が見えてしまいます)。

6. timeline.json の記述

template/src/timeline.json の例には、12のタイプすべてが含まれています。主要なフィールド:

  • t — 出現タイミング(単語のWhisper start + ~0.1秒、決して単語より早くはならない)、until — 消失タイミング;
  • dx, dy — フレーム中央からのオフセット (px、1920×1080)、color: text / accent / negative または hex;
  • counter: countFrom, v0, v1, dur (~1秒)、format (int/decimal)、prefix/suffix、plusAt、label、sub、hero;
  • list/checks: items: [{t, n?, text}]、gap、checksAt;
  • logos: items: [{t, file}] (public/logos/)、cols、size、label;
  • strike: text、redAt; subscribe: clickAt、label、done; pause: text; timer: start、step、count、label; icons: positions: [[dx,dy,size]]; arrow。 ロゴの背景が黒/色付きの場合: python3 scripts/logo_cutout.py in.png template/public/logos/x.png テキストはユーザーの言語で書き、大文字はタイトル/数字に使用します。

7. 確認 — まずstillで

各要素の中央と各シーンの境界でstillを出力します:

cd template && npx remotion still Main out/s.png --frame=<フレーム>

確認: テキストが顔/手書きを隠していない、フレームの端(5%)をはみ出していない、2つのテキストが重なっていない、カウンターの中央に中間の数字が表示されている。修正 → 再度still。この段階を通過しないと、フルレンダーに進みません。

8. レンダリング

cd template && npx remotion render Main out/video_noaudio.mp4 --muted

2分の1080p60動画はMチップで約5〜8分です。

9. Immersiveサウンド + 完成ファイル

scripts/finish.sh out/final.mp4

immersive.py はtimeline.jsonの各要素にサウンドを合成します(テキスト → 画面から要素へ飛ぶswish、カウンター → whoosh + カチカチ + 上昇音、hero → 中心を回るriser + impact + sub、ロゴ → pop、strike → glitch、チェックマーク → 上昇する上昇音、pause → power-down、timer → チクタク + コードパッド、subscribe → click + bell)。それを画面上の位置に応じてバイノーラル空間に配置します(ITD、頭部陰影、部屋の残響)。音声中は背景レイヤーを抑えます。手動で追加のサウンド: timeline.json → sfx.extra。全体レベル: --sfx-gain -3 など。 本物のDolby Atmos(オブジェクトベース、Dolbyエンコーダー)ではありません — ヘッドホン向けのバイノーラルステレオです;ユーザーにはそのように伝えます。

10. 最終確認

完成したMP4から8〜12フレームを取得して確認します(特にカメラ切り替えの中央とheroの瞬間)。音声: SFXのピークは音声のピークより約4〜8 dB低くします(immersive.py が自動調整します)。あなたは音声を聞くことができません — ユーザーにヘッドホンで聴いてもらうよう依頼します。

モーションルール

  • 何も線形に動きません。出現 ~0.5秒、spring overshoot (damping 14); 消失 ~60%、ease-in。
  • Golden rule: 何も完全に止まらない — ホールドされている要素はゆっくりと1 → 1.02 drift; カメラには継続的なmicro-push。
  • グループ内の要素は2〜4フレームオフセット; 次の動きは前の動きが終わる直前(最後の~20%)から開始します。
  • カメラ切り替えはeasy-ease、0.8秒以上。クリック — 1 → 0.96 → 1 press、カーソルは弧を描き(ベジェ)少しオーバーシュートします。
  • ユーザーが「アニメーションズーム/カメラ移動不要」と言った場合: "camera": {"style": "cut", "microPush": 0} — フレーム固定、状態遷移は純粋なカットで。

既知の不具合

  • Remotion「Target closed」/ icudtl.dat not found: chrome-headless-shell が特定のパスで起動しないことがあります(例: パスにキリル文字が含まれている、または node_modules/.remotion 内)。解決策: ブラウザフォルダをASCIIパスにコピーします (cp -R template/node_modules/.remotion/chrome-headless-shell/<platform>/chrome-headless-shell-* ~/.cache/remotion-chrome/) し、export REMOTION_BROWSER=~/.cache/remotion-chrome/<フォルダ>/chrome-headless-shell を設定します。
  • Claude Codeサンドボックス内でChromeがハングすることがあります — レンダリングはサンドボックス外で実行します。
  • フォントはネットからではなく、public/fonts/ から読み込まれます(Google Fontsはレンダリング中に切断される可能性があります)。
  • 動画ストリームの終わりを超えないように、DURATION = floor(duration × fps) とします。

関連スキル