Communitygithub.com

トーキングヘッド用Bロール

トーキングヘッド動画にBロールモーショングラフィックスを追加します。録音を単語タイミング付きで文字起こしし、話者を表示するタイミング、グラフィックを重ねるタイミング、全面グラフィックで覆うタイミングを一文ごとに決定し、実際の発言内容(数字、比較、手順、キーワード)から各グラフィックをJavaScriptのCanvas上に描画し、元の音声とともに完成したMP4をレンダリングします。また、アルファチャンネル付きのBロールのみの動画もエディター用に出力します。話している人の録画(トーキングヘッド、解説、コースレッスン、広告読み上げ、ポッドキャストクリップ)があり、それをより魅力的に視聴できるようにしたい、Bロールやモーショングラフィックを追加したい場合に使用します。

トーキングヘッド用Bロール とは?

このスキルは、トーキングヘッド動画(人がカメラに向かって話す動画)に、Bロールのモーショングラフィックスを自動生成・追加するためのものです。元の録画の音声や映像品質はそのままに、話者の発言内容に基づいて、タイミングよくグラフィックをオーバーレイまたは全面表示することで、視覚的に単調な動画をエンゲージメントの高いコンテンツに変えます。処理は、録音の文字起こしと単語タイミングの取得から開始し、そのテキストを解析して、話者表示(A)、キーワードや数字のオーバーレイ(B)、全面グラフィック(C)の3つのパターンで各発言区間を処理する計画を立てます。各グラフィックは、発言内容(数字、比較、手順、キーワードなど)からJavaScriptのCanvas上で動的に描画され、元の音声と共にMP4としてレンダリングされます。また、アルファチャンネル付きのBロール動画も出力するため、Premiere ProやDaVinci ResolveといったNLE(ノンリニア編集)ツールでの後編集も容易です。このスキルは、Node.js、Playwright、ffmpeg、Chromeを必要とし、文字起こしにはローカルのwhisper.cppまたはElevenLabs APIを利用します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ItsMeMal/mallss3d-motion/tree/main/.claude/skills/talking-head-b-roll

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

トーキングヘッド用Bロール は何をしますか?

ユーザーの録画は既に完成しています。言葉と配信は最終版です。トーキングヘッドだけでは視聴するのに退屈なので、このフィルムの役割は、音声の各セクションに対して、映像に何を表示するかを決定することです。音声は決して停止せず、映像だけが変化します。

録画は決してカット、移動、トリミング、拡大縮小されることはありません。あなたが作成するものはすべて、その上に描画されるレイヤーです。話者を表示する部分は透明、グラフィックで覆う部分は不透明です。scripts/render.mjs がそのレイヤーを録画の上に重ね、音声を保持します。

一度で完了させてください。録画や常識的なデフォルトで答えがわかる質問はせず、納品時に選択した内容をリストアップしてください。録画と同じフォルダで作業し、スクリプトはそのフォルダから実行してください。出力も同じフォルダに生成されます。以下、<skill> はこのスキルのフォルダ(このファイルがあるフォルダ)を指します。

1. 文字起こし

node <skill>/scripts/transcribe.mjs talk.mp4            # → transcript.json、各行の開始時刻と終了時刻を出力

このスクリプトは、動画のサイズ、フレームレート、長さ(これらはページに使用します)と、文の区切りで分割された文字起こしを出力します。全ての単語のタイミングが transcript.json に記録されます。何かを決定する前に、文字起こし全体を読んでください。whisper.cpp がインストールされていればそれをローカルで使用し、なければ ELEVENLABS_API_KEY を使用します。どちらもない場合は、設定方法を出力します。ポーズは音声自体から取得されるため、文と文の間のギャップは話者が実際に停止している箇所です。文内のタイミングは、数分の1秒の誤差範囲内です。文字起こしは数字を聞き間違える可能性があります。もし発言内容と整合性が取れない数字があれば、それを画面に表示せず、納品時にその旨を説明してください。

2. 計画:3つの処理方法

A. 話者表示。 動画のみで、何も重ねません。話者がポイントとなる場面で使用します。オープニングの一文、個人的な意見やストーリー、感情的なビート、行動喚起、クロージングの一文など。

B. オーバーレイ。 動画はそのまま表示され、その上に透明なモーションレイヤーが重なります。キーワードや短いフレーズ、カウントアップする数字、アイコン、矢印、ロゴ、項目が順に追加される短いリストなど。一文に、話者を見る価値がある一方で、見る価値のある具体的な内容が1つある場合に使用します。オーバーレイは端や画面の上部3分の1、下部3分の1に配置し、話者の顔にかからないようにします。一度に1つのアイデアを画面に表示し、その一文が終わると消えます。

C. カバー。 不透明な全画面モーションシーンで話者を隠し、音声はそのまま続けます。数字や比較、プロセスや手順、仕組みの説明、製品やインターフェース、3つ以上の要素があるものなど、顔で説明するよりも映像で示した方が良い場合に使用します。モーションはその一文を説明するものであり、装飾するものではありません。

文または節の区切りで文字起こしを分割します。各行にA、B、Cのいずれかを割り当て、1文の理由を付け、BまたはCで何を表示するかを記述します。その後、リズムを確認します。

  • 視聴者が話者と出会うためにAで開始し、Aで終了します。
  • Aが約8秒以上続かないようにし、BまたはCで区切ります。
  • Cのセクションは約3~8秒とし、Cのセクションの間には話者に戻り、フィルムがナレーション付きスライドショーのようにならないようにします。
  • 処理の変更は行の区切りで計画し、オーバーレイの表示はそれが説明する単語のタイミングに合わせます。以下のタイミングルールを使用して、どの要素が先行するか、または同期するかを選択します。
  • 1行ごとに変更するよりも、より少なく、より明確な処理を優先します。

ビジュアルタイミング:ビートごとに決定

Bロールレイヤー全体に対して1回ではなく、意味のある要素ごとにタイミングを選択します。計画に、表示する話された単語/フレーズ、タイムスタンプ、タイミングの選択、短い理由を記録します。

タイミング使用する場面クロック
約6フレーム先行視覚的な準備ができる文脈:軸、カード、オブジェクト、プロセス構造s.now
関連する単語に同期新しい重要な事実:金額、パーセンテージ、価格、ランキング、最終的なチャート値s.audioNow
明かされるまで待つオチ、否定、保留された回答、結論s.audioNow、明かされる単語またはフレーズでゲート

「収益が30%成長した」の場合、チャート構造を早めに導入し、30%を読みやすくし、最終的なバーの値を「30%」で同時に着地させます。同期とは、情報が読み取り可能または確定していることを意味し、単に長いフェード/カウントアップが開始されたことではありません。準備的なモーションは早めに開始できますが、答えを早期に明かしてはいけません。以前に示された値は、文脈として表示されたままにすることができます。

SCENES.from/to と単語アンカーは、元の文字起こしの秒数で維持します。テンプレートは、構造クロックを VISUAL_LEAD_FRAMES / FPS(デフォルト6フレーム:25fpsで240ms、30fpsで200ms)だけ進めます。s.now、t、s.in、s.out はそのクロックに従います。s.audioNow は実際の再生時間のままです。同期された各事実は s.audioNow >= wordStart でゲートします。アンカー自体をずらしたり、完成したレイヤーをエディターで再タイミングしたりしないでください。正確な同期が要求された場合は VISUAL_LEAD_FRAMES = 0 を使用します。混合シーン内では、事実と保留されたコンテンツをオーディオクロックに保ちます。

録画、音声、キャプション、フィルムの長さは変更しないでください。シフトされたシーンの終了が、同期された表示を隠したり、読み取り可能なホールド時間を短くしたりしないことを確認してください。必要に応じて、そのシーンと隣接するシーンを拡張/再計画してください。話者のみのオープニングとクロージングを維持してください。アンカー周辺を聞いてください。推定された単語時間は、フレーム精度が保証されていません。これは、サンプルレビューに基づいた編集上のデフォルトであり、普遍的な知覚ルールではありません。

比較のために、ビジュアルを固定し、音声と共にレビューしてください。scripts/compare-timing.py は古いレイヤー全体のシフト実験です。ゼロリードのベースラインアルファレイヤーにのみ使用し、選択的にタイミングが設定された、または既に進められたレイヤーには使用しないでください。これらの要素ごとの選択を検証することはできません。

完全な焼き込みキャプションはこの機能の一部ではありません。ユーザーが明示的に要求した場合のみ追加してください。Bオーバーレイのテキストは、話されている文ではなく、いくつかのキーワードです。

画面のテキストは、話者が実際に言った単語、または文字起こしやユーザーの資料からの数字や名前を使用します。数字、主張、引用をでっち上げないでください。

3. ページを構築する

<skill>/templates/b-roll.html を録画の隣に page.html としてコピーし、以下を設定します。

  • VIDEO、W × H(動画の形状:1920 × 1080、または縦長の場合は 1080 × 1920。4Kファイルでも1920 × 1080のページを維持できます)、FPS、DURATION。これらは transcribe.mjs が出力した値です。
  • FACE:話者の頭の位置(髪の毛を含み、少し余白を持たせる)を、フレームに対する比率で指定します。node <skill>/scripts/render.mjs page.html face --stills 2s,20s --face で録画とボックスを表示します。全てのスチルで頭が収まるまで調整します。
  • SCENES:BまたはCのセクションごとに1エントリ。{ from, to, kind: 'overlay' | 'cover', draw }。時刻は transcript.json の単語タイミングから取得します。シーンに含まれないすべての部分はAになります。2つのシーンは隣接できます(一方の to が次の from になります)。間にわずかな話者表示があると、ちらつきとして認識されます。
  • シーンごとに1つの draw(t, s)。その行の内容に合わせて記述します。テンプレートの2つの例(キーワードカードと同期された数字)は構造を示すものであり、見た目を示すものではありません。s.in と s.out は入り口と出口を示します。s.now は進められた構造クロックです。同期された事実や保留された表示には s.audioNow と元の単語アンカーを使用します。

サーフェイスのデフォルトはLIGHTです。以下の場合のみダークにします。(a) ユーザーまたはブランドが明示的に要求した場合、または (b) 主題が本質的に暗いサーフェイス(ターミナル/コード、夜空、映画館)上にある場合。ネオンオンブラックは、あらゆるAI動画の決まりきったデフォルトであり、依頼なしにそれを選択することはデザインの失敗です。

フォント:使用するウェイトごとに1つのGoogle Fonts <link> を追加し、描画するすべてのフォントを FONTS にリストします。これにより、フォールバックフォントでレンダリングされることがなくなります(レンダリングにはフォントをロードするためのネットワークアクセスが必要です)。

4. 確認する

node <skill>/scripts/render.mjs page.html --check                 # 計画を文字起こしとピクセルに対して確認
node <skill>/scripts/render.mjs page.html film.jpg --sheet 1      # フィルム全体を1秒1フレームで録画の上に重ねて確認
node <skill>/scripts/render.mjs page.html shot --stills 12s,20s   # テキストとスペーシングを読むためのフルフレーム

--check はパスしなければなりません。すべてのカバーは、表示中は話者を完全に隠し、オーバーレイは FACE 領域にまで達しておらず、元の音声アンカーはすべて単語間にあり(表示されるグラフィックは先行しても構いません)、シーン外には何も描画されておらず、テキストがフレーム外にはみ出したり、他のテキストに重なったりしていないことを確認します。テキストがフレーム端から3%以内にある場合、一部のプレーヤーでクリップされる可能性があるため警告を出します。また、各セクションで何が言われているかのタイムラインと、リズムに関する警告(話者のみの長いセクション、3秒未満または8秒を超えるカバー、カバーが連続する、話者で開始または終了しないなど)を出力します。理由がある場合は警告を許容できるので、その理由を説明してください。

グラフィックがその行の内容を正しく表現しているか、テキストが判読可能か、カードやチャートの線からはみ出していないかは判断できません。シートで流れを確認し、すべてのシーンのスチルでテキストを確認してください。問題がなくなるまで修正と確認を繰り返してください。

5. レンダリングと納品

node <skill>/scripts/render.mjs page.html film.mp4        # 完成フィルム:録画、その上のBロール、元の音声
node <skill>/scripts/render.mjs page.html b-roll.mov      # Bロールのみ、アルファチャンネル付き:Premiere Pro、Resolve、Final Cut用のProRes 4444
node <skill>/scripts/render.mjs page.html b-roll.webm     # 同様のもの、VP9 + アルファ:小さく、ブラウザやOBS用

film.mp4、ページ(ブラウザで開くとフィルムを音声付きで再生し、シーンをスクラブできます)、および短い表形式の計画(時間、発言内容、処理方法、画面表示内容)を引き渡します。ユーザーがPremiere Pro、DaVinci Resolve、Final Cutで編集する場合(.mov:ProResは大きく、1080pで1秒あたり約5MB)、アルファレイヤーも提供します。これは録画の上のトラックに配置され、0から開始します。ユーザーから要求されなかった選択内容を説明してください。

必要環境:Node 18+、作業フォルダまたはその上位フォルダ(またはスキル自身のフォルダまたはその上位フォルダ)に npm i playwright-core、ffmpeg、Chrome(または npx playwright install chromium)、および文字起こし用のwhisper.cppまたはElevenLabsキー。

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

関連スキル