Communitygithub.com

micahwburgess-spec/panel-to-reels

長尺のトーク、パネルディスカッション、ポッドキャスト、インタビュー録画を縦型9:16リールに変換し、単語ごとにビルドアップされるキャプションとInstagramグリッド用カバーを2つのキャプションスタイルで生成します。また、iPhone HDR動画を含む既編集の縦型動画にもキャプションを追加できます。動画からショート、リール、クリップを切り出したい、キャプションを焼き付けたい、リールカバーを作りたい、といった要望に応えます。

panel-to-reels とは?

Panel to Reels は、長尺のパネルディスカッションやインタビュー録画から、SNS投稿用の縦型リールを自動生成するAIエージェントスキルです。内部では、Apple Silicon 上の Vision フレームワークによる顔追跡、mlx-whisper によるGPUアクセラレーション転写、ffmpeg による動画処理を組み合わせ、単語単位でビルドアップするキャプション付きの9:16リールとInstagramグリッド用カバーを生成します。2つのキャプションスタイル(ビルドアップスタイルとブランドスタイル)に対応し、styles.json でフォントや色をカスタマイズ可能。エージェントはワークフローの各ステップ(転写、クリップ選択、フレーミング調整、キャプション強調、カバー作成)をユーザーと協調して進めます。Claude Code、Cursor、Codex など、bash スクリプトを実行できる任意のターミナルベースAIアシスタントで使用可能。特に、話者の顔を正確にフレーミングし、誤った単語の引用や他者の発言の誤帰属を防ぐための厳格なレビューゲートが組み込まれている点が特徴です。

対応✓Claude Code~Codex CLI~Cursor
npx skills add micahwburgess-spec/panel-to-reels

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Panel to Reels

1本の長尺録画から、投稿可能な縦型リールのバッチを作成します。各リールは単語境界でカットされ、話者の顔を中心に9:16にリフレームされ、単語ごとにキャプションが付けられ、Instagramのプロファイルグリッド用に作られたカバーとペアになります。すべてのクリップは ビルドアップ(白いキャプション、赤/青/マゼンタの強調)と ブランド(styles.json で設定したあなたの色とフォント)の2つのスタイルでレンダリングされます。

スクリプトが機械的な作業を行います。品質はこのファイルに書かれた判断基準にかかっています。ワークフローを順番に実行し、レビューゲートを飛ばさないでください。

必要条件

  • Apple Silicon 搭載 Mac(顔追跡にApple Vision、転写にGPU上のmlx-whisperを使用)。
  • libx264 と libx265 付きの ffmpeg(brew install ffmpeg)。
  • Python 3(セットアップスクリプトが ~/.panel-to-reels/ に独自のvenvを作成)。
  • ディスク: 90分の4Kソースで約6 GB。

このスキルのフォルダから、初回セットアップ:

bash scripts/setup.sh

すべてのスクリプトはラッパーを通して実行し、適切なPythonを使用します: bash scripts/run.sh <script> <args>。各スクリプトの正確なコマンドラインは scripts/USAGE.md にあります。

ワークフロー

プロジェクトフォルダP(任意の永続的な場所、macOSが消去する /tmp は不可)で作業します。すべてのスクリプトは最初の引数としてPを受け取ります。

1. 利用可能な最高解像度でソースを入手

run.sh fetch P <url> またはローカルファイルを P/source.<ext> にコピーします。16:9フレームの9:16クロップは幅の約3分の1しか残さないため、4K入力でシャープなリールが得られます。1080pソースでも動作しますが、拡大はソフトに見えます。もし相手が録画を所有している場合は、元のカメラファイルを依頼してください。アップロードされたものよりはるかに優れています。

2. 文字起こし

run.sh transcribe P --prompt "話者名、会社名、専門用語"。プロンプトが重要です: 名前の正しさが格段に向上します。各行の先頭に単語インデックスが付いた transcript.txt を出力します。そのインデックスでクリップを選択します。

3. 相手にリファレンススタイルがある場合、まずそれを調査

2~6個の投稿例を依頼します。Instagramは直接ダウンロードをブロックしますが、公開埋め込みページ(instagram.com/reel/<id>/embed/captioned/)では動画が1つ表示され、常にキャプションのコピーが取得できます。フレームを取得し、以下をメモします: キャプションのフォント、サイズ、位置、単語の表示方法、色付けされる単語、カバーの見出しフォントとレイアウト。何かをレンダリングする前に、観察結果を styles.json にマッピングします。

4. 文字起こし全体を読んで、注目すべき瞬間を選ぶ

すべてを読んでください。最初の半分だけを流し読みしないでください。良いクリップとは:

  • 20~80秒の自己完結したアイデアである。
  • 強い一言で始まる: 主張、数字、質問、物語の盛り上がり。最高のセリフが答えの途中にある場合は、そこから始めてください。
  • 途中で途切れず、納得感のある終わり方をする。

あなたがクリップを作成している相手(自分の回答が優先)を重視してください。イベントや他のアカウントがすでに投稿した瞬間は避け、相手に確認するか、そのリンクを確認してください。候補を表(クリップ、話者、フックとなるセリフ、タイムスタンプ)として提示し、相手に削除や追加を依頼してからビルドに進みます。

5. 話者がカメラに映っていることを確認(スキップしない)

すべての候補に対して run.sh peek P <start> <end> を実行します。マルチカメラ編集では、誰かが話している間にリアクションショットやワイドショットにカットされることがよくあります。ルール:

  • 話者がクリップの大部分でカメラに映っていない場合、そのクリップは破棄します。縦型クロップは、別の人の顔をその言葉の上に配置してしまいます。
  • 短いリアクションの切り替えし(クリップの約3分の1未満)は、letterbox モードで保持できます: ワイドショットをぼかしフィルの上に配置するため、誰も誤認されません。
  • 人を服装と座っている位置で識別し、文字起こし(誰が紹介されたか、誰が答えたか)と照合して確認します。見た目だけで名前を推測しないでください。

6. 単語インデックスでカット

各クリップを P/clips.json に記述します(スキーマは scripts/USAGE.md、例は examples/clips.example.json)。

  • spans は包括的な単語インデックス範囲です。複数のスパンでジャンプカットを構成します。回りくどい表現を引き締めるために使用し、意味を変えるために使用しないでください。
  • fix は確実な文字起こしエラーを修正します(「pounded」と言っているところが「found」、「Claude on a D file」が「CLAUDE.md」を意味するなど)。空文字列は単語を削除します。
  • フレーズが不明瞭で何が言われたか確信が持てない場合は、その部分をカットしてください。相手の言葉を推測して入れてはいけません。
  • クリップが司会者の質問で始まる場合、質問は導入としてのみ残します。司会者のセリフがゲストのものとして読まれることを決して許してはいけません。

7. フレーミング

run.sh shots P <clips> はカメラカット(スローディゾルブを含む)を検出し、ショットごとに1つのルール付きフレームをレンダリングし、検出した顔の中心を出力します。話者のx座標を各ショットの framing に設定します。

  • crop はソースに対するクロップ高さの割合: 3~4人のミディアムショットで約0.62、ワイドショットで0.42~0.5。
  • パンするハンドヘルドカメラは、各移動のフレーミングマークが必要です。トラッカーはスムーズな動きを追跡しますが、高速なウィップパンでは見失う可能性があります。
  • 隣同士が近い場合: 目視ではなく、印刷された顔中心の正確なx座標を指定します。

8. ビルドと確認

run.sh build P <clips> を実行し、各ベースクリップにわたって10~16フレームを取得します。すべてのフレームで話者がフレーミングされている必要があります。フレーミングを修正し、キャプションの前に再ビルドします。

9. キャプション、強調、カバー

  • 強調: アイデアを伝える単語(数字、名前、ポイントが落ち着く名詞)を emphasis で手動選択します。強調がないキャプションページには自動選択が適用されます。
  • 見出し: 4~9単語、発言に忠実で、キャッチー。オチを *アスタリスク* で囲み、アクセントをつけます。話者の発言以上を主張してはいけません。
  • カバーフレーム: 話者がレンズを向いている、できれば口を閉じているフレーム。見出しが口を覆う場合は、cover_shift を上げます(写真が上にスライドし、端がフェードします)。
  • トーキングヘッドの自撮り映像はパネル映像よりフレームの下に位置するため、caption_center を1430付近に設定し、キャプションが口ではなく胸に来るようにします。

10. レンダリング、レビュー、出荷

run.sh render_all P はすべてのクリップをすべてのスタイルでレンダリングし、P/export/<Style>/ にエクスポートし、検証テーブルを出力します。次に、自分でレビューします: すべてのカバーのグリッドサイズのコンタクトシートと、各リールから3~4フレーム。最後に、各クリップの投稿コピーを相手の口調で書きます。引用は文字起こしと一字一句一致している必要があります。確認済みのハンドルのみタグ付けします。未確認のハンドルは [handle] とマークし、相手が埋められるようにします。

厳格なルール

  • 決して誤った人に言葉を帰属させないでください。疑わしい場合はクリップを破棄します。
  • キャプション、カバー、投稿コピー内の引用は文字起こしと正確に一致します。
  • 他の組織の名前やブランディングを、その組織のものでないコンテンツに決して配置しないでください。ロックアップは styles.json から取得し、プロジェクトごとに設定します。
  • 見出しやコピーに数字、結果、主張を捏造しないでください。
  • 顔と声は実際の録音のみです。話者を生成したりクローンしたりしないでください。

既編集の縦型動画

完成したトーキングヘッド動画(iPhone HDRを含む)の場合、カットとフレーミングをスキップ: run.sh transcribe P --file <video> --clip <ID>、source_file を設定し "caption_center": 1430 としたクリップを clips.json に追加し、run.sh render_all P --clips <ID> を実行します。fix と emphasis のインデックスは P/base/<ID>.words.txt から取得します。ソースファイルは決して変更されません。

スタイルとロックアップ

styles.json にプリセットが保存されています。各プリセットには label(エクスポートフォルダ名)、caption ブロック(フォント、サイズ、キャプションページごとに循環またはグラデーションするハイライトカラー、ピルカラー)、cover ブロック(アクセントカラー、下部ティント、ロックアップ行、セパレーター、オプションのブルーム)があります。Pにコピーして編集し、プロジェクトをカスタマイズします。examples/summit-oak-styles.json は完全にブランド設定された例を示しています。フォントはこのスキルの fonts/ フォルダからファイル名で読み込まれます。バリアブルフォントは "Sora:ExtraBold" 構文を使用します。

ロックアップは、すべてのカバー見出しの下にある2行の小さなテキストです。スタイルで設定し、clips.json の "lockup": ["LINE ONE", "LINE TWO"] でクリップごとに上書きできます。イベントクリップはイベント名を、本人の動画は自分の名前とブランドを表示し、イベント名は表示しません。

苦労して学んだ注意点

  • iPhone映像はHDR (HLG) です。 通常のsRGBグラフィックを重ねると、光って彩度が高くなります。スクリプトはHLGを検出し、キャプションをHDRに変換して10ビットHEVC出力を維持します。Finderや単純なffmpeg取得からのプレビューは暗くフラットに見えます。hlg.frame() スチルまたはスマートフォンで評価してください。
  • ffprobeのCSV出力に末尾カンマが含まれる場合があります(arib-std-b67,)。in で比較するか削除してください。
  • 編集されたパネルでは、ハードカットではなくディゾルブがよく使われます。 シーンカット検出はそれらを見逃します。shots.py のフレーム差分検出器がキャッチします。
  • 白いキャプションは白いアプリ画面で見えなくなります。 キャプションの背景が明るい場合、自動的に暗いピルが追加されます。
  • Whisperはトークンを分割します(例: $2, 400 や 80 %)。キャプションはそれらを再結合するため、強調インデックスは最初の部分を指します。
  • Instagramはプロフィールグリッドでカバーを3:4にトリミングして表示します(1920のy 240~1680)。すべてのカバーテキストをそのバンド内に収めてください。
  • macOSは数日後に /tmp を消去します。 プロジェクトとvenvは永続的な場所に保管してください。
  • 一部のffmpegビルドには drawtext がなく、一部のIntelビルドはハードウェアエンコーダを使用できません。スクリプトはすべてのテキストにPILを使用し、HDRに libx265 を使用するため、どちらの場合でも動作します。

Micah Burgess, Summit Oak AI 制作。summitoakai.com

関連スキル