Communitygithub.com

10llo/reelkit(キャプション同期)

タレントの録画がリールキットのエピソード用に到着したときに使用します。Whisper でローカル文字起こし、スクリプトに合わせたキャプション補正、シーンの再タイミング、変更内容のユーザー確認と適用を行います。

reelkit(キャプション同期) とは?

このスキルは、タレントのクリップをリールキットのエピソードに組み込むための全自動ワークフローを提供します。Whisper を使ってローカルで文字起こしを行い、その結果をエピソードのスクリプトと照合してキャプションを補正し、シーンのカット位置を再調整します。ユーザーは生成されたレポートを確認し、問題があればキャプションを編集した上で変更を承認できます。承認後、スキルはクリップの配置、キャプションファイル、エピソードメタデータを確定します。Claude Code などの AI エージェント向けに設計されており、コマンドラインから npm run reelkit のサブコマンドとして操作します。これにより、手動編集の手間を省き、タレントの発話とスクリプトのずれを効率的に解決できます。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/10llo/reelkit/tree/HEAD/skills/caption-sync

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

キャプション同期

タレントのクリップは右下のスロットに配置されます。その音声がキャプションとシーンカットを決定します。ユーザーがレビューを承認するまで、エピソードには何の変更も加えられません。

すべてのコマンドはワークスペースルートから実行します。

1. Whisper の準備はできていますか?

npm run reelkit -- whisper check --model=<モデル>   # 使用するモデル。デフォルトは large-v3-turbo

モデルがダウンロードされていない場合、sync prepare がダウンロードを実行します(large-v3-turbo は 1.6 GB)。事前にユーザーに伝えるか、--model=small(586 MB、精度は低め)を提案してください。WebGPU が利用できない場合でも、同期はクリップをアタッチしますが、キャプションはスクリプトからタイミングを取得したままになります(「暫定」扱い)。

2. 準備(提案のみを作成)

npm run reelkit -- sync prepare episodes/<フォルダ> <クリップへのパス> [--model=large-v3-turbo]

クリップを talent.proposed.<拡張子> としてコピーし、文字起こしを行い、単語をスクリプトに合わせます。以下のファイルを書き出します。

  • sync-report.md — レビュー用レポート(スペイン語):クリップの詳細、先頭の無音除去、シーンカットの前→後、スクリプトと異なるすべての単語(スクリプトのスペルに補正、⚠ Revisar は大きく異なる置換とその聞き取り内容、⚠ No se escuchó は聞き取れなかった単語、アドリブはそのまま保持)、警告、音声が末尾を超えるかどうか。
  • captions.proposed.json — 動画で使用されるキャプション(編集可能:単語の "text" を変更して修正)。
  • sync-proposal.json — トリム位置、シーン開始位置、ファイル情報。

アライメントの判断方法:スクリプトのスペルと Whisper のタイミングを照合し、一致またはほぼ一致する単語(数字は発話形式と一致:"12" ↔ "doce")を対応付けます。大きく異なる置換は聞き取れた内容を表示してフラグ付けします。Whisper が聞き取れなかった単語はキャプションから除外します。タレントが余計に言った単語はそのまま保持します。

3. ユーザーとレビュー

sync-report.md を読み、ユーザーに簡潔な表を表示します:シーンカット(前→後)、フラグが付いたすべての単語(シーン、スクリプト、聞き取り内容、ステータス、時刻)、および末尾超過の行(ある場合)。ユーザーに承認を求めるか、変更したい単語を指定してもらいます(captions.proposed.json を編集させた後、変更箇所を表示)。

  • 音声が末尾を超える(⚠ La voz sigue … s):最後の単語がカットされます。より短く録り直すことを推奨します。ユーザーの明示的な同意がある場合のみ、--accept-overrun を付けて適用します。
  • シーン全体が聞き取れない:映像と発話が合わない可能性があります。録り直すか、このまま続けるかを尋ねます。
  • 一致度が低い(「¿Es el clip correcto?」):正しいクリップとエピソードかを確認します。

4. 適用(承認後)

npm run reelkit -- sync apply episodes/<フォルダ> [--accept-overrun]

ステージングされたクリップを talent.<拡張子> にリネームし、captions.json を書き出し、clip、sceneStarts、captionsSrc、stage: "synced" を episode.json に保存し、置き換えられた古いクリップを削除します。

5. 確認

npm run check -- episodes/<フォルダ>
npx remotion still Episode out/<フォルダ>-sync.png --public-dir episodes/<フォルダ> --frame=<N>

文章の途中の静止画を表示:クリップがスロットを埋め、キャプションが発話中の単語を示します。Studio を提案:npm run studio -- episodes/<フォルダ>。次のステップ:/reelkit:export。

関連スキル