動画編集 — 字幕付きショーケースパイプライン は何をしますか?
HyperFrames上で動作する、エンドツーエンドの字幕付き動画エディターです。ユーザーが動画を提供すると、文字起こし → レビュー → レンダリングの順に自動化し、長時間のレンダリングの前に必ず文字起こしの承認を待ちます。
YUV.AIピラミッドにおけるこのスキルの位置づけ
video-edit は、YUV.AIスキルピラミッドの中間層に位置し、yuv-design-system、yuv-decks、yuv-viral-video、parallax-landing-page、video-to-landing-page と同じ階層です。トップ層のオーケストレーター yuv-pilot は、ユーザーが字幕付きショーケース、チュートリアル、または字幕付きトーキングヘッド動画の編集を希望する場合に、このスキルにルーティングします。
これは、より汎用的な動画編集スキルであり、yuv-viral-video の兄弟にあたります。役割分担は以下の通りです。
yuv-viral-video— YUV.AIバイラルショート専用のパイプライン(MrBeast風のテンポ、独自の編集スタイル)video-edit— 汎用的な字幕エディター。レンダリング前に文字起こしレビューを行います(ヘブライ語 + 英語 + あらゆるWhisper対応言語)
YUV.AIブランドの字幕付き動画の場合は、このスキルを yuv-design-system(ネオンモードのタイプ/パレット決定)と組み合わせて使用します。汎用的な/サードパーティ向けの字幕付き動画の場合は、このスキル単体で動作します。
呼び出すタイミング
- 動画ファイル(mp4/mov/mkv)のパスと、「編集」「字幕追加」「リール作成」「プロモーション制作」「同じようにして」といったリクエストがあった場合
- 「字幕を修正/ヘブライ語のスペルミスを修正」— 既存プロジェクトのレビューステップから再開する場合
- 字幕付きチュートリアル / トーキングヘッド / プロモーション動画の制作
保存場所
デフォルト: ~/Documents/yuv-projects/videos/<slug>/ — 字幕付き動画プロジェクトは常にここに保存し、レンダリング結果を見つけやすくします。<slug> は短い識別子で、トピックやソースファイル名から生成します。
mkdir -p ~/Documents/yuv-projects/videos
cd ~/Documents/yuv-projects/videos
# ここでプロジェクトを初期化します。
最終レンダリングは ~/Documents/yuv-projects/videos/<slug>/renders/<name>_FINAL.mp4 に出力されます。レンダリング終了時にユーザーに動画の場所を伝えます。
ワークフロー(12ステップ)
-
ソース調査 —
ffprobeで解像度、fps、長さ、オーディオを確認します。 -
スキャフォールド作成 —
cd ~/Documents/yuv-projects/videos && npx hyperframes init <slug> --video <path> --non-interactiveを実行。コピーされた動画をsource.mp4にリネームします。 -
オーディオ抽出 —
ffmpeg -i source.mp4 -vn -ac 1 -ar 16000 audio.wavを実行。 -
文字起こし —
references/transcribe.pyをプロジェクトにコピーします。デフォルトモデルはlarge-v3(ヘブライ語に最適)。CUDAはWindowsでは通常失敗します(cuDNN不足)。その場合、スクリプトはCPU int8にフォールバックします。ヘブライ語の場合はlanguage="he"、英語の場合はlanguage="en"を強制指定。それ以外の言語は自動検出します。 -
既知の誤りを修正 —
references/corrections-hebrew.mdの内容をプロジェクトルートのcorrections.jsonにコピーします(キー = 誤ったトークン、値 = 正しいトークン)。 -
🛑 停止 — レビューサーバーを起動し、ユーザーがWebアプリで承認するのを待ちます。 まず既知の修正を適用します。
references/make_review.pyをプロジェクトにコピーして実行します。python make_review.pyこれによりcorrections.jsonがtranscript.jsonに適用されます。次に、レビューサーバーを バックグラウンドタスクとして 起動します(ユーザーがブラウザで「承認してレンダリング」をクリックするまでブロックされます)。
python "$HOME/.claude/skills/video-edit/references/serve_review.py" . # Windowsの場合: python "C:\Users\<ユーザー名>\.claude\skills\video-edit\references\serve_review.py" .サーバーは
REVIEW_URL=http://localhost:PORT/のような行を出力します。バックグラウンドタスクの出力(またはstdout)からそのURLを取得し、ユーザーに次のように送信します。👉 ここで文字起こしを確認してください: http://localhost:PORT/ 「承認してレンダリング」をクリックすると、自動的に続行します。
エージェントは 「続行」メッセージを必要としません — ユーザーがボタンをクリックすると、サーバーはプロジェクトディレクトリに
transcript_review.txtを書き込み、コード0で終了します。エージェントのバックグラウンドタスク通知が発火し、パイプラインはステップ8から再開します。ブラウザがない/サーバーが使えない場合のフォールバック: エディターを静的ファイルとして開きます(
start "" "$HOME/.claude/skills/video-edit/transcript-editor/index.html")。ユーザーにプロジェクトフォルダを選択させ、編集してtranscript_review.txtをプロジェクトに保存し、「続行」と返信するよう依頼します。エディターは両方のモードをサポートしています。 -
(オプション)背景除去 — 下記ステップ7を参照。ユーザーのレビューと並行して実行できます。
-
承認後、
python references/apply_review.pyを実行します。編集された行を再トークン化し、単語のタイミングをtranscript.jsonに再配分して、キャプション同期が機能するようにします。 -
(オプション)背景除去 — 被写体の背後にテキストを配置する必要があるトーキングヘッドセグメントがある場合、セグメントを
outro.mp4(またはintro.mp4)として抽出し、npx hyperframes remove-background <clip>.mp4 -o <name>_subject.webm --quality bestを実行します。多くの環境ではCPUのみ使用(1440pで約15秒のクリップの場合、約3~8分)。 -
ソースを高密度キーフレームで再エンコード — マルチワーカーレンダリングは、キーフレームが疎だとフリーズします。常に以下を実行してください。
ffmpeg -y -i source.mp4 -c:v libx264 -preset medium -crf 18 -r 30 -g 30 -keyint_min 30 -sc_threshold 0 -pix_fmt yuv420p -movflags +faststart -c:a copy footage.mp4 -
(編集済み)文字起こしを再読み込み し、
references/gen_body.pyでボディサブコンポジションを生成します。ジェネレーターは、compositions/components/caption-body.htmlに、エディトリアルスタイルとマトリックススタイルを交互に配置したリキッドガラス風キャプションピルを出力します。アンカーは左下中央寄り(右下のウェブカムPiPと重ならないようにします)。 -
ホスト
index.htmlをreferences/host-template.htmlからワイヤリングします。レイヤー順序(z-index、トラックインデックスではありません):- z0: フッテージ
.cam-bg - z1: リキッドブラー背景(
compositions/liquid-blobs.html、mix-blend-mode: screen、全長) - z2: 被写体背後パララックスキャプション(背景除去を使用した場合のイントロおよび/またはアウトロ)
- z3: 被写体切り抜き
.cam-out/.cam-sub(対応するdata-media-start付き) - z6: ボディキャプション
- z46: プログレスバー + フラッシュ + リキッドモーフワイプ
- z0: フッテージ
-
リント —
npx hyperframes lintを実行。エラーは0でなければなりません。よくある修正: ワイプ要素でのGSAP/CSS transform競合(xPercent/yPercentを使用するか、CSS transformを削除)、同じプロパティでのトゥイーン重複(overwrite: "auto"を追加)。 -
レンダリング —
npx hyperframes render --quality standard --fps 30 --output renders/<name>_FINAL.mp4を実行。Standard が適切なデリバリ品質です。highにするとレンダリング時間が約2倍になります。完了報告の前に、タイムライン全体から6~8フレームをスポットチェックで確認します。
縦長(9:16)出力(TikTok / Reels / Shorts向け)
ユーザーが縦長/ポートレート/TikTok/Reels/9:16出力(16:9ソースから)をリクエストした場合:
- プロジェクトを兄弟フォルダにクローンします:
cp -r project/ project-vertical/。 index.htmlをreferences/host-template-vertical.html(1080×1920キャンバス、ぼかし背景+リキッドブラー、16:9フッテージを中央に配置した水平ストリップ、キャプションは下部)に置き換えます。gen_body.pyをreferences/gen_body_vertical.py(中央揃えのピル、大きなフォント、より狭い最大幅)に置き換え、再実行してcompositions/components/caption-body.htmlを出力します。- 被写体背後カットアウト+パララックスサブコンポジションを削除します(カットアウトは16:9用に位置合わせされており、v1で再調整する価値はありません)。代わりに縦長コンポジションでは、ぼかしソース背景+ブラーで雰囲気を出します。
index.html内のdata-durationを実際の動画時間に更新します。ブランドチップテキスト(デフォルトYUV.AI)も適宜更新します。- リント+レンダリング — 同じコマンド。出力は
1080×1920です。そのままTikTok/IG Reels/YT Shortsにアップロードできます。
16:9と9:16の両方を同時に納品するには、2つのレンダリングコマンドを(並列プロジェクトで)実行します。transcript_review.txt の承認は両方に適用されます — 同じキャプション、2つのコンポジション。
重要なルール
- 明示的な文字起こし承認なしに最終レンダリングを決して行わないでください。 レビューステップがこのパイプラインの核心です。
- ヘブライ語の場合:
large-v3+language="he"+direction: rtl+ Rubikフォント(エディトリアルデュアルウェイト強調のため700 + 900)を使用します。 - キャプションピルには常に不透明な暗い背景が必要です — 明るいテキストだけだと白いアプリUIで見えなくなります。
- キャプションピルは水平方向に中央揃えにしますが、映像の右下にウェブカムPiPがある場合は、中央のx座標を左にシフトします(例:
left: 720px)。 - 被写体背後カットアウトクリップは、
data-media-startをdata-startと一致させる(またはクリップが抽出された場合はソースからのオフセットと一致させる)必要があります。そうしないと、カットアウトがフレーム0から再生され、同期がずれます。 remove-backgroundで生成されるwebmは元のRGBを保持し、アルファマスクのみを書き込みます。ffprobeはyuv420pと報告し、一見「アルファなし」に見えます。TAG:ALPHA_MODE=1を確認するか、単色の上に合成して確認してください。- テキストが焼き付けられたアウトロ/エンドカード — それらの上にキャプションを重ねないでください。衝突します。
ファイルリファレンス
| ファイル | 目的 |
|---|---|
transcript-editor/index.html | インタラクティブブラウザエディター — 動画プレビュー、RTL編集、辞書適用、オプションのWebLLM AI提案、transcript_review.txt を保存 |
references/setup.md | 前提条件 + Node / Python / FFmpeg / faster-whisper のインストールコマンド |
references/transcribe.py | CPUフォールバック+単語タイムスタンプ付きのfaster-whisper文字起こし |
references/serve_review.py | ローカルレビューサーバー — 自動でエディターをロードし、ユーザーが「承認してレンダリング」をクリックするまでブロック、その後 transcript_review.txt を書き込み終了(エージェントにシグナルを送る) |
references/make_review.py | 修正を適用し、transcript_review.txt を出力(ファイルモードのフォールバック) |
references/apply_review.py | 編集済みレビューファイルを解析し、単語タイミングを再配分、transcript.json を更新 |
references/gen_body.py | キャプションボディジェネレーター(エディトリアル+マトリックスをリキッドガラス風ピルに表示) |
references/host-template.html | 16:9 ホストコンポジション。リキッドエフェクト+トランジションワイプ付き |
references/host-template-vertical.html | 9:16 ホスト(1080×1920)— TikTok / Reels / Shorts向けレイアウト: ぼかし背景、中央配置の16:9フッテージストリップ、下部にキャプション、右上にブランドチップ |
references/gen_body_vertical.py | 縦長用に調整されたキャプションボディジェネレーター(中央揃えピル、大きなフォント、狭い最大幅) |
references/liquid-blobs.html | 全長にわたって漂うブラブレイヤー |
references/caption-parallax-outro.html | 被写体背後キャプションテンプレート(英語版。他の言語の場合はクローンしてください) |
references/corrections-hebrew.md | ヘブライ語Whisperでの既知の誤認識リスト |
references/transcript-review-workflow.md | 一時停止/承認ステップの詳細説明 |