HTML Motion Pipeline(9:16 説明動画、VO + SFX → MP4)
実績のあるワークフローです。各ステップには assets/pipeline/ にすぐ使えるコマンドが用意されています。
完全な実装例は assets/pipeline/index.fc-reference.html(Function Calling プロジェクト)を参照 — コピーして内容を置き換えてください。ゼロから書き始める必要はありません。
なぜこのパイプラインか
- 決定論的: GSAP タイムラインは
paused状態で、フレームごとにシーク → MP4 はプレビューと完全一致。 - ユーザー自身のVO(ElevenLabs / マイクで録音したファイル。TTSではありません); テンポは制御可能。
- 自動レイアウト監査が、テキストのキャンバス外への飛び出しや要素同士の重なりを検出 — フルレンダリング前に必ず通過させる必要があります(1338フレームのレンダリングを節約)。
- きれいな接続線: ノードの端にアンカーを設定し、背面レイヤーに配置します( Pitfall #1 参照)。
主要原則(これが核です)
映像はスクリプトとVOに奉仕し、その逆ではありません。
- 画面に表示されるすべての要素は、スクリプトに存在し、VOで発話されている必要があります。面白くてもナレーションされていない要素は、どんなに優れていても削除すること。
- 逆に、スクリプト内の重要なアイデアや文はそれぞれ固有のビジュアルを持ち、そのフレーズが発話されている間に表示されなければなりません。単なる静止テキストになっている文は「静かな」シーンです → ビジュアルを追加してください。
- シーンの数が多くなっても問題ありません — 重要なのは各シーンがVOとスクリプトに従っていることです。
- より多くの画像とアニメーション = より良い結果(より生き生きとします)。ビジュアルを追加することを躊躇しないでください。豊かなビジュアルは付加価値であり、弱点ではありません。
- ビジュアルの順序とタイミングは、VOでの言及の順序とタイミング(文字起こしのタイムスタンプから)に従うものであり、独自の論理に従うものではありません。
- ビジュアルの詳細の品質も維持されます:アイコンは何を意味するか明確に読み取れ、要素はバランスが取れており、浮遊感がありません。
ワークフロー(順序に従ってください)
| # | ステップ | 出力 |
|---|---|---|
| 1 | ユーザーのVOを取得し、セグメント(呼吸の間隔)で分割 | meta.json |
| 2 | ffmpeg atempo でVOのテンポを調整 + 間を挿入。バリアントを選択 | vo.wav |
| 3 | 単語単位の文字起こし(faster-whisper、pip install faster-whisper) | assets/words.json |
| 4 | index.html を構築(VOのタイミングに合わせた8シーン)+ sfx_score.py | HTML + SFX WAV |
| 5 | VOとSFXをミックス → public/full_mix.mp3 | 最終オーディオ |
| 6 | レイアウト監査(audit2.mjs + audit_s2.mjs)— オーバーフロー0は必須 | レポート |
| 7 | フレームレンダリング(render_frames.mjs)→ 1338 PNG | frames/ |
| 8 | エンコード(encode.sh)→ MP4 | public/*.mp4 |
| 9 | 最終MP4のビジュアルチェック — MP4からフレームを抽出し、Vision APIで分析 | クリーン確認 |
1度だけのセットアップ
cd <プロジェクト>
npm init -y && npm install playwright-core gsap
pip install faster-whisper # 単語ごとの文字起こし用
# 必要なもの: Google Chrome(/Applications/Google Chrome.app)、ffmpeg
パイプラインスクリプト
assets/pipeline/:
render_frames.mjs— タイムラインをフレームごとにシークし、1080×1920 @30fps でスクリーンショットを撮ります。snap.mjs— 特定の秒数のスナップショットを撮影します(node snap.mjs 1.0 6.5 17.5)。ビジュアル確認用。audit2.mjs— すべてのシーンをチェック:テキストのキャンバス外への飛び出し / 下部UIゾーン(>1560px)への侵入 / 衝突。audit_s2.mjs— 1つのシーン(sc2)を複数の秒数で監査(早すぎるリビール、端への接近を検出)。audit_overlap.mjs— 実際に重なっているテキストを検出(テキスト×テキスト、テキスト×画像、テキスト×ボタン)。意図的な重なり(SVGコンテナ内のラベル、取り消し線/線、横並びのフレックス字幕など)は賢く区別し、報告しません。 実行方法:node assets/pipeline/audit_overlap.mjs→ 目標はTOTAL 重なり: 0。audit_center.mjs— 「上部に浮いている」コンテンツを検出(下部3分の2が空)。各シーンのコンテンツのバウンディングボックスを測定し、理想的な中央点(1920px では y≈960)からの偏差を計算。偏差 > 250px は ⚠ 浮き。実行方法:node assets/pipeline/audit_center.mjs。typing-prompt.js— 「タイピングプロンプト」アニメーションのレシピ(コーディング/AIテーマの核心):プロンプトが一字ずつタイプされ、カーソルが点滅し、アプリが応答(色変更 → エラー → 修正 → 反復)。完全な例:09-vibe-coding/index.htmlの SK4 シーン。encode.sh— ffmpeg → H.264 yuv420p CRF18 + AAC 192k ++faststart。sfx_score.py— 手続き型SFXスコア、単語のタイミングに同期。index.fc-reference.html— 完全な実装(コピー&コンテンツ置き換え用)。
HTML の規則(index.fc-reference.html内)
#stageは 1080×1920、ドットグリッド背景。#world(カメラリグ、シーンごとに微妙なスケール)。シーン =.scene(visibility hidden、タイムラインで表示/非表示を切り替え)。- 単語ごとの字幕:
assets/words.json→ 最大4単語のチャンクにグループ化、1チャンク = 1.line(position:absolute、積み重ねてボックスを広げないようにする)。アクティブな単語は.on、キーワードは.key(琥珀色)。下部から390pxの位置(Reels/TikTokのUIが下部約360pxを覆うため、それを避ける)。 - 接続線:
link(svg,idA,idB)関数はノードの端(edge/edgeT)のアンカーを計算 — 線はロゴの中心から出ません。SVG.wiresは.sceneの最初の子要素として配置され(z-index:0)、カード(z-index:2)の背面になります。滑らかな曲線(bow ≤26px)、色はグレー#7A81888px。アクティブな線は.hotで琥珀色15px。 - エージェントロゴ:
OPENCLAW_SVGインライン(赤いロブスター)、🤖を含む各.node.darkに自動的に配置。別のアイデンティティが必要な場合は変更可能。 - GSAP 決定論的:タイムラインは
paused状態で、window.__tlとwindow.__updateSubを公開。?t=<秒>モードで静的スナップショット(ヘッドレス)、?debugで手動スクラブ。
トリガー
ユーザーが 「pipeline motion explainer」 というフレーズ、または「9:16 のモーション説明動画」をリクエストした場合、あるいは「以前の Function Calling 動画のように」と言った場合 → このスキルをロードします。motion-format / bang-motion(別のスキル)ではありません。ユーザーのVOは毎回ファイルとして送信されます — このスキルは動作方法を保存するもので、オーディオ/コンテンツのアセットを保存するものではありません。
注意点(繰り返さないでください)
- 線がロゴ/テキストを貫通する → 確認事項:(a) SVG ワイヤーがシーンの最初の子要素であること、(b) ワイヤーの
z-index:0に対してカードのz-index:2、(c) アンカーにlink()を使用して端に配置すること。 - 字幕がカードを覆う / UIゾーンに入る → 1行1スタック(absolute)、最大4単語/チャンク、下部 ≥390px。
- レンダリング時の
window.tl未定義 → 公開する名前はwindow.__tl(__を使用)でなければなりません。そうしないと、74% のフレームが同一/静的になります。確認:md5 frames/* | uniq -c。 - レンダリングのバックグラウンド再起動 → 新しいレンダリングの前に古い
render_framesが実行されていないことを確認(pgrep -fl render_frames)。開始前にframes/を削除します。 - DOM監査は最終MP4のビジュアルチェックの代わりにはなりません。 監査はオーバーフローとバウンディングボックスの衝突を検出しますが、線がロゴを貫通する / テキストがカードを覆う ことは検出しません — それらは最終ピクセルでのみ確認できます。エンコード後、MP4からキーフレームを抽出し(
ffmpeg -ss <t> -i out.mp4 -frames:v 1 f.png)、vision_analyze で分析します。 - 「上部に浮いている」コンテンツ(下部3分の2が空)。 これは、通常の監査がオーバーフローだけをチェックし、バランスをチェックしないため、最も頻繁にすり抜けます。原因:すべての
.heroの子要素がposition:absoluteを使用しているため、flexbox のjustify-content:centerがそれらに効果を持ちません。解決策:.heroの子要素を通常のフロー(block/flex フロー)にし、重なる要素(バッジ/取り消し線/マーカー)だけを absolute のままにします。audit_center.mjsを必ず実行 — 中心偏差 > 250px = 失敗。 - ビジュアルがスクリプトに従っていない(最も有害)。 アニメーションが動いているからといって、シーンが「完成」したと思わないでください。実際の例:相関グラフと年齢グラフが画面に表示されているのに、VOがそれらに言及していない。レンダリング前のスクリプト監査必須:(a) 文字起こしVO + 単語ごとのタイムスタンプ(
words.json)を抽出、(b) 「このフレーズは画面で何時に表示されるか?」をマッピング、(c) スクリプトにないが表示されている要素 → 削除。スクリプト内のフレーズで、静止テキストになっているもの → ビジュアルを追加。ビジュアルの順序 = VOでの言及順序。 - レンダリング時のメモリ不足(Mac 8GB)。 Chromiumは数百枚のスクリーンショットを出力する際にメモリを蓄積し、途中でクラッシュします(「Target page closed」)。解決策:約400フレームごとにブラウザを再起動 + 自動再開(既存の >20KB のフレームはスキップ)。1回のブラウザセッションで2500フレーム以上をレンダリングしないでください。
- リビジョン後に古いフレームが混ざる。 一部のシーンのみをリビジョンし、その範囲のフレームだけを削除した場合、
frames/が混在します(例:必要なフレームが2574なのに2770ファイルある)。最も安全な方法:フルレンダリングの前にframes/全体を削除します。再開する場合は、ファイル数がエンコード前の総フレーム数と一致することを確認します。 - 絵文字がDOM監査をすり抜ける。 ユーザーが絵文字なしを要求した場合 — 自動チェックしなければ、バウンディングボックス監査が文字の種類を見ないため、絵文字がすり抜ける可能性があります。レンダリング前に、Python の正規表現で絵文字を検索。見つかった場合はインラインSVGに置き換えます。アイコンは常にSVGにします。
re.findall(r'[\U0001F300-\U0001FAFF\u2600-\u27BF\u2B00-\u2BFF\uFE0F]', html)→ 必ず0に。 - アイコンとビジュアル詳細は表示サイズで読み取れる必要があります — DOM監査とレイアウト監査は「アイコンが不明瞭」を捉えません。 SVG はコード上では正しい形状でも、レンダリングサイズ(例:図中の180pxアイコン)では別のものに見えることがあります:輪郭が開いた脳のアイコンは、脳ではなく雲/花に見えます。修正方法: フルレンダリング前に、MP4からフレームを抽出し、キーとなるアイコン/図を拡大(クロップ)して vision_analyze で評価 — 「これは X として明確に読み取れますか?」。曖昧な場合は、形状を簡略化し(開いた輪郭よりも塗りつぶしのシルエット)、サイズを大きくします。バウンディングボックス監査は位置のみをチェックし、形状の読み取りやすさはチェックしません。
- 比較要素(A対Bの棒/列)は必ず1つのビジュアルグループにします。 親カードの外に「浮いている」棒(別々の絶対位置)は、バランスを崩し、コンテンツの高さが変わったときに他の要素を覆いやすくなります。実際の例:筋萎縮/強い筋肉の棒がジムカードの外に浮き、別のカードに衝突しました。修正方法: 各棒を自身のカード/列セルの中に入れます。棒の長さの違いは意図的(長さ = 値)ですが、カードの幅とベースラインは統一します。レイアウトを変更するたびに
audit_overlapで確認します。 - テキストが「ほんの少し」重なっているように見えても重なり。 目に頼らないでください。実際のバウンディングボックスを測定する
audit_overlap.mjsを使用します。巨大な?、装飾的な大きな数字、長いタイトルは、気づかないうちに他のテキストを覆っていることがよくあります。 - コーディング/AIテーマは、タイピングアニメーションなしでは死んでいるように感じられます。 静的テキストは、バイブコーディングの動作方法を伝えません。
typing-prompt.jsのレシピを使用:プロンプトが一字ずつタイプされ、カーソルが点滅し、アプリが応答(色変更 → エラー → 修正 → 反復)。 - Webからのロゴ/アイコン:公式のSVG(jsDelivr CDN / GitHub ブランドリポジトリ)をダウンロードし、HTMLにインラインでテキストとして埋め込みます — 外部ファイルへの
<img src>は使用しないでください。ヘッドレスレンダリングがネットワークに依存しないようにするためです。出力を決定論的にするために、SMILアニメーションは削除します。
音声ルール(ユーザー Hasbi)
- VO制作はユーザー自身の声(送信されたElevenLabsファイル)である必要があります。TTSではありません。
- 手続き型SFXは
procedural-sfxスキルを介して(ElevenLabsのクレジットは使用しません)。 - MP4送信後、生フレームと補助ファイル(
frames/、shots/、セグメントごとの*.wav)は削除 — MacBookのストレージは限られています。