ショート動画(Hyperframes)
ショート動画 = 1080x1920の縦型、10~30秒、顔出しトーク+モーショングラフィックのシーンオーバーレイ+カラオケ風キャプション。このスキルに含まれるすべてのノウハウは、May Shorts 19の反復検証(v1→v4)から抽出されたもので、新しいショート動画を作成するたびに適用する必要があります。
常に最初に /hyperframes を呼び出してください。 このスキルはその上位に位置します。フレームワークのルール(data-* 属性、window.__timelines、構成構造)を置き換えるものではありません。これらのルールはフォーマットに関係なく必須です。
このスキルが発動する条件
- 「ショート動画を作って」「TikTokに投稿」「Reels」「Shorts」「縦型動画」といったリクエスト
- 顔出しトークの録画+ソーシャルメディア向けのスクリプト/文字起こしから制作を開始する場合
- 既存のショート動画のタイミング調整、再カット、再同期
- ナレーションに同期したカラオケ風キャプションの追加
プレイブック(概要)
- 音声を基準とする。 まず音声を編集(リテイクや間をカット)。
<name>-edit.mp4として保存。ffprobeで正確な長さを測定 — これがコンポジションのdata-durationになる。 - 編集済み音声を文字起こしする。
npx hyperframes transcribe <edit>.mp4 --model small.en --jsonを実行。既存のビルドをリタイムする場合で、キャプションにshift()関数があれば、既存のキャプションを維持し、シーンの開始時刻だけをずらす。 - シーンの境界を編集時間で設定する — 同じファイル内に元の時間と編集時間のアンカーを混在させてはいけない。「音声同期プロトコル」を参照。
- コンポジションの骨格を作成する(4つのレイヤー:ambient-bg, seam-treatment, captions, face)。以下「コンポジションの骨格」を参照。
- 各シーンの
data-startを基準としたローカルオフセットでシーンを作成する。 各シーンはcompositions/scene<N>-<label>.htmlの下にある独立したサブコンポジション。 - Lint → ドラフトレンダリング → 単語単位のフレーム検証 → 最終レンダリング。 これが検証のゲート。ステップ3(フレーム検証)は決してスキップしない。
コンポジションの骨格(常時オンになる4つのレイヤー)
すべてのショート動画には、compositions/ の下にこれら4つのサブコンポジションがあり、共有トラックにロードされる:
index.html (ルート、1080x1920、data-composition-id="main")
├── ambient-bg.html track-index="3" — ラジアルグラデーション+ドリフトグリッド+パーティクル+ビネット
├── face-wrapper + <video> track-index="0" — 顔出しトーク(フェイスモード振付を参照)
├── seam-treatment.html track-index="5" — y=960のエッジをフェザリング(下半分のシーンのみ)
├── scene1-<label>.html track-index="1" — シーンオーバーレイ(連続、隙間なし)
├── scene2-<label>.html track-index="1"
├── …
└── captions.html track-index="2" — カラオケ風キャプション、単語同期
data-durationは、ルート、ambient-bg、seam-treatment、face-video、face-audio、captions で同一。シーンオーバーレイだけが時間とともに変化する。- 顔用の
<audio>は別の要素(ミキサーで必要)。ビデオ自体のオーディオトラックは絶対に使わない。 class="clip"は時間指定の div にのみ使用 —<video>や<audio>には絶対に使わない。
フェイスモード振付(ショート動画の特徴的な動き)
顔は、元の横長サイズ(1920x1080)でサイズ設定されたラッパーdivに配置される。GSAP はラッパーをアニメーションさせる(ビデオ要素は決してアニメーションさせない — <video> のサイズをアニメーションさせるとフレームがフリーズする)。
2つのモード:
const BOTTOM = { x: 0, y: 1136, scale: 0.5625 }; // 下半分、横長全体が表示
const FULLSCREEN = { x: -1166.5, y: 0, scale: 1.7778 }; // クロップして全面表示、1080x1920を埋める
const MODE_DUR = 0.32;
BOTTOM は、1920x1080のソースを1080x607.5で下半分の960pxに中央配置してレンダリング。FULLSCREEN は水平方向にクロップして縦長フレームを埋める。
新しいシーンのコンテンツが表示される0.15秒前に遷移を開始し、ease: "expo.inOut" を使用:
[
{ t: <scene-4-start>, mode: FULLSCREEN },
{ t: <scene-5-start>, mode: BOTTOM },
…
].forEach(({ t, mode }) => {
mainTl.to("#face-wrapper", { ...mode, duration: MODE_DUR, ease: "expo.inOut" }, t - 0.15);
});
モードを瞬時に切り替える顔は、縦型動画で最も不快なフレームになる。常に補間すること。
顔のグレーディング(すべてのショート動画で必須)
#face-video {
filter: contrast(1.08) saturate(1.08) brightness(0.97);
}
さらに、全時間にわたって微妙な1.00→1.025のケンブルズズーム(ease: "none")と、サイドビネットの ::after 疑似要素を追加し、顔が周囲のネイビーに溶け込み、鋭いエッジでぶつからないようにする。
シーム処理(下半分のシーンで必須)
y=960にネイビー→透明のグラデーションバンド(60~100px)と、ソフトグローのある2pxのアクセントスキャンライン。顔の後に描画して、顔の上に配置する;フルスクリーンシーンはそれを覆い隠す。y=960のシャープなカットは、AI編集コンテンツの兆候の第2位(背景の平坦さに次ぐ)。
音声同期プロトコル(スキップ禁止)
問題: 音声が編集(リテイク/間が削除)されている場合、元の文字起こしのタイムスタンプは編集済み動画と一致しなくなる。元の時間で作成されたシーンの開始は遅れて発火する。
ルール: すべてのタイミングは編集時間で管理する。混在させてはいけない。
ショート動画のリタイムにおける検証手順:
- 両方の音声ファイルの長さを測定:
差分=総カット時間。ffprobe -v error -show_entries format=duration -of csv=p=0 assets/original.mp4 ffprobe -v error -show_entries format=duration -of csv=p=0 assets/<name>-edit.mp4 captions.htmlでshift()関数を使って文字起こしの単語をマッピングしている場合、それを基準とする。shift(元の時間) = 編集時間のマッピングは、すべてのシーンのdata-startにも適用される。- シーン内部のオフセット(
compositions/sceneN.html内)は、シーンのdata-startを基準としたローカル値。シーンの親data-startが編集時間で正しければ、内部オフセットは修正なしで正しく維持される。ただし、シーンがカットをまたぐ場合は、親の長さと内部オフセットの両方がずれる。 - フェイスモード遷移配列の時間は編集時間を使用する。自動的にシフトされない。
リタイムの計画フォーマット(毎回このテーブル構造を使用):
| シーン | 現在の開始 | 現在の長さ | 新しい開始 | 新しい長さ | 理由 |
|---|---|---|---|---|---|
| … | … | … | … | … | … |
次にフェイスモード配列、次に内部オフセットの変更、最後にフレーム検証リスト。
シーン作成
1シーン=1つのサブコンポジションファイル。シーンは同じ data-track-index 上に連続して配置される(隙間なし)。各シーン内部:
data-durationは親のスロットと正確に一致- すべてのGSAPアンカーはローカル(シーン開始を0とする)
tl.set({}, {}, <data-duration>)を使用してタイムラインをパディングし、GSAPのtl.duration()がdata-durationと一致するようにする
シーンペーシングルール(10の原則より)
- 無駄なフレームをなくす。 100msごとに1つ以上のアニメーション要素がある。最初の登場は0.1~0.3秒オフセットし、t=0にしない。
- 見せ場は1秒以上表示する。 シーンの「大トリック」(スタンプ、数字のロック、オチ)は画面上に1秒以上、理想的には1.5秒表示する。総時間ではなく、表示時間でシーンを設計する。
- 全時間にわたって動きを持たせる。 4秒のシーンで最初のアニメーションがローカル2秒で完了する場合、二次的な動き(アンダーラインのスイープ、チェックマークのポップ、カードのゆっくりとした動き、ピル上の小さな揺れるグロー)を追加する。動きが止まるとスワイプされる。
- イージングを変化させる。 1シーンあたり少なくとも3種類以上のイージングを使用する。
- ランタイム5秒ごとに1つの「目玉」要素を入れる。 タイポグラフィの衝撃、グリッチ/クロマティックな出現、ワイプパン、音声同期の衝撃。これらがないと、「ラベル付きの顔出しトーク」という、正しくても印象に残らない動画になる。
キャプション(カラオケスタイル)
- Montserrat 900、46~58px(1080幅の場合)、ベースは100%白
- 発話中の単語:1.08倍のスケールポップ+アクセントカラーへの変更(AISの場合は
#37bdf8、ブランドに合わせて調整) - ストロークは
text-shadowの重ね合わせで実装。-webkit-text-strokeは使わない(Chromiumレンダラーで一貫性がない) - 背景のピル(rgba)は削除 — ストロークで可読性を確保。キャプションはフレーム上のグラフィティのように感じさせるべきで、字幕トラックではない。
- リタイムの場合は、
captions.html内でshift()関数を使用して、文字起こしの単語タイムスタンプを編集時間にマッピング。これにより、文字起こしJSONはそのままで、リタイムが機械的に行える。
完全なカラオケ実装については、/hyperframes 下の references/captions.md を参照。要約:単語ごとの <span> 要素に data-word-start を付け、各スパンを対象としたGSAPトゥイーン、タイトな0.08~0.12秒のポップ時間。
背景(フラットなネイビーで出さない)
最低限の背景スタック:
- ラジアルグラデーション(中心が端より15~20%明るい)
- アニメーションノイズ/グレインオーバーレイ、8~12%の不透明度
- 4~8個のゆっくり動くパーティクルドットまたはグリッドの軌跡
- 控えめなビネット
background: #07121c だけではプレースホルダーであり、デザインではない。テク/コントロールルームの美学には、feedback_techy_background_layers.md の6層スタック(ビネットでマスクされたHUDグリッド+回路配線+パルスノード+スキャンビーム+テレメトリティッカー+コーナーモノラベル)を使用。
音声反応
- 見出しはビートに合わせて3~6%パルス。背景はバスに合わせて10~30%まで可能。
- テキストの反応は控えめに(3~6%)して可読性を維持。背景はより強く動かせる。
- シード付きオフラインアナライザー(音声特徴トラックを事前計算)を使用して、レンダリングが決定論的になるようにする。レンダリングパスで
AnalyserNodeを使用しない —Math.random()とリアルタイム音声ノードは決定論を壊す。
トランジション
- 種類を変える。 同じタイプのトランジションを連続して使わない。6回連続のハードカットはAI編集の最大の兆候。
- フェイスモードのトランジション(
BOTTOM ↔ FULLSCREEN)は、シーン間でモードが変わる場合、シーントランジションとしても機能する。 - 純粋なオーバーレイシーン間のトランジションには、レジストリからインストール:
push-up、flash-through-white、sdf-iris、またはフルシェーダートランジションパック。npx hyperframes catalog --type blockで参照。
検証ゲート(必須 — 検証なしで出荷禁止)
Lint通過 ≠ デザインの動作確認。単語レベルのタイムスタンプでフレームを抽出し、すべてのPNGを読むまでは、ショート動画のレンダリング完了を報告しない。
ステップ1 — ドラフトレンダリング
cd video-projects/<スラッグ>
npx hyperframes lint
npx hyperframes render --quality draft --output renders/<スラッグ>-vN-draft.mp4
ステップ2 — 単語レベルのフレーム抽出
特定のビジュアルが画面上に表示される発話単語に対応するタイムスタンプを8~15個選ぶ。丸い数字ではない。シーンの途中ではない。正確な単語のタイムスタンプ。
mkdir -p renders/frames-vN
for pair in "<t>:<label>" "<t>:<label>" ...; do
t="${pair%%:*}"; label="${pair##*:}"
ffmpeg -y -ss "$t" -i renders/<スラッグ>-vN-draft.mp4 \
-frames:v 1 -q:v 2 "renders/frames-vN/t${t}-${label}.png"
done
ステップ3 — すべてのPNGを読む
すべてのPNGに対して Read を呼び出し、画像をコンテキストに読み込む。ファイル名をリストするだけではダメ。各フレームで以下を確認:
- 期待されるビジュアルが期待されるタイミング(1秒遅れていない、早すぎない)で画面に表示されているか
- 下半分のシーンで話者の顔がクロップされていないか
- そのシーンでフルスクリーンと下半分のフェイスモードが正しいか
- キャプションがブランドに合致し、読みやすく、はみ出していないか
- 空白フレーム、意図しない重なり、テキストのフレーム外はないか
ステップ4 — 何か問題があれば、修正して再検証。壊れたまま出荷しない。
ステップ5 — 最終レンダリング
npx hyperframes render --quality standard --output renders/<スラッグ>-vN.mp4
最終レンダリングから3~4フレームを抜き打ちチェック(同じタイムスタンプ、別のフォルダ frames-vN-final/)し、標準品質のエンコードで何も変わっていないことを確認する。
10のルール(品質チェックリスト — 最初のドラフトの前に実行)
すべてのショート動画作成時。作成中にこのリストを実行し、作成後ではない。
- 無駄なフレームをなくす。 100msごとにアニメーション要素が1つある。
- シーンの見せ場は1秒以上表示する。 総時間ではなく、表示時間で設計する。
- 顔はキャラクター。 グレーディング+ケンブルズズーム+サイドビネット。
- 硬い継ぎ目をなくす。 y=960をグラデーション+スキャンラインでフェザリング。
- ランタイム5秒ごとに1つの「目玉」要素。 タイポグラフィの衝撃、グリッチ、ワイプパン、音声の衝撃。
- 音声反応は必須。 テキストは3~6%、背景は10~30%。
- トランジションの種類を変える。 同じタイプを連続して使わない。
- キャプションはポップに、ただのラベルではない。 ピルではなくストローク。発話中の単語はスケールと色を変更。
- 全シーン時間にわたって動きを持たせる。 最初のアニメーションが早く終わる場合は二次的な動きを追加。
- 背景はレイヤーであり、単なる色ではない。 ラジアル+ノイズ+パーティクル+ビネットが最低限。
- 衝撃/スタンプオーバーレイは、ターゲットテキストが完全に表示された後に配置する。 リビールロジックが単語同期より優先。スタンプの
t≥ ターゲット表示t+ 0.10~0.25秒。そうしないと、オチが前提の前に来てしまう。
プロジェクト構造(すべてのショート動画プロジェクト)
video-projects/<スラッグ>/
├── hyperframes.json
├── meta.json (id, name, サイズ 1080x1920, fps 30)
├── index.html (ルートコンポジション、4層の骨格)
├── compositions/
│ ├── ambient-bg.html
│ ├── seam-treatment.html
│ ├── captions.html (リタイム時は shift() 関数を含む)
│ ├── scene1-<label>.html
│ ├── scene2-<label>.html
│ └── …
├── assets/
│ ├── <name>.mp4 (元の録画)
│ ├── <name>-edit.mp4 (編集済み — カットを削除 — コンポジションが使用する)
│ ├── transcript.json (Whisperの出力)
│ └── ブランドアセット (ロゴ, brand-tokens.css, 背景音楽)
└── renders/
├── <スラッグ>-v1-draft.mp4
├── frames-v1/
├── <スラッグ>-v1.mp4
└── …
リタイムプロトコル(音声が再編集されたり、タイムスタンプがずれた場合)
ffprobeで古い編集済み音声と新しい編集済み音声の長さを測定。差分=総カット時間。- カットウィンドウを特定:どの秒が、どこから削除されたか。
- 計画テーブルを作成:すべてのシーンの
data-start、data-duration、すべてのフェイスモード遷移のt、内部オフセットがカットをまたぐシーン。 - カットをまたぐ各シーンについて、内部オフセットを「カット前」と「カット後」のセグメントに分割。
- 最後に:全フレーム検証。低クオリティでレンダリングし、単語単位でフレームを抽出し、各PNGを読む。