概要
このスキルは、HyperFrames オーバーレイ合成を使用して、既存の動画に焼き込みキャプションを追加します。ソース映像にアクセシブルでスタイル設定された字幕が必要だが、別途字幕トラックは不要な場合に使用します。HTML オーバーレイから決定論的にキャプション付き MP4 をレンダリングします。
HyperFrames — 埋め込みキャプション
トーキングヘッド動画やローンチ動画にキャプション/字幕を追加します。キャプションモデル(ドロップ/レール/エンベッド)とオーバーレイの法則(キャプションは予約帯ではない)について説明します。
使用するタイミング
- ユーザーがトーキングヘッド動画にキャプション/字幕を希望する場合
- ユーザーが逐語的なキャプションレール(標準的な下3分の1表示)を希望する場合
- ユーザーが被写体背後にシネマティックな埋め込みテキスト(クライマックスビート)を希望する場合
- ユーザーが動画にアクセシビリティを追加したい場合
- ユーザーがソーシャルメディア向けにキャプションを焼き込みたい場合(字幕トラック不要)
使用すべきでないタイミング
- ユーザーが完全な動画ワークフローを希望する場合(
hyperframes-product-launch-videoを使用) - ユーザーが完全な解説動画を希望する場合(
hyperframes-faceless-explainerを使用) - ユーザーがサイドカーファイル(SRT/VTT)としてキャプションを希望する場合 — このスキルは焼き込みます
キャプションモデル — ドロップ / レール / エンベッド
| 内容 | 表示方法 | |
|---|---|---|
| ドロップ | フィラー — えーと、あのー、言い間違い | 表示しない |
| レール | デフォルト — 通常の話し言葉の内容 | クリーンな下3分の1字幕、前面に表示 |
| エンベッド | 強調された山場 — 見出しとなるビート | 被写体の背後に表示される大きな単語1つ(マットオクルージョン) |
レールがほとんどのテキストを担い、エンベッドは希少で獲得された山場です — ビートあたり1つ以下、隣接は不可、ビート間は1つ以上空ける。
オーバーレイの法則
キャプション行はフィルムの上にオーバーレイとして合成されます。予約ゾーンではありません。
- 構図を真の垂直中心に配置する(y = H/2)。キャプションのためにコンテンツを上に移動しないでください。
- コンテンツはキャンバスの下端まで達しても構いません。
- 重要な小さな可読テキスト(URL、法的表記)は、キャプション行が表示される下部約80pxの中央範囲に配置しないでください。
- 機械的なキープアウトゲートはありません — 視認性を目視で判断してください。
ワークフロー
1 · 音声と単語タイムスタンプを生成
# 単語レベルのタイムスタンプ付きTTSを使用
node scripts/heygen-tts.mjs ./vo-spoken.txt -o voiceover.mp3 --words vo-words.json --voice <voice_id>
2 · 表示トークンにキャプションをアライン
node scripts/align-captions.mjs --tokens script-tokens.json --words vo-words.json --out captions.json
captions.json はキャプションレール入力です(表示スペル、発話タイミング)。
3 · キャプションレールを構築
const LINES = /* captions.json の内容 */ [
{ id: 0, end: 2.74, w: [["This", 0.0], ["week,", 0.30], ...] },
...
];
4 · キャプションの存在を確認
VOの発話期間全体にわたって3〜4フレームをサンプリングし、キャプションレールが各フレームで可読なテキストをレンダリングしていることを確認します。発話間隔内のフレームでキャプションが欠落している場合、ビルドはキャプションなしで出荷されます — レッドゲートとして扱います。
反合理化テーブル
| 合理化 | 現実 |
|---|---|
| 「キャプションのスペースを確保するために42%の位置に中央揃えしよう」 | 真の中心(y = H/2) — キャプションはオーバーレイ |
| 「すべての単語を埋め込もう」 | エンベッドは希少 — レールがほとんどのテキストを担う |
| 「単語タイムスタンプはスキップしよう」 | オーディオが時計 — すべてのビート時間は単語タイムスタンプから得られる |
| 「キャプションに発音記号を使おう」 | キャプションは常に表示レイヤーをレンダリングする |
| 「発音を推測しよう」 | ユーザーに確認してから、辞書を拡張する |
検証
- 3つ以上のサンプリングフレームでキャプションレールが存在すること
- 表示スペルがスクリプトと一致していること(発音記号ではない)
- 単語タイムスタンプがオーディオと一致していること
- 構図が真の中心(y = H/2)に配置されていること
- キャプションオーバーレイゾーンに重要なテキストがないこと