埋め込みキャプション
1つのカタログ、最初に選択(CATALOG.md — 17のアイデンティティ;その背後にある3つのエンジンはバックエンドの詳細)。スタンダード(デフォルト)は、クリーンな逐語的レール(下部3分の1の字幕でほとんどのテキストを運ぶ)と、ピーク時に被写体の背後にシーンに合成される埋め込みクライマックスを構築します。シネマティックは純粋な埋め込み — レールなし、すべてのキャプションが被写体の背後に合成されます(ヒーロー・タイポグラフィ、蓄積、オクルージョンがエフェクトとして機能)。テーマは完全なテーマ別構成 — ボディパラダイム × ヒーローセットピース × フロントFX × プレート反応で構成され、レジストリ(themes/README.md)からコンパイルされます:ordnance terminal neonsign stardust stomp。ほとんどの解説/ナレーションはスタンダードです。埋め込みは希少で価値のあるピークです — すべての単語を埋め込むのはよくある間違いです。テーマはVFXレベルのリクエスト(「炸」、「特效」、「像AE做的」)に使用します。
運用フロー(TL;DR)
以下のクラフト散文は長いですが、パイプライン自体は短いです。そして、確定論的なものはすべて計算またはコンパイルされ、手書きではありません。
- 決定ゲート(不良クリップを拒否) → CATALOG.md から1つのアイデンティティを選択(17のアイデンティティ;エンジン/コンパイラはルックアップで導出 — モード/カテゴリの質問は決して表示しない)
hyperframes init(プロジェクトディレクトリが既に存在し、中に動画がある場合はスキップ —matte.cjs/transcribe.cjsはディレクトリ内の任意の動画を source.mp4 として採用) →bash scripts/prepare.sh <project>(matte ∥ transcribe ∥ audio-envelope を並列実行、次にシーンパレット/光学/照明を使用した safe-zones v2 — 1つのコマンドで完了、忘れ物なし)- クリエイティブな選択の小さなJSONを作成(最初に
safe-zones.jsonを読む): シネマティック →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs; テーマ →theme.json→make-theme.cjs(レール/パネル/ポエム/テイクオーバーパラダイム;anchorは静かなレールのデフォルト) - ビジュアルQA:
node scripts/preview-frames.cjs <project>→ 約2秒/フレームで忠実なコンポジットプレビュー(レンダリングなし)。レンダリング費用を支払う前に § Visual QA を確認。 render-and-composite.sh→ ゲート(タイミング / オクルージョン+ヒーロー / オーバーフロー / ハンドオフ) →final.mp4
人々が見落とす負荷のかかるルール:
- レール(デフォルト)+ 埋め込み(昇格)。
drop(フィラー、表示しない) /rail(逐語的な下部3分の1の字幕、前面、ほとんどのテキストを運ぶ) /embed(被写体の背後に合成されるピークワード)。スタンダードモードは両方を行い、ピークのみを埋め込みます。§ Caption modelを参照。 - 動画は未加工で納品されます(スタンダード/シネマティック;テーマモードのPLATEバジェットは唯一認められた例外 — テーマDNAごとに定義されたレジスターゲート式リアクションビート(チャージディム、パンチ、シェイク、グレイン)がマットコンポジット後に適用され、被写体+テキスト+プレートが1つのフレームとして動く) — キャプションのみが追加され、マットは被写体が埋め込みトラックを隠すことを可能にするだけです。映像のグレーディング/リカラー/スキャンラインは行わないでください。
- 2つのルールブック:レール → references/rail.md(薄い)、埋め込みクラフト → references/composition-craft.md(豊富、埋め込みのみ)。必要に応じて斜め読み。
キャプションモデル — レール + 埋め込み
すべての音声フレーズは次の3つのうちのいずれかです:
| 内容 | 表示方法 | |
|---|---|---|
| drop | フィラー — えー/あー、どもり、自己修正 | 表示しない |
| rail | デフォルト — 通常の話し言葉(逐語的) | クリーンな下部3分の1の字幕、前面、読みやすい。パンチワードはインラインの emphasis ハイライト(アクセントカラー/アクティブワードポップ)を取得可能 — それはレール上に留まります。 |
| embed | 昇格されたピーク — 見出しビート | 1つの大きな単語が被写体の背後に合成され(マットオクルージョン)、デザインされた入場 + 退場 |
レールはほとんどのテキストを運びます。埋め込みは希少で価値のあるピークです。 希少性はクリップごとではなくビート/ブロックごとです:ブロック(思考)あたり≤1ヒーロー、2つが同時に表示されることはなく、ヒーローウィンドウ間のビートの間隔が≥(コンパイラは0.6秒未満で警告)。短いクリップ → 通常1–2;長い解説 → セクションごとに約1つ。複数のヒーローの中で、最も大きな作成済みのものがAPEXです(それだけが完全なロックアップ埋め込み + 幅合わせ上昇を取得します)。小さいものはマイナーピークで、その列を特大の強調行として乗ります(fg、ダンピングモーション) — すべてのビートがマットショーケースを必要とするわけではなく、それがまさにAPEXをイベントとして保つ理由です。すべての単語を埋め込むのは依然としてよくある間違いです。
レール表面のアイデンティティはこれを正確に構築します(レール = rail.html、埋め込み = index.html 内のクライマックス)。列フローアイデンティティはレールをドロップし、すべてを埋め込みスタイルにします — 語順よりもムードを重視するリクエストにのみ推奨し、単語が読める必要がある解説/ナレーションには決して使用しません(CATALOG.md はアイデンティティごとにこれをエンコードしています)。
ステップ0 — CATALOGから1つのアイデンティティを選択
1つのフロントエンド、背後に3つのエンジン。 ユーザーはCATALOG.mdからアイデンティティを選択します(17エントリ:12クラシック + 5テーマ)。エンジン、コンパイラ、作成ファイルはカタログ行のルックアップによって導出されます。「スタンダード vs シネマティック vs テーマ」を質問として決して表示しないでください — これらはバックエンド名です(製品は複数のエンジンがあっても1つのUXを持ちます)。カタログはルーティングに必要なすべてをエンコードしています:読み取り面、音声、推奨対象、シーンのニーズ、真に近いペア(loud↔ordnance、neon↔neonsign、cream↔stardust)の隣接ノート。
手順:クリップを調査 → カタログから2〜3のアイデンティティを絞り込む → 1つを1行の理由とともに推奨 → ユーザーが選択 → そのアイデンティティのファイルを作成。アイデンティティはエンジンにロックされています(クロスコンボなし;1つを開くことは検証イベントです — dna/README.mdを参照)。
常に推奨を提示し、作成前にユーザーに選択させてください。 黙ってデフォルトにしないでください。
(完全なアイデンティティテーブルはCATALOG.mdにあります — ルーティングの単一の真実の情報源。以下のエンジンドキュメントは各バックエンドの作成契約を説明しています。)
推奨ヒューリスティック:CATALOG.md の「Shortlisting heuristics」を使用 — これらはアイデンティティレベルです(例:「炸」は ordnance/stomp/terminal/loud を絞り込み、WHATが爆発すべきかで選択)。カテゴリレベルではありません。わからない場合 → anchor。
- シネマティック → ロックされたテンプレートに
plan.jsonを作成し、make-composition.cjsでコンパイル。 - テーマ → themes/README.md を読み、
theme.jsonを作成し、scripts/render-theme.shを実行(コンパイル + レンダリング + プレート反応 → final_fx.mp4)。
決定ゲート — 最初に実行
どちらのモードの前に動画を調査し、シーンを分類します。
ffprobe <video.mp4> # スペック
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 20/50/80% で
サンプルを読みます。以下の場合は拒否:
- 複数の話者 / ハードカット(ショットごとに分割してレンダリングするか、拒否)
- 人間の被写体がいない(このスキルはトーキングヘッド用)
- 3秒未満、音声なし、または顔が明確に見えない —
transcribe.cjsはオーディオが無音に近い場合に警告します(Whisperは沈黙の上に「ありがとう。」のような単語を幻覚することがあります)。それに従い、作り出された単語をキャプションしないでください。 - ソースに既に焼き込みキャプション/字幕/重いテキストグラフィックがある — 2つ目のキャプションシステムを追加すると競合し、映像は未加工で納品されます(カバー/インペイントなし)。焼き込みテキストはクリップの中間でのみ表示されることがよくあります:1fpsのコンタクトシートをサンプリングします(
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png)。3つのスポットフレームを信頼しないでください。 - トランスクリプトがガベージ — 非ネイティブ/ヘビーアクセントの音声は、自信たっぷりの無意味な文字に書き起こされる可能性があります。作成前に
transcript.jsonを正気読みしてください。言語として解析できない場合は、WHISPER_MODEL=mediumを1回試し、それでもだめなら拒否します(作り出された単語の逐語的レールはキャプションなしより悪い)。 - 高速モーションのある忙しいハンドヘルド(マットのフリッカ)
飛行前プローブ(コストはゼロ、最悪の失敗を防ぐ)
- ショットカットプローブ。 20%、50%、80%でフレームをサンプリング。異なる被写体/シーンが表示された場合は、カットの前にクリップをトリミングします。
- レターボックス/ピラーボックスプローブ。 最初のフレームに黒いバーがある?安全なコンテンツ矩形を計算し、キャプション配置をその内部に制約します。
- 輝度プローブ。 キャプション領域の平均輝度をサンプリング —
60未満→ 明るいテキストはそのまま読める、60-180→ グリフスクリムを追加、180以上→ 不透明テキスト + スクリム(裸の明るいテキストは決して使用しない)。シネマティックテンプレートは cream+screenで LOCKED — このプローブを使用して適切なアイデンティティを選択し(明るいシーン →ink、または不透明レールのanchorテーマ)、決して色を変更しないでください。 - トーンによるアイデンティティ推奨(あなたが推奨;ユーザーが選択 — ステップ0 + CATALOG.mdを参照)。 解説/インタビュー/読み取り必須ワード → レール/パネル表面のアイデンティティ;詩的/ソーシャル/「シネマティック」 → レジスターによる列フローアイデンティティ;「炸 / 特效 / VFX」 / 名前付きワールド → テーマ別アイデンティティ。わからない場合 →
anchor(単語は読める、シーンは安全) — ただし、候補リストを提示し、ユーザーに選択させてください。
パイプライン — 5ステップ
1. hyperframes init <project> --non-interactive --video <video.mp4> --skip-skills
2. bash scripts/prepare.sh <project> # matte ∥ transcribe(並列) → safe-zones. 1つのコマンド.
# → frames_fg/ transcript.json safe-zones.json
3. [エージェントステップ — 唯一のクリエイティブステップ] 小さなJSONを作成。以下のモードを参照。
シネマティック: plan.json を作成 → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
テーマ: theme.json を作成 → bash scripts/render-theme.sh <project> (コンパイル + レンダリング + プレートFX)
4. node scripts/preview-frames.cjs <project> # 約2秒/フレームのコンポジットプレビュー → § Visual QA(レンダリングの前)
5. bash scripts/render-and-composite.sh <project> # ゲート → final.mp4 + history/ スナップショット
(テーマモード:ステップ3b/5をスキップ — render-theme.sh は既にコンパイル + render-and-composite を実行
+ _postfx.sh;成果物は final_fx.mp4、final.mp4 はプレート反応前)
ステップ3はモードによって異なります:
ステップ3 — シネマティックモード(純粋な埋め込み)
- 最初に
safe-zones.jsonを読む。 ナレーションプレーンはzones.hugLeft/hugRightに配置 — シルエットに隣接するクリーンなストリップ(体から遠いテキストは浮いているように読め、埋め込まれていない;遠い角はデフォルトではなくフォールバック)。ヒーローはデフォルトでheroAnchor/heroBands.bestになります(被写体の中央に配置、約30〜55%オクルージョン)。recommendation:"fg"は読みやすさのためにナレーションを前面に移動します。heroBands.feasibleの場合、ヒーローは埋め込まれたままです — ヒーローfgは最後の手段。 - DNAはステップ0で選択したアイデンティティです(CATALOG.md) — ここで選択を再び開かないでください。シーンに対して妥当性を確認します(明るいヒーローバンド輝度 > 150 は
inkを望む;完全な選択ガイダンスはカタログにあり、neon/glitch/chrome/velocity を含むすべてをカバー)。あなたの選択 + 理由を述べます;ユーザーが決定します。DNAはタイプ/パレット/ブレンド/モーション + ヒーローの3幕をロックします。safe-zones v2(パレット/光学/照明)はそれをこのシーンに自動的にパラメータ化します。 <project>/cinematic.jsonを作成 —"dna": "<name>"+ 思考BLOCKS(生のグループではない):各ブロック = 単語の行(節境界で2〜5個にグループ化) + それが積み重なるプレーン + 行ごとのcss(サイズ/ウェイト/スタイルのみ — 位置はなし) + 多くとも1行が"hero": trueとマークされる(昇格されたワード;表示形式の"text")。スキーマ:scripts/make-cinematic.cjsヘッダー。- コンパイル:
node scripts/make-cinematic.cjs <project>— ブロックを plan.json → index.html に展開。自動生成:トランスクリプトにシーケンスされたタイミング、ブロック内での蓄積、ブロック間のページフリップ、ヒーローLOCKUP(ヒーローブロックの事前コンテキスト、HERO事後コンテキストが被写体を中心とした1つの結合されたコンポジションとしてスタック — 読み順上→下 = 構築により話された順序;コンテキストは前面に浮かび、ヒーローは背後に埋め込まれる = 深さサンドイッチ;マスルールはヒーローがそのコンテキストを支配することを保証)、apex/minorヒーロースプリット、構築による読み順、安全ゾーンごとのfgフォールバック。その後、ゲートが通常通り実行されます。(plan.jsonを直接手動で作成することは、ブロックが表現できないデザインのために引き続き可能です — その後、自分でfill-timings.cjs+fit-fonts.cjs+make-composition.cjsを実行します。)
ステップ3 — テーマモード(テーマ別構成)
最初に themes/README.md を読む — パラダイム/セットピースレジストリ、リンケージ、ハードルール、および正確な theme.json スキーマ。
- コンテンツレジスターによってテーマDNAを選択(各
themes/<name>.jsonはvoice+whenを持ちます)。あなたの選択 + 理由を述べます;ユーザーが決定します。 <project>/theme.jsonを作成 —dna、lines(逐語的、トランスクリプト順;各1〜5単語 —takeoverの場合、各行は1つのCARD)、minors(強調ワード)、hero:{match}(クライマックスワード/フレーズ;埋め込みセットピースの場合はlinesから除外し、インラインセットピースおよびパネル+リダクトの場合は含める)。- レンダリング:
bash scripts/render-theme.sh <project>— コンパイル(コンパイル時に逐語的完全性ゲート)、両方のレイヤーをレンダリング、コンポジット、プレート反応を適用 →final_fx.mp4。コンパイルとレンダリングの間にpreview-frames.cjsを使用してビジュアルQAを行います。
ビジュアルQA — レンダリングの前にプレビュー
node scripts/preview-frames.cjs <project> [t…] は忠実なプレビューフレームを約2秒ごとに合成します(シークタイムでのキャプションレイヤーのスクリーンショット + 実際のビデオフレーム + マットオクルージョン + レールオーバーレイ = その瞬間の最終コンポジットの外観)。デフォルトサンプル = 各グループ/クライマックスウィンドウ。フルレンダリングには数分かかります — レイアウトの問題を発見するためにそれを使用しないでください。
プレビュー(<project>/preview/sheet.png)を以下のリストと照らし合わせて確認します — これらは幾何学的ゲートがキャッチできない失敗です:
- ウォッシュアウト — 明るいテキストが明るい背景の上に...