埋め込みキャプション
1つのカタログ、前面に表示(CATALOG.md — 17のアイデンティティ;背後にある3つのエンジンはバックエンドの詳細)。Standard(デフォルト)は、クリーンな逐語レール(ほとんどのテキストを表示する下部3分の1の字幕)と、ピーク時に被写体の背後にあるシーンに合成される埋め込みクライマックスを構築します。Cinematicは純粋な埋め込み — レールはなく、すべてのキャプションが被写体の背後に合成されます(ヒーロータイポグラフィ、累積、オクルージョンが効果として)。Themeは完全なテーマ付き構成 — ボディパラダイム × ヒーローセットピース × フロントエフェクト × プレート反応、レジストリから構成されます(themes/README.md):ordnance terminal neonsign stardust stomp。ほとんどの解説/ナレーションはStandardです;埋め込みは希少で価値のあるピークです — すべての単語を埋め込むのはよくある間違いです;ThemeはVFX品質の要求(「炸」、「特效」、「AEのように」)向けです。
運用フロー(TL;DR)
以下の職人散文は長いですが、パイプライン自体は短いです — そして決定論的なものはすべて計算またはコンパイルされ、手書きではありません:
- 決定ゲート(悪いクリップを拒否)→ CATALOG.mdから1つのアイデンティティを選択(17のアイデンティティ;エンジン/コンパイラはルックアップによって導出 — モード/カテゴリの質問を決して表面化しない)
hyperframes init(プロジェクトディレクトリがすでに存在し、中にビデオがある場合はスキップ —matte.cjs/transcribe.cjsはディレクトリ内の任意のビデオをsource.mp4として採用)→bash scripts/prepare.sh <project>(マット ∥ 文字起こし ∥ オーディオエンベロープを並行して実行、次にシーンパレット/光学/照明を使用したセーフゾーンv2 — 1つのコマンドで、何も忘れない)- 創造的な選択の小さなJSONを作成(最初に
safe-zones.jsonを読む): Cinematic →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs; Theme →theme.json→make-theme.cjs(レール/パネル/詩/テイクオーバーパラダイム;anchorは静かなレールのデフォルト) - ビジュアルQA:
node scripts/preview-frames.cjs <project>→ 約2秒/フレームで忠実な合成プレビュー(レンダリングなし)。レンダリングにお金を払う前に§ビジュアルQAを確認。 render-and-composite.sh→ ゲート(タイミング / オクルージョン+ヒーロー / オーバーフロー / ハンドオフ)→final.mp4
人々が見逃す重要なルール:
- レール(デフォルト)+ 埋め込み(昇格)。
drop(フィラー、表示なし)/rail(逐語的な下部3分の1の字幕、前面、ほとんどのテキストを表示)/embed(被写体の背後に合成されるピークワード)。Standardモードは両方を行い、ピークのみを埋め込みます。§キャプションモデルを参照。 - ビデオは未加工で提供されます(Standard/Cinematic;ThemeモードのPLATE予算は唯一認められた例外 — テーマDNAごとに定義され、マット合成後に適用されるレジスタゲート式の反応ビート(チャージディム、パンチ、シェイク、グレイン)により、被写体+テキスト+プレートが1つのフレームとして移動します) — キャプションだけが追加されます;マットは被写体が埋め込みトラックを遮ることを可能にするだけです。映像のグレーディング、色変更、スキャンラインは決して行わないでください。
- 2つのルールブック:レール → references/rail.md(薄い)、埋め込みクラフト → references/composition-craft.md(豊富、埋め込みのみ)。必要に応じてざっと読んでください。
キャプションモデル — レール + 埋め込み
すべての話されたフレーズは、次の3つのうちの1つです:
| 説明 | 表示方法 | |
|---|---|---|
| drop | フィラー — えーと/あー、どもり、自己修正 | 表示なし |
| rail | デフォルト — 通常の話された内容(逐語) | クリーンな下部3分の1の字幕、前面、読みやすい。パンチワードはインラインのemphasisハイライト(アクセントカラー / アクティブワードポップ)を得ることができます — レール上に留まります。 |
| embed | 昇格されたピーク — 見出しビート | 1つの大きな単語が被写体の背後に合成され(マットオクルージョン)、デザインされた入場 + 退場 |
レールはほとんどのテキストを表示します;埋め込みは希少で価値のあるピークです。 希少性はクリップごとではなく、ビート/ブロックごとです:ブロック(思考)あたり≤1つのヒーロー、2つが同時に表示されることはなく、ヒーローウィンドウ間の間隔は少なくとも1ビート(コンパイラは0.6秒未満で警告します)。短いクリップ → 通常1–2;長い解説 → セクションごとに約1つ。複数のヒーローの中で、最も大きな作成されたものがAPEX(それだけが完全なロックアップ埋め込み + 幅合わせの引き上げを得ます);小さいものはマイナーピークで、強調された行(fg、減衰モーション)としてその列に乗ります — すべてのビートがマットショーケースを必要とするわけではなく、それがまさにAPEXをイベントとして保つ理由です。すべての単語を埋め込むことは依然としてよくある間違いです。
レールサーフェスアイデンティティはこれを正確に構築します(レール = rail.html、埋め込み = index.htmlのクライマックス)。カラムフローアイデンティティはレールをドロップし、すべてを埋め込みスタイルにします — 逐語よりもムードが重要な要求にのみ推奨し、単語を読む必要がある解説/ナレーションには決して推奨しません(CATALOG.mdはこれをアイデンティティごとにエンコードしています)。
ステップ0 — CATALOGから1つのアイデンティティを選択
1つのフロントエンド、背後に3つのエンジン。 ユーザーはCATALOG.mdからIDENTITYを選択します(17エントリ:12クラシック + 5テーマ);エンジン、コンパイラ、作成ファイルはカタログ行のルックアップによって導出されます。「Standard vs Cinematic vs Theme」を質問として決して表面化しないでください — これらはバックエンド名です(1つの製品には、いくつかのエンジンがあっても1つのUXがあります)。カタログはルーティングに必要なすべてをエンコードします:読み取りサーフェス、声、推奨対象、シーンのニーズ、真に近いペア(loud↔ordnance、neon↔neonsign、cream↔stardust)の隣接メモ。
手順:クリップを調査 → カタログから2〜3のアイデンティティを絞り込む → 1行の理由とともに1つを推奨 → ユーザーが選択 → そのアイデンティティのファイルを作成。アイデンティティはエンジンにロックされています(クロスコンボはありません;1つを開くことは検証イベントです — dna/README.mdを参照)。
常に推奨を提示し、作成する前にユーザーに選択させてください。 静かにデフォルトにしないでください。
(完全なアイデンティティテーブルはCATALOG.mdにあります — ルーティングの単一の信頼できる情報源。以下のエンジンドキュメントは、各バックエンドの作成契約を説明しています。)
推奨ヒューリスティック:CATALOG.mdの「Shortlisting heuristics」を使用 — これらはアイデンティティレベルです(例:「炸」はordnance/stomp/terminal/loudに絞り込み、何が爆発するかで選択)、カテゴリレベルではありません。不明な場合 → anchor。
- Cinematic → ロックされたテンプレートのために
plan.jsonを作成し、make-composition.cjsでコンパイル。 - Theme → themes/README.mdを読み、
theme.jsonを作成し、scripts/render-theme.shを実行(コンパイル + レンダリング + プレート反応 → final_fx.mp4)。
決定ゲート — 最初に実行
ビデオを調査し、いずれかのモードの前にシーンを分類します。
ffprobe <video.mp4> # スペック
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 20/50/80%で
サンプルを読みます。以下の場合は拒否:
- 複数の話者 / ハードカット(分割して各ショットをレンダリングするか、拒否)
- 人間の被写体がいない(このスキルはトーキングヘッド用)
- 3秒未満、発話なし、または顔がはっきり見えない —
transcribe.cjsはオーディオがほぼ無音の場合に警告します(Whisperは無音の上に「ありがとう」のような単語を幻覚します);それに従い、捏造された単語をキャプションするのではなく拒否 - ソースにすでに焼き込みキャプション/字幕/重いテキストグラフィックがある — 2番目のキャプションシステムを追加すると競合し、映像は未加工で出荷されます(カバー/インペイントなし)。焼き込みテキストはクリップの途中でのみ現れることがよくあります:1fpsのコンタクトシートをサンプリングします(
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png)、3つのスポットフレームを信頼しないでください。 - 書き起こしがゴミ — 非ネイティブ/強いアクセントのスピーチは、自信に満ちた無意味なものに文字起こしされる可能性があります。作成前に
transcript.jsonを常識で読んでください;言語として解析できない場合は、WHISPER_MODEL=mediumを1回試し、それでもだめなら拒否(捏造された単語の逐語レールは、キャプションがないよりも悪いです)。 - 激しい手持ちカメラで速い動き(マットがちらつく)
プリフライトプローブ(コストがかからず、最悪の失敗を防ぐ)
- ショットカットプローブ。 20%、50%、80%でフレームをサンプリング。異なる被写体/シーンが現れた場合、カットの前にクリップをトリミングしてください。
- レターボックス/ピラーボックスプローブ。 最初のフレームに黒いバーがありますか?安全なコンテンツ矩形を計算し、キャプションの配置をその内部に制限します。
- 輝度プローブ。 キャプション領域の平均輝度をサンプリング —
60未満→ 明るいテキストはそのまま読み取れます、60-180→ グリフスクリムを追加、180+→ 不透明テキスト + スクリム(裸の明るいテキストは決して使用しないでください)。Cinematicテンプレートはクリーム+screenでロックされています — このプローブを使用して_適切なアイデンティティを選択してください_(明るいシーン →ink、または不透明レールのanchorテーマ)、アイデンティティの色を変更するためではありません。 - トーンによるアイデンティティ推奨(あなたが推奨し、ユーザーが選択 — ステップ0 + CATALOG.mdを参照)。 解説 / インタビュー / 単語を読む必要がある → レール/パネルサーフェスアイデンティティ;詩的 / ソーシャル / 「シネマティック」 → レジスタによるカラムフローアイデンティティ;「炸 / 特效 / VFX」 / 名前付きワールド → テーマアイデンティティ。不明な場合 →
anchor(単語が読め、シーンが安全) — ただし、短いリストを提示し、ユーザーに選択させてください。
パイプライン — 5ステップ
1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project> # マット ∥ 文字起こし(並列)→ セーフゾーン。1つのコマンド。
# → frames_fg/ transcript.json safe-zones.json
3. [エージェントステップ — 唯一の創造的なステップ] 小さなJSONを作成;以下のモード別
Cinematic: plan.jsonを作成 → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
Theme: theme.jsonを作成 → bash scripts/render-theme.sh <project> (コンパイル + レンダリング + プレートfx)
4. node scripts/preview-frames.cjs <project> # ~2秒/フレームの合成プレビュー → §ビジュアルQA(レンダリングの前)
5. bash scripts/render-and-composite.sh <project> # ゲート → final.mp4 + history/スナップショット
(Themeモード:ステップ3b/5をスキップ — render-theme.shはすでにコンパイル + render-and-composite + _postfx.shを実行します;成果物はfinal_fx.mp4で、final.mp4はプレート反応前です)
ステップ1のinitは、インストールされたスキルをGitHubの最新と比較し、古いものがあればグローバルセットを更新します。
ステップ3はモードによって異なります:
ステップ3 — Cinematicモード(純粋な埋め込み)
- 最初に
safe-zones.jsonを読んでください。 ナレーションプレーンは**zones.hugLeft/hugRight**に入ります — シルエットに隣接するクリーンなストリップ(テキストが体から遠いと浮いて見え、埋め込まれていないように見えます;遠いコーナーはフォールバックであり、デフォルトではありません)。ヒーローはデフォルトでheroAnchor/heroBands.best(被写体の中央、約30〜55%オクルージョン)になります。recommendation:"fg"は、読みやすさのためにナレーションを前面に移動します;ヒーローはheroBands.feasibleの場合、埋め込まれたままになります — hero-fgは最後の手段です。 - DNAはステップ0で選択したアイデンティティです(CATALOG.md) — ここで選択を再開しないでください。シーンに対してそれを健全性チェックします(明るいヒーローバンドの輝度 > 150は
inkを好みます;完全な選択ガイダンスはカタログにあり、neon / glitch / chrome / velocityを含む10すべてをカバーしています)。選択 + 理由を述べてください;ユーザーが決定します。DNAはタイプ/パレット/ブレンド/モーション + ヒーロー3幕をロックします;セーフゾーンv2(palette/optics/lighting)はそれをこのシーンに自動的にパラメータ化します。 <project>/cinematic.jsonを作成 —"dna": "<name>"+ 思考BLOCKS(生のグループではありません):各ブロック = 単語の行(節境界で2〜5にグループ化)+ それが積み重なるプレーン + 行ごとのcss(サイズ/太さ/スタイルのみ — 位置はなし)+ 最大1行が"hero": trueとマークされます(昇格された単語;表示形式の"text")。スキーマ:scripts/make-cinematic.cjsヘッダー。- コンパイル:
node scripts/make-cinematic.cjs <project>— ブロックをplan.json → index.htmlに下げます。生成されるもの:転写シーケンスのタイミング、ブロック内の累積、ブロック間のページフリップ、ヒーローロックアップ(ヒーローブロックの事前コンテキスト、HERO、事後コンテキストが、被写体を中心とした1つの結合されたコンポジションとしてスタック — 読み取り順序上→下 = 構築による発話順序;コンテキストはFRONTに浮かび、HEROは背後に埋め込まれます = 深度サンドイッチ;マスルールはヒーローがコンテキストを支配するようにします)、apex/マイナーヒーローの分割、構築による読み取り順序、セーフゾーンあたりのfgフォールバック。その後、ゲートが通常どおり実行されます。(plan.jsonの手動作成は、ブロックが表現できないデザインのために引き続き可能です — その後、自分でfill-timings.cjs+fit-fonts.cjs+make-composition.cjsを実行してください。)
ステップ3 — Themeモード(テーマ付き構成)
最初にthemes/README.mdを読んでください — パラダイム/セットピースレジストリ、リンケージ、ハードルール、および正確なtheme.jsonスキーマ。
- コンテンツレジスタによってテーマDNAを選択(各
themes/<name>.jsonにはvoice+whenがあります)。選択 + 理由を述べてください;ユーザーが決定します。 <project>/theme.jsonを作成 —dna、lines(逐語、転写順序;それぞれ1〜5単語 —takeoverの場合、各行は1つのCARDです)、minors(強調単語)、hero:{match}(クライマックス単語/フレーズ;埋め込みセットピースの場合はlinesから除外、インラインセットピースおよびパネル+redactの場合は残します)。- レンダリング:
bash scripts/render-theme.sh <project>— コンパイル(コンパイル時に逐語完全性ゲート)、両方のレイヤーをレンダリング、合成、プレート反応を適用 →final_fx.mp4。ビジュアルQAのために、コンパイルとレンダリングの間にpreview-frames.cjsを使用してください。
ビジュアルQA — レンダリング前にプレビュー
node scripts/preview-frames.cjs <project> [t…]は、約2秒ごとに忠実なプレビューフレームを合成します(シーク時にスクリーンショットされたキャプションレイヤー + 実際のビデオフレーム + マットオクルージョン + レールオーバーレイ = その瞬間の最終合成がどのように見えるか)。デフォルトのサンプル = 各グループ/クライマックスウィンドウ。完全なレンダリングには数分かかります — レイアウトの問題を_発見_するために決して使用しないでください。
プレビュー(<project>/preview/sheet.png)を確認して...