組み込みキャプション (Embedded Captions)
1 つのカタログから、前もって選択 (CATALOG.md — 17 のアイデンティティ; 背後にある 3 つのエンジンはバックエンドの詳細です)。Standard (デフォルト) は、クリーンな レール (ほとんどのテキストを表示する下部 3 分の 1 の字幕) + クライマックスで被写体の背後に合成される 埋め込み を構築します。Cinematic はピュア埋め込み — レールなし、すべてのキャプションが被写体の背後に合成されます (ヒーロータイポグラフィ、蓄積、オクルージョンがエフェクトとして機能)。Theme は完全なテーマ構成 — ボディパラダイム × ヒーローセットピース × フロント FX × プレートリアクション、レジストリ (themes/README.md) から構成: ordnance terminal neonsign stardust stomp。ほとんどの解説 / ナレーションは Standard; 埋め込みは希少で獲得する価値のあるピークです — すべての単語を埋め込むのがよくある間違い; Theme は VFX グレードの要求 (「炸」、「特效」、「AE みたいに」) 向けです。
運用フロー (TL;DR)
以下のクラフト散文は長いですが、パイプライン自体は短い です — そして決定論的なものはすべて計算またはコンパイルされ、手書きはされません:
- 決定ゲート (不適切なクリップを拒否) → CATALOG.md から 1 つのアイデンティティを選択 (17 のアイデンティティ; エンジン/コンパイラはルックアップで導出 — モード/カテゴリの質問は決して表面化しない)
hyperframes init(動画が既にプロジェクトディレクトリ内にある場合はスキップ —matte.cjs/transcribe.cjsはディレクトリ内の任意の動画を source.mp4 として採用) →bash scripts/prepare.sh <project>(matte ∥ transcribe ∥ audio-envelope を並列実行、次に scene palette/optics/lighting を使用した safe-zones v2 — 1 つのコマンドで何も忘れない)- クリエイティブな選択の小さな JSON を作成 (最初に
safe-zones.jsonを読む): Cinematic →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs; Theme →theme.json→make-theme.cjs(rail/panel/poem/takeover パラダイム;anchorは静かなレールのデフォルト) - ビジュアル QA:
node scripts/preview-frames.cjs <project>→ 約 2 秒/フレームで忠実な複合プレビュー (レンダリングなし)。レンダリングにお金を払う前に § ビジュアル QA を確認。 render-and-composite.sh→ ゲート (タイミング / オクルージョン+ヒーロー / オーバーフロー / ハンドオフ) →final.mp4
見落とされがちな重要なルール:
- レール (デフォルト) + 埋め込み (昇格)。
drop(フィラー、表示されない) /rail(逐語的な下部 3 分の 1 の字幕、前景、ほとんどのテキストを運ぶ) /embed(被写体の背後に合成されるピークワード)。Standard モードは両方を行い、ピークのみを埋め込みます。§ キャプションモデル を参照。 - 動画はそのまま配信されます (Standard/Cinematic; Theme モードの PLATE バジェットは唯一認められた例外 — テーマ DNA ごとに定義され、マットコンポジットの後に適用されるレジスタゲートされたリアクションビート (charge-dim, punch, shake, grain) で、被写体+テキスト+プレートが 1 つのフレームとして動くようにします) — キャプションのみが追加されます; マットは被写体が埋め込みトラックを隠すことを可能にするだけです。映像のグレーディング/リカラー/スキャンラインは決して行わないでください。
- 2 つのルールブック: レール → references/rail.md (薄い), 埋め込みクラフト → references/composition-craft.md (リッチ、埋め込みのみ)。必要に応じて斜め読みしてください。
キャプションモデル — レール + 埋め込み
すべての話されたフレーズは次の 3 つのいずれかです:
| 内容 | 表示方法 | |
|---|---|---|
| drop | フィラー — えーっと/あのー、どもり、自己修正 | 表示されない |
| rail | デフォルト — 通常の話し言葉 (逐語的) | クリーンな下部 3 分の 1 の字幕、前景、読みやすい。パンチワードはインラインの emphasis ハイライト (アクセントカラー / アクティブワードポップ) を取得できます — レール上に残ります。 |
| embed | 昇格されたピーク — 見出しビート | 被写体の背後に合成された (マットオクルージョン) 1 つの大きな単語、デザインされた入口 + 出口 |
レールはほとんどのテキストを運びます; 埋め込みは希少で獲得する価値のあるピークです。 希少性は クリップごとではなく、ビート/ブロックごと です: ブロック (思考) あたり ≤1 ヒーロー、2 つが同時に見えることは決してない、ヒーローウィンドウ間の間隔は ≥ ビート (コンパイラは 0.6 秒未満で警告)。短いクリップ → 通常 1–2; 長い解説 → セクションごとに約 1 つ。複数のヒーローの中で、最大の作成されたものが APEX (それだけが完全なロックアップ埋め込み + 幅に合わせた持ち上げを取得します); 小さいものは MINOR ピーク で、特大の強調行として自分のカラムに乗ります (fg、減衰モーション) — すべてのビートがマットショーケースを必要とするわけではなく、それがまさに apex をイベントとして保つ理由です。すべての単語を埋め込むことが依然としてよくある間違いです。
レール面のアイデンティティはこれを正確に構築します (レール = rail.html、埋め込み = index.html のクライマックス)。カラムフローアイデンティティはレールをドロップし、すべてを埋め込みスタイルにします — ムードが逐語性よりも優先される要求、単語が読まれなければならない解説/ナレーションでは決して使用しないでください (CATALOG.md はアイデンティティごとにこれをエンコードしています)。
ステップ 0 — CATALOG から 1 つのアイデンティティを選択
1 つのフロントエンド、背後に 3 つのエンジン。 ユーザーは CATALOG.md から IDENTITY を選択します (17 エントリ: 12 クラシック + 5 テーマ); エンジン、コンパイラ、作成ファイルはカタログ行のルックアップによって導出されます。「Standard vs Cinematic vs Theme」を質問として決して表面化しないでください — これらはバックエンド名です (製品は複数のエンジンでも 1 つの UX を持つ)。カタログはルーティングに必要なすべてをエンコードします: 読み取り面、声、推奨対象、シーンのニーズ、真に近いペア (loud↔ordnance, neon↔neonsign, cream↔stardust) の隣接ノート。
手順: クリップを調査 → カタログから 2–3 のアイデンティティを絞り込む → ユーザーが選択 → そのアイデンティティのファイルを作成する。アイデンティティはエンジンに固定されています (クロスコンボなし; 1 つを開くことは検証イベントです — dna/README.md を参照)。
常に推奨事項を提示し、作成する前にユーザーに選択させてください。 黙ってデフォルトにしないでください。
(完全なアイデンティティテーブルは CATALOG.md にあります — ルーティングの単一の真実の情報源。以下のエンジンドキュメントは、各バックエンドの作成契約について説明しています。)
推奨ヒューリスティック: CATALOG.md の「絞り込みヒューリスティック」を使用してください — これらはアイデンティティレベルです (例: 「炸」は ordnance/stomp/terminal/loud を絞り込み、何が爆発するかで選択)、カテゴリレベルではありません。不明な場合は → anchor。
- Cinematic → ロックされたテンプレートの
plan.jsonを作成し、make-composition.cjsによってコンパイルされます。 - Theme → themes/README.md を読み、
theme.jsonを作成し、scripts/render-theme.shを実行します (コンパイル + レンダリング + プレートリアクション → final_fx.mp4)。
決定ゲート — 最初に実行
どちらのモードよりも先に、動画を調査しシーンを分類します。
ffprobe <video.mp4> # 仕様
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 20/50/80% で
サンプルを読みます。以下の場合は拒否:
- 複数の話者 / ハードカット (各ショットを分割してレンダリングするか、拒否)
- 人間の被写体がない (このスキルはトーキングヘッド用)
- 3 秒未満、音声がない、または顔がはっきり見えない —
transcribe.cjsはオーディオがほぼ無音の場合に警告します (Whisper は沈黙の上に「ありがとう。」のような単語を幻覚することがあります); それに従い、作り上げられた単語にキャプションを付けないで拒否 - ソースに既に焼き込みキャプション / 字幕 / 重いテキストグラフィックスがある — 2 つ目のキャプションシステムを追加すると競合し、映像はそのまま出荷されます (カバー/インペイントなし)。焼き込みテキストはクリップの途中にのみ現れることがよくあります: 1fps コンタクトシート をサンプリングしてください (
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png)、3 つのスポットフレームを信用しないでください。 - 文字起こしがゴミ — 非ネイティブ/強いアクセントの音声は、自信満々の意味不明な文字に書き起こされる可能性があります。作成前に
transcript.jsonを常識的に読んでください; 言語として解析できない場合は、WHISPER_MODEL=mediumを 1 回試し、それ以外は拒否 (作り上げられた単語の逐語的なレールは、キャプションがないより悪い)。 - 動きの速い手持ち撮影 (マットがちらつく)
飛行前チェック (コストはゼロ、最悪の失敗を防ぐ)
- ショットカット調査。 20%、50%、80% でフレームをサンプリング。異なる被写体/シーンが現れた場合、クリップをトリミング してカットの前にします。
- レターボックス / ピラーボックス調査。 最初のフレームに黒いバーがあるか? 安全なコンテンツ矩形を計算し、キャプション配置をその内部に制限します。
- 輝度調査。 キャプション領域の平均輝度をサンプリング —
60 未満→ 明るいテキストはそのままで読み取り可能、60-180→ グリフスクリムを追加、180+→ 不透明テキスト + スクリム (裸の明るいテキストは決して使用しない)。Cinematic テンプレートは cream+screenで LOCKED — この調査を使用して 適切なアイデンティティを選択 します (明るいシーン →ink、または不透明レールanchorテーマ)、決して色を変更するために使用しないでください。 - トーンによるアイデンティティ推奨 (あなたが推奨し、ユーザーが選択 — ステップ 0 + CATALOG.md を参照)。 解説 / インタビュー / 単語を読む必要がある → レール/パネル面のアイデンティティ; 詩的 / ソーシャル / 「シネマティック」 → レジスタによるカラムフローアイデンティティ; 「炸 / 特效 / VFX」 / 名前付きの世界 → テーマ別アイデンティティ。不明な場合 →
anchor(単語が読め、シーンは安全) — ただし、候補を提示し、ユーザーに選択させてください。
パイプライン — 5 ステップ
1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project> # matte ∥ transcribe (並列) → safe-zones. 1 つのコマンド。
# → frames_fg/ transcript.json safe-zones.json
3. [エージェントステップ — 唯一のクリエイティブステップ] 小さな JSON を作成; モードについては以下を参照
Cinematic: plan.json を作成 → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
Theme: theme.json を作成 → bash scripts/render-theme.sh <project> (コンパイル + レンダリング + プレート FX)
4. node scripts/preview-frames.cjs <project> # ~2 秒/フレームの複合プレビュー → § ビジュアル QA (レンダリング前)
5. bash scripts/render-and-composite.sh <project> # ゲート → final.mp4 + history/ スナップショット
(Theme モード: ステップ 3b/5 をスキップ — render-theme.sh はコンパイル + render-and-composite
+ _postfx.sh を既に実行; 成果物は final_fx.mp4、final.mp4 はプレートリアクション前)
ステップ 1 の init は、インストールされているスキルを GitHub の最新バージョンと比較し、古いものがあればグローバルセットを更新します。
ステップ 3 はモードによって異なります:
ステップ 3 — Cinematic モード (ピュア埋め込み)
- 最初に
safe-zones.jsonを読む。 ナレーションプレーンはzones.hugLeft/hugRightに配置 — シルエットに ABUTTING するクリーンなストリップ (体から遠いテキストはフローティングに見え、埋め込まれていない; 遠いコーナーはフォールバックであり、デフォルトではない)。ヒーローはデフォルトでheroAnchor/heroBands.best(被写体の CENTER、約 30–55% オクルード)。recommendation:"fg"は読みやすさのために NARRATION を前景に移動;heroBands.feasibleである限り、ヒーローは埋め込まれたまま — hero-fg は最後の手段です。 - DNA はステップ 0 で選択したアイデンティティです (CATALOG.md) — ここで選択を再開しないでください。シーンに対して健全性チェックします (明るいヒーローバンド輝度 > 150 は
inkが必要; 完全な選択ガイダンスはカタログにあり、neon / glitch / chrome / velocity を含む 10 すべてをカバー)。自分の選択 + 理由を述べます; ユーザーが決定します。DNA は type/palette/blend/motion + ヒーロー 3 幕をロックします; safe-zones v2 (palette/optics/lighting) はこれを THIS シーンに自動的にパラメータ化します。 <project>/cinematic.jsonを作成 —"dna": "<name>"+ thought-BLOCKS、生のグループではない: 各ブロック = 単語の行 (節境界で 2–5 にグループ化) + それが積み重なるプレーン + 行ごとのcss(サイズ/ウェイト/スタイルのみ — 位置なし) + 多くとも 1 行に"hero": trueとマーク (昇格された単語; 表示形式の"text")。スキーマ:scripts/make-cinematic.cjsヘッダー。- コンパイル:
node scripts/make-cinematic.cjs <project>— ブロックを plan.json → index.html に下げる。生成されるもの: 文字起こしシーケンスのタイミング、ブロック内での蓄積、ブロック間のページフリップ、ヒーロー LOCKUP (ヒーローブロックの事前コンテキスト、HERO および事後コンテキストは、被写体を中心とした 1 つの結合されたコンポジションとして積み重なる — 読み順 上→下 = 構築による話す順序; コンテキストは FRONT にフロートし、ヒーローは BEHIND に埋め込まれる = 深度サンドイッチ; 質量ルールによりヒーローがそのコンテキストを支配する)、apex/minor ヒーロー分割、構築による読み順、safe-zones による fg フォールバック。その後、ゲートが通常どおり実行されます。 (plan.json を直接手動で作成することも可能で、ブロックで表現できないデザインの場合 — その後、自分でfill-timings.cjs+fit-fonts.cjs+make-composition.cjsを実行します。)
ステップ 3 — Theme モード (テーマ別構成)
最初に themes/README.md を読む — パラダイム/セットピースレジストリ、リンケージ、ハードルール、および正確な theme.json スキーマ。
- コンテンツレジスタによってテーマ DNA を選択 (各
themes/<name>.jsonにはvoice+whenがある)。自分の選択 + 理由を述べます; ユーザーが決定します。 <project>/theme.jsonを作成 —dna,lines(逐語的、文字起こし順; 各 1–5 ワード —takeoverの場合、各行は 1 つの CARD),minors(強調ワード),hero:{match}(クライマックスの単語/フレーズ; 埋め込みセットピースの場合はlinesから OUT にし、インラインセットピースと panel+redact の場合は IN に保つ)。- レンダリング:
bash scripts/render-theme.sh <project>— コンパイル (コンパイル時の逐語的完全性ゲート)、両方のレイヤーをレンダリング、コンポジット、プレートリアクションを適用 →final_fx.mp4。コンパイルとレンダリングの間にpreview-frames.cjsを使用してビジュアル QA を行います。
ビジュアル QA — レンダリング前にプレビュー
node scripts/preview-frames.cjs <project> [t…] は 約 2 秒で忠実なプレビューフレームを合成 します
(シーク時間でキャプションレイヤーのスクリーンショット + 実際のビデオフレーム + マットオクルージョン + レールオーバーレイ = その瞬間の最終コンポジットの見え方)。デフォルトのサンプル = 各グループ/クライマックスウィンドウ。完全なレンダリングには数分かかります — レイアウトの問題を 発見 するために決して使用しないでください。
プレビュー (<project>/preview/sheet.png) を確認...