埋め込みキャプション
1つのカタログ、フロントで選択 (CATALOG.md — 17のアイデンティティ; 背後にある3つのエンジンはバックエンドの詳細)。Standard (デフォルト) はクリーンな逐語 レール (ほとんどのテキストを表示する下3分の1の字幕) + 埋め込み のクライマックスをシーンの被写体の背後に合成します。Cinematic は純粋な埋め込み — レールなし、すべてのキャプションが被写体の背後に合成されます (ヒーロータイポグラフィ、累積、オクルージョンがエフェクトとして)。Theme は完全なテーマ化された構成 — ボディパラダイム × ヒーローセットピース × 前面エフェクト × プレート反応、レジストリから構成されます (themes/README.md): ordnance terminal neonsign stardust stomp。ほとんどの解説 / ナレーションは Standard です; 埋め込みは希少で価値のあるピーク — すべての単語を埋め込むのはよくある間違いです; Theme は VFX 級の依頼 (「炸」「特效」「AE のように作る」) 向けです。
操作フロー (TL;DR)
以下のクラフト散文は長いですが、パイプライン自体は短い です — そしてすべての決定的な処理は計算またはコンパイルされ、手書きではありません:
- 決定ゲート (悪いクリップを拒否) → CATALOG.md から 1つのアイデンティティを選択 (17のアイデンティティ; エンジン/コンパイラはルックアップで導出 — モード/カテゴリの質問を表面的に出さない)
hyperframes init(プロジェクトディレクトリが既にビデオが入った状態で存在する場合はスキップ —matte.cjs/transcribe.cjsはディレクトリ内の任意のビデオを source.mp4 として扱います) →bash scripts/prepare.sh <project>(matte ∥ transcribe ∥ audio-envelope を並列で実行、その後 safe-zones v2 をシーンパレット/光学/照明で — 1つのコマンドで何も忘れない)- 小さな JSON の創造的な選択を記述 (最初に
safe-zones.jsonを読む): Cinematic →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs; Theme →theme.json→make-theme.cjs(レール/パネル/詩/テイクオーバーパラダイム;anchorは静かなレールのデフォルト) - Visual QA:
node scripts/preview-frames.cjs <project>→ 忠実な合成プレビューを約2秒/フレームで (レンダリングなし)。レンダリングの費用を支払う前に § Visual QA を確認。 render-and-composite.sh→ ゲート (タイミング / オクルージョン+ヒーロー / オーバーフロー / ハンドオフ) →final.mp4
見落とされがちな重要なルール:
- レール (デフォルト) + 埋め込み (プロモーション)。
drop(フィラー、表示されない) /rail(逐語の下3分の1字幕、前面、ほとんどのテキストを表示) /embed(被写体の背後に合成されるピークワード)。Standard モードは両方を行い、ピークのみを埋め込みます。§ キャプションモデル を参照。 - ビデオはそのまま配信されます (Standard/Cinematic; Theme モードの PLATE バジェットは唯一の許可された例外 — 各テーマ DNA で定義された登録ゲート付き反応ビート (チャージディム、パンチ、シェイク、グレイン) がマット合成後に適用され、被写体+テキスト+プレートが1つのフレームとして動きます) — キャプションのみが追加されます; マットは被写体が埋め込みトラックを隠せるようにするだけです。決して映像をグレーディング/リカラー/スキャンラインしないでください。
- 2つのルールブック: レール → references/rail.md (薄い)、埋め込みクラフト → references/composition-craft.md (豊富で埋め込みのみ)。必要に応じてざっと目を通す。
キャプションモデル — レール + 埋め込み
すべての話されたフレーズは以下の3つのうちの1つです:
| 何 | どのように表示されるか | |
|---|---|---|
| drop | フィラー — えーと/あの、どもり、自己訂正 | 表示されない |
| rail | デフォルト — 通常の話し言葉 (逐語) | クリーンな下3分の1字幕、前面、読みやすい。パンチワードはインラインの emphasis ハイライト (アクセントカラー / アクティブワードのポップ) を得ることができます — レール上に留まります。 |
| embed | プロモートされたピーク — 見出しビート | 1つの大きな単語が 被写体の背後 に合成され (マットオクルージョン)、デザインされた入場 + 退場 |
レールはほとんどのテキストを表示します; 埋め込みは希少で価値のあるピークです。 希少性は クリップ単位ではなくビート/ブロック単位: ブロック (思考) あたり ≤1 ヒーロー、2つが同時に見えることはなく、ヒーローウィンドウの間には少なくとも0.6秒以上の間隔が必要です (コンパイラは0.6秒未満を警告します)。短いクリップ → 通常1–2個; 長い解説 → セクションごとに約1個。複数のヒーローの中で、最も大きな記述されたものが APEX です (それだけが完全なロックアップ埋め込み + 幅調整の引き上げを得ます); 小さいものは MINOR ピーク であり、その列に特大の強調行として乗ります (fg、減衰した動き) — すべてのビートがマットショーケースを必要とするわけではなく、それがまさに APEX をイベントとして保つものです。すべての単語を埋め込むことは依然としてよくある間違いです。
レール表面のアイデンティティはこれを正確に構築します (レール = rail.html、埋め込み = index.html でのクライマックス)。カラムフローのアイデンティティはレールを削除し、すべてを埋め込みスタイルにします — 気分重視の依頼でのみ推奨し、解説 / ナレーションでは決して推奨しません (単語が読める必要がある場合) (CATALOG.md はアイデンティティごとにこれをエンコードしています)。
ステップ 0 — CATALOG から1つのアイデンティティを選択
1つのフロントエンド、背後に3つのエンジン。 ユーザーは CATALOG.md から IDENTITY を選択します (17エントリ: 12クラシック + 5テーマ); エンジン、コンパイラ、オーサリングファイルはカタログの行からルックアップで導出されます。「Standard vs Cinematic vs Theme」を質問として表面化しないでください — これらはバックエンドの名前です (製品は複数のエンジンがあっても1つの UX を持ちます)。カタログはルーティングに必要なすべてをエンコードします: 読み取り表面、声、推奨対象、シーンのニーズ、近いペアの隣接ノート (loud↔ordnance、neon↔neonsign、cream↔stardust)。
手順: クリップを調査する → カタログから2–3のアイデンティティをショートリストに載せる → 1つを推奨し、1行の理由を添える → ユーザーが選択 → そのアイデンティティのファイルを記述する。アイデンティティはエンジンにロックされています (クロスコンボはありません; 1つを開くことは検証イベントです — dna/README.md を参照)。
常に推奨を提示し、記述する前にユーザーに選択させてください。 黙ってデフォルトにしないでください。
(完全なアイデンティティテーブルは CATALOG.md にあります — ルーティングの単一の信頼できる情報源。以下のエンジンドキュメントは各バックエンドのオーサリング契約を説明しています。)
推奨ヒューリスティック: CATALOG.md の「ショートリスト化ヒューリスティック」を使用してください — これらはアイデンティティレベルです (例: 「炸」は ordnance/stomp/terminal/loud をショートリストに載せ、何が爆発するかで選択)、カテゴリレベルではありません。不明な場合は → anchor。
- Cinematic → ロックされたテンプレート用に
plan.jsonを書き、make-composition.cjsでコンパイルします。 - Theme → themes/README.md を読み、
theme.jsonをオーサリングし、scripts/render-theme.shを実行します (コンパイル + レンダリング + プレート反応 → final_fx.mp4)。
決定ゲート — 最初に実行
ビデオを調査し、どちらのモードでもシーンを分類します。
ffprobe <video.mp4> # 仕様
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 20/50/80% で
サンプルを読みます。以下の場合は拒否:
- 複数の話者 / ハードカット (各ショットを分割してレンダリングするか、拒否)
- 人間の被写体がいない (このスキルは話す人の頭部向け)
- 3秒未満、音声がない、または顔が常にはっきり見えない —
transcribe.cjsはオーディオがほぼ無音の場合に警告します (Whisper は無音の上に「ありがとう」のような単語を幻覚します); それに従い、拒否 する方が、捏造された単語をキャプションするよりましです - ソースに既に焼き込みキャプション / 字幕 / 重いテキストグラフィックスがある — 2番目のキャプションシステムを追加すると競合し、映像はそのまま出荷されます (カバー/インペイントなし)。焼き込みテキストはクリップの中盤に現れることがよくあります: 1fpsのコンタクトシート をサンプリングしてください (
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png)、3つのスポットフレームだけを信用しないでください。 - トランスクリプトがガベージ — 非ネイティブ/強いアクセントの音声は自信満々の意味不明なものに転写されることがあります。オーサリングする前に
transcript.jsonを内容確認してください; 言語として解析できない場合は、一度WHISPER_MODEL=mediumを試し、それでもだめなら拒否してください (捏造された単語の逐語レールはキャプションがないより悪いです)。 - 忙しいハンドヘルドで速い動き (マットがちらつく)
飛行前プローブ (コストがかからず、最悪の失敗を防ぐ)
- ショットカットプローブ。 20%、50%、80% でフレームをサンプリング。異なる被写体/シーンが現れた場合、カットの前にクリップをトリミングします。
- レターボックス / ピラーボックスプローブ。 最初のフレームに黒いバーがありますか? 安全なコンテンツ矩形を計算し、キャプションの配置をその内部に制限します。
- 輝度プローブ。 キャプション領域の平均輝度をサンプリング —
60未満→ 明るいテキストはそのまま読める、60-180→ グリフスクリムを追加、180以上→ 不透明テキスト + スクリム (裸の明るいテキストは決して)。Cinematic テンプレートはクリーム+screenで LOCKED — このプローブを使用して 適切なアイデンティティを選択 します (明るいシーン →ink、または不透明レールのanchorテーマ)、決して色を変えるためではありません。 - トーンによるアイデンティティ推奨 (あなたが推奨; ユーザーが選択 — ステップ0 + CATALOG.md を参照)。 解説 / インタビュー / 読まなければならない単語 → レール/パネル表面のアイデンティティ; 詩的 / ソーシャル / 「映画的」 → カラムフローのアイデンティティをレジスターで; 「炸 / 特效 / VFX」 / 名前付きの世界 → テーマ付きアイデンティティ。不明な場合 →
anchor(単語が読め、シーンが安全) — ただしショートリストを提示し、ユーザーに選択させてください。
パイプライン — 5ステップ
1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project> # matte ∥ transcribe (並列) → safe-zones。1つのコマンド。
# → frames_fg/ transcript.json safe-zones.json
3. [エージェントステップ — 唯一の創造的ステップ] 小さな JSON を記述; 以下をモード別に参照
Cinematic: plan.json を記述 → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
Theme: theme.json を記述 → bash scripts/render-theme.sh <project> (コンパイル + レンダリング + プレート fx)
4. node scripts/preview-frames.cjs <project> # 約2秒/フレームの合成プレビュー → § Visual QA (レンダリングの前)
5. bash scripts/render-and-composite.sh <project> # ゲート → final.mp4 + history/ スナップショット
(Theme モード: ステップ3b/5をスキップ — render-theme.sh は既にコンパイル + render-and-composite
+ _postfx.sh を実行; 成果物は final_fx.mp4、final.mp4 はプレート反応前)
ステップ1の init はインストールされたスキルを最新の GitHub のものと比較し、古いものがあればグローバルセットを更新します。
ステップ3はモードによって異なります:
ステップ3 — Cinematic モード (純粋な埋め込み)
- 最初に
safe-zones.jsonを読む。 ナレーションプレーンはzones.hugLeft/hugRightに配置 — シルエットに ABUTTING するクリーンなストリップ (テキストが体から遠いと浮いて見え、埋め込まれていない; 遠いコーナーはデフォルトではなくフォールバック)。ヒーローはデフォルトでheroAnchor/heroBands.bestに配置 (被写体の中央、約30–55% オクルージョン)。recommendation:"fg"はナレーションを読みやすさのために前面に移動; ヒーローは可能な限り埋め込まれたまま — ヒーロー-fg は最後の手段。 - DNA はステップ0で選択したアイデンティティです (CATALOG.md) — ここで選択を再度開かないでください。シーンに対して内容確認します (明るいヒーローバンド輝度 > 150 は
inkを望む; 完全な選択ガイドはカタログにあり、neon / glitch / chrome / velocity を含む10すべてをカバー)。選択 + 理由を述べる; ユーザーが決定。DNA はタイプ/パレット/ブレンド/モーション + ヒーロー3幕をロック; safe-zones v2 (palette/optics/lighting) は自動的にこのシーンにパラメータ化します。 <project>/cinematic.jsonを記述 —"dna": "<name>"+ 思考-BLOCKS、生のグループではない: 各ブロック = 単語の行 (2–5語を節境界でグループ化) + それが積み重なるプレーン + 行ごとのcss(サイズ/太さ/スタイルのみ — 位置は含まない) + 多くとも1行が"hero": trueとマークされる (プロモートされた単語;"text"は表示形式用)。スキーマ:scripts/make-cinematic.cjsヘッダー。- コンパイル:
node scripts/make-cinematic.cjs <project>— ブロックを plan.json → index.html に下ろします。生成されるもの: トランスクリプト順のタイミング、ブロック内累積、ブロック間ページフリップ、ヒーローロックアップ (ヒーローブロックの事前コンテキスト、ヒーロー、事後コンテキストが1つの結合されたコンポジションとして被写体の中央に積み重なる — 読む順序は上→下 = 構築による話す順序; コンテキストは前面に浮かび、ヒーローは背後に埋め込まれる = 深度サンドイッチ; 質量ルールによりヒーローがそのコンテキストを支配する)、APEX/マイナーヒーロー分割、構築による読む順序、安全ゾーンによる fg フォールバック。その後、ゲートが通常通り実行されます。(plan.json の手動オーサリングはブロックが表現できないデザインに対して引き続き可能です — その後fill-timings.cjs+fit-fonts.cjs+make-composition.cjsを自分で実行します。)
ステップ3 — Theme モード (テーマ化された構成)
最初に themes/README.md を読む — パラダイム/セットピースレジストリ、リンク、ハードルール、正確な theme.json スキーマ。
- テーマ DNA を選択 内容レジスターで (各
themes/<name>.jsonにはvoice+whenがあります)。選択 + 理由を述べる; ユーザーが決定。 <project>/theme.jsonを記述 —dna,lines(逐語、トランスクリプト順; 各1–5語 —takeoverでは各行が1つの CARD)、minors(強調単語)、hero:{match}(クライマックス単語/フレーズ; 埋め込みセットピース用にlinesから除外し、インラインセットピースやパネル+リダクト用に残す)。- レンダリング:
bash scripts/render-theme.sh <project>— コンパイル (コンパイル時に逐語完全性ゲート)、両方のレイヤーをレンダリング、合成、プレート反応を適用 →final_fx.mp4。Visual QA のために、コンパイルとレンダリングの間にpreview-frames.cjsを使用します。
Visual QA — レンダリング前にプレビュー
node scripts/preview-frames.cjs <project> [t…] は 忠実なプレビューフレームを約2秒で 合成します (キャプションレイヤーはシークタイムでスクリーンショット + 実際のビデオフレーム + マットオクルージョン + レールオーバーレイ = その瞬間の最終合成がどのように見えるか)。デフォルトサンプル = 各グループ/クライマックスウィンドウ。フルレンダリングには数分かかります — レイアウト問題を 発見する ためにそれを使用しないでください。
プレビュー (<project>/preview/sheet.png) を以下に対して確認してください:
…
[truncated for translation]