Communitygithub.com

埋め込みキャプション — 32 視覚アイデンティティ口播カタログ出荷

1 つのカタログ(CATALOG.md)にある 32 の視覚アイデンティティで talking-head にキャプション追加。画を再編集せずスタイル付きハードサブを焼く。

埋め込みキャプション — 32 視覚アイデンティティ口播カタログ出荷 とは?

Launch Video 手順3(caption/ship):starter-nextjs-embedded-captions。合成と Remotion 磨きの後、カタログ字幕をローンチ母帯に焼く。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-nextjs/tree/HEAD/.agents/skills/embedded-captions

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

埋め込みキャプション

1つのカタログ、前面に表示(CATALOG.md — 17のアイデンティティ;背後にある3つのエンジンはバックエンドの詳細)。Standard(デフォルト)は、クリーンな逐語レール(ほとんどのテキストを表示する下部3分の1の字幕)と、ピーク時に被写体の背後にあるシーンに合成される埋め込みクライマックスを構築します。Cinematicは純粋な埋め込み — レールはなく、すべてのキャプションが被写体の背後に合成されます(ヒーロータイポグラフィ、累積、オクルージョンが効果として)。Themeは完全なテーマ付き構成 — ボディパラダイム × ヒーローセットピース × フロントエフェクト × プレート反応、レジストリから構成されます(themes/README.md):ordnance terminal neonsign stardust stomp。ほとんどの解説/ナレーションはStandardです;埋め込みは希少で価値のあるピークです — すべての単語を埋め込むのはよくある間違いです;ThemeはVFX品質の要求(「炸」、「特效」、「AEのように」)向けです。


運用フロー(TL;DR)

以下の職人散文は長いですが、パイプライン自体は短いです — そして決定論的なものはすべて計算またはコンパイルされ、手書きではありません:

  1. 決定ゲート(悪いクリップを拒否)→ CATALOG.mdから1つのアイデンティティを選択(17のアイデンティティ;エンジン/コンパイラはルックアップによって導出 — モード/カテゴリの質問を決して表面化しない)
  2. hyperframes init(プロジェクトディレクトリがすでに存在し、中にビデオがある場合はスキップ — matte.cjs/transcribe.cjsはディレクトリ内の任意のビデオをsource.mp4として採用)→ bash scripts/prepare.sh <project>(マット ∥ 文字起こし ∥ オーディオエンベロープを並行して実行、次にシーンパレット/光学/照明を使用したセーフゾーンv2 — 1つのコマンドで、何も忘れない)
  3. 創造的な選択の小さなJSONを作成(最初にsafe-zones.jsonを読む): Cinematic → plan.json → fill-timings.cjs → fit-fonts.cjs → make-composition.cjs; Theme → theme.json → make-theme.cjs(レール/パネル/詩/テイクオーバーパラダイム;anchorは静かなレールのデフォルト)
  4. ビジュアルQA:node scripts/preview-frames.cjs <project> → 約2秒/フレームで忠実な合成プレビュー(レンダリングなし)。レンダリングにお金を払う前に§ビジュアルQAを確認。
  5. render-and-composite.sh → ゲート(タイミング / オクルージョン+ヒーロー / オーバーフロー / ハンドオフ)→ final.mp4

人々が見逃す重要なルール:

  • レール(デフォルト)+ 埋め込み(昇格)。 drop(フィラー、表示なし)/ rail(逐語的な下部3分の1の字幕、前面、ほとんどのテキストを表示)/ embed(被写体の背後に合成されるピークワード)。Standardモードは両方を行い、ピークのみを埋め込みます。§キャプションモデルを参照。
  • ビデオは未加工で提供されます(Standard/Cinematic;ThemeモードのPLATE予算は唯一認められた例外 — テーマDNAごとに定義され、マット合成後に適用されるレジスタゲート式の反応ビート(チャージディム、パンチ、シェイク、グレイン)により、被写体+テキスト+プレートが1つのフレームとして移動します) — キャプションだけが追加されます;マットは被写体が埋め込みトラックを遮ることを可能にするだけです。映像のグレーディング、色変更、スキャンラインは決して行わないでください。
  • 2つのルールブック:レール → references/rail.md(薄い)、埋め込みクラフト → references/composition-craft.md(豊富、埋め込みのみ)。必要に応じてざっと読んでください。

キャプションモデル — レール + 埋め込み

すべての話されたフレーズは、次の3つのうちの1つです:

説明表示方法
dropフィラー — えーと/あー、どもり、自己修正表示なし
railデフォルト — 通常の話された内容(逐語)クリーンな下部3分の1の字幕、前面、読みやすい。パンチワードはインラインのemphasisハイライト(アクセントカラー / アクティブワードポップ)を得ることができます — レール上に留まります。
embed昇格されたピーク — 見出しビート1つの大きな単語が被写体の背後に合成され(マットオクルージョン)、デザインされた入場 + 退場

レールはほとんどのテキストを表示します;埋め込みは希少で価値のあるピークです。 希少性はクリップごとではなく、ビート/ブロックごとです:ブロック(思考)あたり≤1つのヒーロー、2つが同時に表示されることはなく、ヒーローウィンドウ間の間隔は少なくとも1ビート(コンパイラは0.6秒未満で警告します)。短いクリップ → 通常1–2;長い解説 → セクションごとに約1つ。複数のヒーローの中で、最も大きな作成されたものがAPEX(それだけが完全なロックアップ埋め込み + 幅合わせの引き上げを得ます);小さいものはマイナーピークで、強調された行(fg、減衰モーション)としてその列に乗ります — すべてのビートがマットショーケースを必要とするわけではなく、それがまさにAPEXをイベントとして保つ理由です。すべての単語を埋め込むことは依然としてよくある間違いです。

レールサーフェスアイデンティティはこれを正確に構築します(レール = rail.html、埋め込み = index.htmlのクライマックス)。カラムフローアイデンティティはレールをドロップし、すべてを埋め込みスタイルにします — 逐語よりもムードが重要な要求にのみ推奨し、単語を読む必要がある解説/ナレーションには決して推奨しません(CATALOG.mdはこれをアイデンティティごとにエンコードしています)。


ステップ0 — CATALOGから1つのアイデンティティを選択

1つのフロントエンド、背後に3つのエンジン。 ユーザーはCATALOG.mdからIDENTITYを選択します(17エントリ:12クラシック + 5テーマ);エンジン、コンパイラ、作成ファイルはカタログ行のルックアップによって導出されます。「Standard vs Cinematic vs Theme」を質問として決して表面化しないでください — これらはバックエンド名です(1つの製品には、いくつかのエンジンがあっても1つのUXがあります)。カタログはルーティングに必要なすべてをエンコードします:読み取りサーフェス、声、推奨対象、シーンのニーズ、真に近いペア(loud↔ordnance、neon↔neonsign、cream↔stardust)の隣接メモ。

手順:クリップを調査 → カタログから2〜3のアイデンティティを絞り込む → 1行の理由とともに1つを推奨 → ユーザーが選択 → そのアイデンティティのファイルを作成。アイデンティティはエンジンにロックされています(クロスコンボはありません;1つを開くことは検証イベントです — dna/README.mdを参照)。

常に推奨を提示し、作成する前にユーザーに選択させてください。 静かにデフォルトにしないでください。

(完全なアイデンティティテーブルはCATALOG.mdにあります — ルーティングの単一の信頼できる情報源。以下のエンジンドキュメントは、各バックエンドの作成契約を説明しています。)

推奨ヒューリスティック:CATALOG.mdの「Shortlisting heuristics」を使用 — これらはアイデンティティレベルです(例:「炸」はordnance/stomp/terminal/loudに絞り込み、何が爆発するかで選択)、カテゴリレベルではありません。不明な場合 → anchor。

  • Cinematic → ロックされたテンプレートのためにplan.jsonを作成し、make-composition.cjsでコンパイル。
  • Theme → themes/README.mdを読み、theme.jsonを作成し、scripts/render-theme.shを実行(コンパイル + レンダリング + プレート反応 → final_fx.mp4)。

決定ゲート — 最初に実行

ビデオを調査し、いずれかのモードの前にシーンを分類します。

ffprobe <video.mp4>                    # スペック
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png   # 20/50/80%で

サンプルを読みます。以下の場合は拒否:

  • 複数の話者 / ハードカット(分割して各ショットをレンダリングするか、拒否)
  • 人間の被写体がいない(このスキルはトーキングヘッド用)
  • 3秒未満、発話なし、または顔がはっきり見えない — transcribe.cjsはオーディオがほぼ無音の場合に警告します(Whisperは無音の上に「ありがとう」のような単語を幻覚します);それに従い、捏造された単語をキャプションするのではなく拒否
  • ソースにすでに焼き込みキャプション/字幕/重いテキストグラフィックがある — 2番目のキャプションシステムを追加すると競合し、映像は未加工で出荷されます(カバー/インペイントなし)。焼き込みテキストはクリップの途中でのみ現れることがよくあります:1fpsのコンタクトシートをサンプリングします(ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png)、3つのスポットフレームを信頼しないでください。
  • 書き起こしがゴミ — 非ネイティブ/強いアクセントのスピーチは、自信に満ちた無意味なものに文字起こしされる可能性があります。作成前にtranscript.jsonを常識で読んでください;言語として解析できない場合は、WHISPER_MODEL=mediumを1回試し、それでもだめなら拒否(捏造された単語の逐語レールは、キャプションがないよりも悪いです)。
  • 激しい手持ちカメラで速い動き(マットがちらつく)

プリフライトプローブ(コストがかからず、最悪の失敗を防ぐ)

  1. ショットカットプローブ。 20%、50%、80%でフレームをサンプリング。異なる被写体/シーンが現れた場合、カットの前にクリップをトリミングしてください。
  2. レターボックス/ピラーボックスプローブ。 最初のフレームに黒いバーがありますか?安全なコンテンツ矩形を計算し、キャプションの配置をその内部に制限します。
  3. 輝度プローブ。 キャプション領域の平均輝度をサンプリング — 60未満 → 明るいテキストはそのまま読み取れます、60-180 → グリフスクリムを追加、180+ → 不透明テキスト + スクリム(裸の明るいテキストは決して使用しないでください)。Cinematicテンプレートはクリーム+screenでロックされています — このプローブを使用して_適切なアイデンティティを選択してください_(明るいシーン → ink、または不透明レールのanchorテーマ)、アイデンティティの色を変更するためではありません。
  4. トーンによるアイデンティティ推奨(あなたが推奨し、ユーザーが選択 — ステップ0 + CATALOG.mdを参照)。 解説 / インタビュー / 単語を読む必要がある → レール/パネルサーフェスアイデンティティ;詩的 / ソーシャル / 「シネマティック」 → レジスタによるカラムフローアイデンティティ;「炸 / 特效 / VFX」 / 名前付きワールド → テーマアイデンティティ。不明な場合 → anchor(単語が読め、シーンが安全) — ただし、短いリストを提示し、ユーザーに選択させてください。

パイプライン — 5ステップ

1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project>       # マット ∥ 文字起こし(並列)→ セーフゾーン。1つのコマンド。
                                           #   → frames_fg/ transcript.json safe-zones.json
3. [エージェントステップ — 唯一の創造的なステップ] 小さなJSONを作成;以下のモード別
   Cinematic: plan.jsonを作成 → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
   Theme:     theme.jsonを作成 → bash scripts/render-theme.sh <project>   (コンパイル + レンダリング + プレートfx)
4. node scripts/preview-frames.cjs <project>   # ~2秒/フレームの合成プレビュー → §ビジュアルQA(レンダリングの前)
5. bash scripts/render-and-composite.sh <project>  # ゲート → final.mp4 + history/スナップショット
   (Themeモード:ステップ3b/5をスキップ — render-theme.shはすでにコンパイル + render-and-composite + _postfx.shを実行します;成果物はfinal_fx.mp4で、final.mp4はプレート反応前です)

ステップ1のinitは、インストールされたスキルをGitHubの最新と比較し、古いものがあればグローバルセットを更新します。

ステップ3はモードによって異なります:

ステップ3 — Cinematicモード(純粋な埋め込み)

  1. 最初にsafe-zones.jsonを読んでください。 ナレーションプレーンは**zones.hugLeft/hugRight**に入ります — シルエットに隣接するクリーンなストリップ(テキストが体から遠いと浮いて見え、埋め込まれていないように見えます;遠いコーナーはフォールバックであり、デフォルトではありません)。ヒーローはデフォルトでheroAnchor/heroBands.best(被写体の中央、約30〜55%オクルージョン)になります。recommendation:"fg"は、読みやすさのためにナレーションを前面に移動します;ヒーローはheroBands.feasibleの場合、埋め込まれたままになります — hero-fgは最後の手段です。
  2. DNAはステップ0で選択したアイデンティティです(CATALOG.md) — ここで選択を再開しないでください。シーンに対してそれを健全性チェックします(明るいヒーローバンドの輝度 > 150はinkを好みます;完全な選択ガイダンスはカタログにあり、neon / glitch / chrome / velocityを含む10すべてをカバーしています)。選択 + 理由を述べてください;ユーザーが決定します。DNAはタイプ/パレット/ブレンド/モーション + ヒーロー3幕をロックします;セーフゾーンv2(palette/optics/lighting)はそれをこのシーンに自動的にパラメータ化します。
  3. <project>/cinematic.jsonを作成 — "dna": "<name>" + 思考BLOCKS(生のグループではありません):各ブロック = 単語の行(節境界で2〜5にグループ化)+ それが積み重なるプレーン + 行ごとのcss(サイズ/太さ/スタイルのみ — 位置はなし)+ 最大1行が"hero": trueとマークされます(昇格された単語;表示形式の"text")。スキーマ:scripts/make-cinematic.cjsヘッダー。
  4. コンパイル:node scripts/make-cinematic.cjs <project> — ブロックをplan.json → index.htmlに下げます。生成されるもの:転写シーケンスのタイミング、ブロック内の累積、ブロック間のページフリップ、ヒーローロックアップ(ヒーローブロックの事前コンテキスト、HERO、事後コンテキストが、被写体を中心とした1つの結合されたコンポジションとしてスタック — 読み取り順序上→下 = 構築による発話順序;コンテキストはFRONTに浮かび、HEROは背後に埋め込まれます = 深度サンドイッチ;マスルールはヒーローがコンテキストを支配するようにします)、apex/マイナーヒーローの分割、構築による読み取り順序、セーフゾーンあたりのfgフォールバック。その後、ゲートが通常どおり実行されます。(plan.jsonの手動作成は、ブロックが表現できないデザインのために引き続き可能です — その後、自分でfill-timings.cjs + fit-fonts.cjs + make-composition.cjsを実行してください。)

ステップ3 — Themeモード(テーマ付き構成)

最初にthemes/README.mdを読んでください — パラダイム/セットピースレジストリ、リンケージ、ハードルール、および正確なtheme.jsonスキーマ。

  1. コンテンツレジスタによってテーマDNAを選択(各themes/<name>.jsonにはvoice + whenがあります)。選択 + 理由を述べてください;ユーザーが決定します。
  2. <project>/theme.jsonを作成 — dna、lines(逐語、転写順序;それぞれ1〜5単語 — takeoverの場合、各行は1つのCARDです)、minors(強調単語)、hero:{match}(クライマックス単語/フレーズ;埋め込みセットピースの場合はlinesから除外、インラインセットピースおよびパネル+redactの場合は残します)。
  3. レンダリング:bash scripts/render-theme.sh <project> — コンパイル(コンパイル時に逐語完全性ゲート)、両方のレイヤーをレンダリング、合成、プレート反応を適用 → final_fx.mp4。ビジュアルQAのために、コンパイルとレンダリングの間にpreview-frames.cjsを使用してください。

ビジュアルQA — レンダリング前にプレビュー

node scripts/preview-frames.cjs <project> [t…]は、約2秒ごとに忠実なプレビューフレームを合成します(シーク時にスクリーンショットされたキャプションレイヤー + 実際のビデオフレーム + マットオクルージョン + レールオーバーレイ = その瞬間の最終合成がどのように見えるか)。デフォルトのサンプル = 各グループ/クライマックスウィンドウ。完全なレンダリングには数分かかります — レイアウトの問題を_発見_するために決して使用しないでください。

プレビュー(<project>/preview/sheet.png)を確認して...

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-nextjs

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-nextjs

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-nextjs

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-nextjs

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-nextjs

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-nextjs

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

1345AbhishekKumar/starter-nextjs

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-nextjs

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-nextjs

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

1345AbhishekKumar/starter-nextjs

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-nextjs

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-nextjs

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-nextjs

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

関連スキル