Communitygithub.com

starter-supabase

トーキングヘッド動画にキャプションを追加します。32 種類のビジュアルアイデンティティを備えた単一のカタログ (CATALOG.md) に基づき、シーンに埋め込まれたテキスト合成を実現します。

starter-supabase とは?

このスキルは、トーキングヘッド動画に高度なキャプション(字幕)を追加するためのものです。単なる字幕追加ではなく、32 種類のビジュアルアイデンティティ(anchor, neon, glitch, chrome など)から選択し、テキストを背景に合成(embed)したり、前景にレール(rail)として表示したりできます。内部では hyperframes を使用して被写体のマット(背景分離)を作成し、HTML レンダリングと ffmpeg オーバーレイを組み合わせます。このスキルは、Claude Code や Codex などの AI エージェント向けに設計されており、ユーザーが希望するスタイル(「VFX キャプション」「炸」「特效」などのキーワード)に応じて最適なアイデンティティを提案し、パイプラインを自動実行します。`anchor` がデフォルトのアイデンティティであり、すべての単語を埋め込むのではなく、重要な単語のみを被写体の背後に配置する(embed)のが適切な使い方です。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-supabase/tree/HEAD/.agents/skills/embedded-captions

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

組み込みキャプション (Embedded Captions)

1 つのカタログから、前もって選択 (CATALOG.md — 17 のアイデンティティ; 背後にある 3 つのエンジンはバックエンドの詳細です)。Standard (デフォルト) は、クリーンな レール (ほとんどのテキストを表示する下部 3 分の 1 の字幕) + クライマックスで被写体の背後に合成される 埋め込み を構築します。Cinematic はピュア埋め込み — レールなし、すべてのキャプションが被写体の背後に合成されます (ヒーロータイポグラフィ、蓄積、オクルージョンがエフェクトとして機能)。Theme は完全なテーマ構成 — ボディパラダイム × ヒーローセットピース × フロント FX × プレートリアクション、レジストリ (themes/README.md) から構成: ordnance terminal neonsign stardust stomp。ほとんどの解説 / ナレーションは Standard; 埋め込みは希少で獲得する価値のあるピークです — すべての単語を埋め込むのがよくある間違い; Theme は VFX グレードの要求 (「炸」、「特效」、「AE みたいに」) 向けです。


運用フロー (TL;DR)

以下のクラフト散文は長いですが、パイプライン自体は短い です — そして決定論的なものはすべて計算またはコンパイルされ、手書きはされません:

  1. 決定ゲート (不適切なクリップを拒否) → CATALOG.md から 1 つのアイデンティティを選択 (17 のアイデンティティ; エンジン/コンパイラはルックアップで導出 — モード/カテゴリの質問は決して表面化しない)
  2. hyperframes init (動画が既にプロジェクトディレクトリ内にある場合はスキップ — matte.cjs/transcribe.cjs はディレクトリ内の任意の動画を source.mp4 として採用) → bash scripts/prepare.sh <project> (matte ∥ transcribe ∥ audio-envelope を並列実行、次に scene palette/optics/lighting を使用した safe-zones v2 — 1 つのコマンドで何も忘れない)
  3. クリエイティブな選択の小さな JSON を作成 (最初に safe-zones.json を読む): Cinematic → plan.json → fill-timings.cjs → fit-fonts.cjs → make-composition.cjs; Theme → theme.json → make-theme.cjs (rail/panel/poem/takeover パラダイム; anchor は静かなレールのデフォルト)
  4. ビジュアル QA: node scripts/preview-frames.cjs <project> → 約 2 秒/フレームで忠実な複合プレビュー (レンダリングなし)。レンダリングにお金を払う前に § ビジュアル QA を確認。
  5. render-and-composite.sh → ゲート (タイミング / オクルージョン+ヒーロー / オーバーフロー / ハンドオフ) → final.mp4

見落とされがちな重要なルール:

  • レール (デフォルト) + 埋め込み (昇格)。 drop (フィラー、表示されない) / rail (逐語的な下部 3 分の 1 の字幕、前景、ほとんどのテキストを運ぶ) / embed (被写体の背後に合成されるピークワード)。Standard モードは両方を行い、ピークのみを埋め込みます。§ キャプションモデル を参照。
  • 動画はそのまま配信されます (Standard/Cinematic; Theme モードの PLATE バジェットは唯一認められた例外 — テーマ DNA ごとに定義され、マットコンポジットの後に適用されるレジスタゲートされたリアクションビート (charge-dim, punch, shake, grain) で、被写体+テキスト+プレートが 1 つのフレームとして動くようにします) — キャプションのみが追加されます; マットは被写体が埋め込みトラックを隠すことを可能にするだけです。映像のグレーディング/リカラー/スキャンラインは決して行わないでください。
  • 2 つのルールブック: レール → references/rail.md (薄い), 埋め込みクラフト → references/composition-craft.md (リッチ、埋め込みのみ)。必要に応じて斜め読みしてください。

キャプションモデル — レール + 埋め込み

すべての話されたフレーズは次の 3 つのいずれかです:

内容表示方法
dropフィラー — えーっと/あのー、どもり、自己修正表示されない
railデフォルト — 通常の話し言葉 (逐語的)クリーンな下部 3 分の 1 の字幕、前景、読みやすい。パンチワードはインラインの emphasis ハイライト (アクセントカラー / アクティブワードポップ) を取得できます — レール上に残ります。
embed昇格されたピーク — 見出しビート被写体の背後に合成された (マットオクルージョン) 1 つの大きな単語、デザインされた入口 + 出口

レールはほとんどのテキストを運びます; 埋め込みは希少で獲得する価値のあるピークです。 希少性は クリップごとではなく、ビート/ブロックごと です: ブロック (思考) あたり ≤1 ヒーロー、2 つが同時に見えることは決してない、ヒーローウィンドウ間の間隔は ≥ ビート (コンパイラは 0.6 秒未満で警告)。短いクリップ → 通常 1–2; 長い解説 → セクションごとに約 1 つ。複数のヒーローの中で、最大の作成されたものが APEX (それだけが完全なロックアップ埋め込み + 幅に合わせた持ち上げを取得します); 小さいものは MINOR ピーク で、特大の強調行として自分のカラムに乗ります (fg、減衰モーション) — すべてのビートがマットショーケースを必要とするわけではなく、それがまさに apex をイベントとして保つ理由です。すべての単語を埋め込むことが依然としてよくある間違いです。

レール面のアイデンティティはこれを正確に構築します (レール = rail.html、埋め込み = index.html のクライマックス)。カラムフローアイデンティティはレールをドロップし、すべてを埋め込みスタイルにします — ムードが逐語性よりも優先される要求、単語が読まれなければならない解説/ナレーションでは決して使用しないでください (CATALOG.md はアイデンティティごとにこれをエンコードしています)。


ステップ 0 — CATALOG から 1 つのアイデンティティを選択

1 つのフロントエンド、背後に 3 つのエンジン。 ユーザーは CATALOG.md から IDENTITY を選択します (17 エントリ: 12 クラシック + 5 テーマ); エンジン、コンパイラ、作成ファイルはカタログ行のルックアップによって導出されます。「Standard vs Cinematic vs Theme」を質問として決して表面化しないでください — これらはバックエンド名です (製品は複数のエンジンでも 1 つの UX を持つ)。カタログはルーティングに必要なすべてをエンコードします: 読み取り面、声、推奨対象、シーンのニーズ、真に近いペア (loud↔ordnance, neon↔neonsign, cream↔stardust) の隣接ノート。

手順: クリップを調査 → カタログから 2–3 のアイデンティティを絞り込む → ユーザーが選択 → そのアイデンティティのファイルを作成する。アイデンティティはエンジンに固定されています (クロスコンボなし; 1 つを開くことは検証イベントです — dna/README.md を参照)。

常に推奨事項を提示し、作成する前にユーザーに選択させてください。 黙ってデフォルトにしないでください。

(完全なアイデンティティテーブルは CATALOG.md にあります — ルーティングの単一の真実の情報源。以下のエンジンドキュメントは、各バックエンドの作成契約について説明しています。)

推奨ヒューリスティック: CATALOG.md の「絞り込みヒューリスティック」を使用してください — これらはアイデンティティレベルです (例: 「炸」は ordnance/stomp/terminal/loud を絞り込み、何が爆発するかで選択)、カテゴリレベルではありません。不明な場合は → anchor。

  • Cinematic → ロックされたテンプレートの plan.json を作成し、make-composition.cjs によってコンパイルされます。
  • Theme → themes/README.md を読み、theme.json を作成し、scripts/render-theme.sh を実行します (コンパイル + レンダリング + プレートリアクション → final_fx.mp4)。

決定ゲート — 最初に実行

どちらのモードよりも先に、動画を調査しシーンを分類します。

ffprobe <video.mp4>                    # 仕様
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png   # 20/50/80% で

サンプルを読みます。以下の場合は拒否:

  • 複数の話者 / ハードカット (各ショットを分割してレンダリングするか、拒否)
  • 人間の被写体がない (このスキルはトーキングヘッド用)
  • 3 秒未満、音声がない、または顔がはっきり見えない — transcribe.cjs はオーディオがほぼ無音の場合に警告します (Whisper は沈黙の上に「ありがとう。」のような単語を幻覚することがあります); それに従い、作り上げられた単語にキャプションを付けないで拒否
  • ソースに既に焼き込みキャプション / 字幕 / 重いテキストグラフィックスがある — 2 つ目のキャプションシステムを追加すると競合し、映像はそのまま出荷されます (カバー/インペイントなし)。焼き込みテキストはクリップの途中にのみ現れることがよくあります: 1fps コンタクトシート をサンプリングしてください (ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png)、3 つのスポットフレームを信用しないでください。
  • 文字起こしがゴミ — 非ネイティブ/強いアクセントの音声は、自信満々の意味不明な文字に書き起こされる可能性があります。作成前に transcript.json を常識的に読んでください; 言語として解析できない場合は、WHISPER_MODEL=medium を 1 回試し、それ以外は拒否 (作り上げられた単語の逐語的なレールは、キャプションがないより悪い)。
  • 動きの速い手持ち撮影 (マットがちらつく)

飛行前チェック (コストはゼロ、最悪の失敗を防ぐ)

  1. ショットカット調査。 20%、50%、80% でフレームをサンプリング。異なる被写体/シーンが現れた場合、クリップをトリミング してカットの前にします。
  2. レターボックス / ピラーボックス調査。 最初のフレームに黒いバーがあるか? 安全なコンテンツ矩形を計算し、キャプション配置をその内部に制限します。
  3. 輝度調査。 キャプション領域の平均輝度をサンプリング — 60 未満 → 明るいテキストはそのままで読み取り可能、60-180 → グリフスクリムを追加、180+ → 不透明テキスト + スクリム (裸の明るいテキストは決して使用しない)。Cinematic テンプレートは cream+screen で LOCKED — この調査を使用して 適切なアイデンティティを選択 します (明るいシーン → ink、または不透明レール anchor テーマ)、決して色を変更するために使用しないでください。
  4. トーンによるアイデンティティ推奨 (あなたが推奨し、ユーザーが選択 — ステップ 0 + CATALOG.md を参照)。 解説 / インタビュー / 単語を読む必要がある → レール/パネル面のアイデンティティ; 詩的 / ソーシャル / 「シネマティック」 → レジスタによるカラムフローアイデンティティ; 「炸 / 特效 / VFX」 / 名前付きの世界 → テーマ別アイデンティティ。不明な場合 → anchor (単語が読め、シーンは安全) — ただし、候補を提示し、ユーザーに選択させてください。

パイプライン — 5 ステップ

1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project>       # matte ∥ transcribe (並列) → safe-zones. 1 つのコマンド。
                                           #   → frames_fg/ transcript.json safe-zones.json
3. [エージェントステップ — 唯一のクリエイティブステップ] 小さな JSON を作成; モードについては以下を参照
   Cinematic: plan.json を作成 → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
   Theme:     theme.json を作成 → bash scripts/render-theme.sh <project>   (コンパイル + レンダリング + プレート FX)
4. node scripts/preview-frames.cjs <project>   # ~2 秒/フレームの複合プレビュー → § ビジュアル QA (レンダリング前)
5. bash scripts/render-and-composite.sh <project>  # ゲート → final.mp4 + history/ スナップショット
   (Theme モード: ステップ 3b/5 をスキップ — render-theme.sh はコンパイル + render-and-composite
    + _postfx.sh を既に実行; 成果物は final_fx.mp4、final.mp4 はプレートリアクション前)

ステップ 1 の init は、インストールされているスキルを GitHub の最新バージョンと比較し、古いものがあればグローバルセットを更新します。

ステップ 3 はモードによって異なります:

ステップ 3 — Cinematic モード (ピュア埋め込み)

  1. 最初に safe-zones.json を読む。 ナレーションプレーンは zones.hugLeft/hugRight に配置 — シルエットに ABUTTING するクリーンなストリップ (体から遠いテキストはフローティングに見え、埋め込まれていない; 遠いコーナーはフォールバックであり、デフォルトではない)。ヒーローはデフォルトで heroAnchor/heroBands.best (被写体の CENTER、約 30–55% オクルード)。recommendation:"fg" は読みやすさのために NARRATION を前景に移動; heroBands.feasible である限り、ヒーローは埋め込まれたまま — hero-fg は最後の手段です。
  2. DNA はステップ 0 で選択したアイデンティティです (CATALOG.md) — ここで選択を再開しないでください。シーンに対して健全性チェックします (明るいヒーローバンド輝度 > 150 は ink が必要; 完全な選択ガイダンスはカタログにあり、neon / glitch / chrome / velocity を含む 10 すべてをカバー)。自分の選択 + 理由を述べます; ユーザーが決定します。DNA は type/palette/blend/motion + ヒーロー 3 幕をロックします; safe-zones v2 (palette/optics/lighting) はこれを THIS シーンに自動的にパラメータ化します。
  3. <project>/cinematic.json を作成 — "dna": "<name>" + thought-BLOCKS、生のグループではない: 各ブロック = 単語の行 (節境界で 2–5 にグループ化) + それが積み重なるプレーン + 行ごとの css (サイズ/ウェイト/スタイルのみ — 位置なし) + 多くとも 1 行に "hero": true とマーク (昇格された単語; 表示形式の "text")。スキーマ: scripts/make-cinematic.cjs ヘッダー。
  4. コンパイル: node scripts/make-cinematic.cjs <project> — ブロックを plan.json → index.html に下げる。生成されるもの: 文字起こしシーケンスのタイミング、ブロック内での蓄積、ブロック間のページフリップ、ヒーロー LOCKUP (ヒーローブロックの事前コンテキスト、HERO および事後コンテキストは、被写体を中心とした 1 つの結合されたコンポジションとして積み重なる — 読み順 上→下 = 構築による話す順序; コンテキストは FRONT にフロートし、ヒーローは BEHIND に埋め込まれる = 深度サンドイッチ; 質量ルールによりヒーローがそのコンテキストを支配する)、apex/minor ヒーロー分割、構築による読み順、safe-zones による fg フォールバック。その後、ゲートが通常どおり実行されます。 (plan.json を直接手動で作成することも可能で、ブロックで表現できないデザインの場合 — その後、自分で fill-timings.cjs + fit-fonts.cjs + make-composition.cjs を実行します。)

ステップ 3 — Theme モード (テーマ別構成)

最初に themes/README.md を読む — パラダイム/セットピースレジストリ、リンケージ、ハードルール、および正確な theme.json スキーマ。

  1. コンテンツレジスタによってテーマ DNA を選択 (各 themes/<name>.json には voice + when がある)。自分の選択 + 理由を述べます; ユーザーが決定します。
  2. <project>/theme.json を作成 — dna, lines (逐語的、文字起こし順; 各 1–5 ワード — takeover の場合、各行は 1 つの CARD), minors (強調ワード), hero:{match} (クライマックスの単語/フレーズ; 埋め込みセットピースの場合は lines から OUT にし、インラインセットピースと panel+redact の場合は IN に保つ)。
  3. レンダリング: bash scripts/render-theme.sh <project> — コンパイル (コンパイル時の逐語的完全性ゲート)、両方のレイヤーをレンダリング、コンポジット、プレートリアクションを適用 → final_fx.mp4。コンパイルとレンダリングの間に preview-frames.cjs を使用してビジュアル QA を行います。

ビジュアル QA — レンダリング前にプレビュー

node scripts/preview-frames.cjs <project> [t…] は 約 2 秒で忠実なプレビューフレームを合成 します (シーク時間でキャプションレイヤーのスクリーンショット + 実際のビデオフレーム + マットオクルージョン + レールオーバーレイ = その瞬間の最終コンポジットの見え方)。デフォルトのサンプル = 各グループ/クライマックスウィンドウ。完全なレンダリングには数分かかります — レイアウトの問題を 発見 するために決して使用しないでください。

プレビュー (<project>/preview/sheet.png) を確認...

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-supabase

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-supabase

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-supabase

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-supabase

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-supabase

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-supabase

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

1345AbhishekKumar/starter-supabase

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-supabase

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-supabase

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

1345AbhishekKumar/starter-supabase

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-supabase

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-supabase

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-supabase

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

関連スキル