Communitygithub.com

Embedded Captions — catalogue 32 identités talking-head

Ajoutez des captions à une vidéo talking-head via UN catalogue (CATALOG.md) de 32 identités visuelles. Hardsubs stylés sans re-monter l'image.

Qu'est-ce que Embedded Captions — catalogue 32 identités talking-head ?

Launch Video étape 3 (caption/ship) : starter-nextjs-embedded-captions. Après compose et polish Remotion, brûlez des captions catalogue sur le master de lancement.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-nextjs/tree/HEAD/.agents/skills/embedded-captions

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Légendes incrustées

Un catalogue, sélectionné en amont (CATALOG.md — 17 identités ; les trois moteurs derrière sont des détails de backend). Standard (par défaut) construit un rail propre et textuel (sous-titre inférieur transportant la plupart du texte) + un point culminant incrusté composité dans la scène derrière le sujet au sommet. Cinématique est une incrustation pure — pas de rail, chaque légende compositée derrière le sujet (typographie héroïque, accumulation, occlusion comme effet). Thème est une constitution thématique complète — paradigme corporel × pièce maîtresse héroïque × effet avant × réaction de plaque, composée à partir de registres (themes/README.md) : ordnance terminal neonsign stardust stomp. La plupart des explications / voix off est Standard ; l'incrustation est le sommet rare et mérité — incruster chaque mot est l'erreur courante ; Thème est pour les demandes de qualité VFX ("炸", "特效", "comme AE").


Flux opérationnel (TL;DR)

Le texte artisanal ci-dessous est long ; le pipeline lui-même est court — et tout ce qui est déterministe est calculé ou compilé, jamais écrit à la main :

  1. Porte de décision (refuser les mauvais clips) → choisir UNE identité de CATALOG.md (17 identités ; moteur/compilateur dérivé par recherche — ne jamais poser une question de mode/catégorie)
  2. hyperframes init (ignorer si le répertoire du projet existe déjà avec la vidéo à l'intérieur — matte.cjs/transcribe.cjs adoptent n'importe quelle vidéo dans le répertoire en tant que source.mp4) → bash scripts/prepare.sh <projet> (matte ∥ transcription ∥ enveloppe audio en parallèle, puis safe-zones v2 avec palette scène/optique/éclairage — une commande, rien oublié)
  3. rédiger un petit JSON de choix créatifs (lire safe-zones.json d'abord) : Cinématique → plan.json → fill-timings.cjs → fit-fonts.cjs → make-composition.cjs ; Thème → theme.json → make-theme.cjs (paradigmes rail/panneau/poème/prise en charge ; anchor est le rail silencieux par défaut)
  4. QA visuelle : node scripts/preview-frames.cjs <projet> → aperçus composites fidèles en ~2s/image (pas de rendu). Consultez § QA visuelle avant de payer un rendu.
  5. render-and-composite.sh → portes (timing / occlusion+héroïque / débordement / remise) → final.mp4

Règles importantes que les gens oublient :

  • rail (par défaut) + incrustation (promotion). drop (bourrage, non affiché) / rail (sous-titre textuel inférieur, devant, porte la plupart du texte) / incrustation (un mot sommet composité derrière le sujet). Le mode Standard fait les deux, n'incrustant que le(s) sommet(s). Voir § Modèle de légende.
  • La vidéo est livrée INTACTE (Standard/Cinématique ; le budget PLATE du mode Thème est la seule exception sanctionnée — réactions de battement enregistrées (charge-dim, coup, secousse, grain) définies par ADN du thème et appliquées APRÈS le composite matte pour que le sujet+texte+plaque bougent comme une seule image) — les légendes sont la seule chose ajoutée ; le matte permet juste au sujet d'occlure la piste incrustée. Ne jamais étalonner/habiller/ligner la séquence.
  • Deux règles : rail → references/rail.md (mince), artisanat d'incrustation → references/composition-craft.md (riche, incrustation uniquement). Parcourir selon les besoins.

Modèle de légende — rail + incrustation

Chaque phrase parlée est l'une des trois choses :

| | Quoi | Comment c'est affiché | | --------- | ------------------------------------------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------- | | drop | bourrage — euh/euh, bégaiements, auto-corrections | non affiché | | rail | le défaut — contenu parlé ordinaire (textuel) | sous-titre inférieur propre, devant, lisible. Un mot fort peut obtenir une surbrillance emphase en ligne (couleur d'accent / pop de mot actif) — il reste sur le rail. | | incrustation | un sommet promu — le battement principal | un grand mot composité derrière le sujet (occlusion matte), entrée + sortie conçues |

Le rail porte la plupart du texte ; l'incrustation est le sommet rare et mérité. La rareté est par battement/bloc, pas par clip : ≤1 héroïque par bloc (pensée), jamais deux co-visibles, ≥ un battement d'air entre les fenêtres héroïques (le compilateur avertit en dessous de 0,6s). Un clip court → généralement 1–2 ; une longue explication → ~un par section. Parmi plusieurs héroïques, le plus grand rédigé est l'APEX (lui seul obtient le verrouillage complet incrusté + élévation de largeur) ; les plus petits sont des sommets MINEURS qui chevauchent leur colonne comme des lignes d'emphase surdimensionnées (avant-plan, mouvement atténué) — ce n'est pas chaque battement qui a besoin de la vitrine matte, ce qui est exactement ce qui maintient l'apex comme un événement. Incruster chaque mot est toujours l'erreur courante.

Les identités de surface rail construisent exactement cela (rail = rail.html, incrustation = le point culminant dans index.html). Les identités de flux colonne abandonnent le rail et font tout style incrustation — les recommander uniquement pour les demandes d'ambiance plutôt que textuelles, jamais pour les explications / voix off où les mots doivent être lus (CATALOG.md encode cela par identité).


Étape 0 — choisir UNE identité du CATALOGUE

Un frontal, trois moteurs derrière. L'utilisateur choisit une IDENTITÉ de CATALOG.md (17 entrées : 12 classiques + 5 thématiques) ; le moteur, le compilateur et le fichier de rédaction sont dérivés par recherche à partir de la ligne du catalogue. Ne jamais poser "Standard vs Cinématique vs Thème" comme question — ce sont des noms de backend (un produit a une seule UX même avec plusieurs moteurs). Le catalogue encode tout ce dont le routage a besoin : surface de lecture, voix, recommander-pour, besoins scéniques, notes d'adjacence pour les paires vraiment proches (loud↔ordnance, neon↔neonsign, cream↔stardust).

Procédure : sonder le clip → présélectionner 2–3 identités du catalogue → recommander UNE avec un pourquoi en une ligne → l'utilisateur choisit → rédiger le fichier de cette identité. Les identités sont verrouillées par moteur (pas de combinaisons croisées ; en ouvrir une est un evenement de validation — voir dna/README.md).

Toujours présenter votre recommandation et laisser l'utilisateur choisir avant de rédiger. Ne pas se rabattre silencieusement sur une valeur par défaut.

(Le tableau complet des identités se trouve dans CATALOG.md — source unique de vérité pour le routage. Les docs du moteur ci-dessous décrivent le contrat de rédaction de chaque backend.)

Heuristique de recommandation : utiliser les "Heuristiques de présélection" dans CATALOG.md — elles sont au niveau de l'identité (par ex. "炸" présélectionne ordnance/stomp/terminal/loud et choisit par CE qui doit exploser), jamais au niveau de la catégorie. Incertain → anchor.

  • Cinématique → écrire plan.json pour un modèle verrouillé, compilé par make-composition.cjs.
  • Thème → lire themes/README.md, rédiger theme.json, exécuter scripts/render-theme.sh (compile + rend + réaction de plaque → final_fx.mp4).

Porte de décision — À EXÉCUTER EN PREMIER

Sonder la vidéo et classer la scène avant l'un ou l'autre mode.

ffprobe <video.mp4>                    # spécifications
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png   # à 20/50/80%

Lire les échantillons. Refuser si :

  • Plusieurs intervenants / coupes dures (diviser & rendre chaque plan, ou refuser)
  • Pas de sujet humain (cette compétence est pour la tête parlante)
  • Moins de 3 secondes, aucun discours, ou visage jamais clairement visible — transcribe.cjs avertit lorsque l'audio est presque silencieux (Whisper hallucine des mots comme "Merci." sur le silence) ; y prêter attention et refuser plutôt que de légender des mots fabriqués
  • La source a déjà des légendes / sous-titres / graphiques de texte lourds incrustés — ajouter un deuxième système de légendes entre en conflit et les séquences sont livrées intactes (pas de recouvrement/remplacement). Le texte incrusté apparaît souvent seulement au milieu du clip : échantillonner une planche contact à 1 ips (ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png), ne pas se fier à 3 images ponctuelles.
  • La transcription est défectueuse — un discours non natif / avec un fort accent peut se transcrire en un charabia confiant. Lire transcript.json avant de rédiger ; s'il ne se comprend pas comme une langue, essayer WHISPER_MODEL=medium une fois, sinon refuser (un rail textuel de mots fabriqués est pire qu'aucune légende).
  • Mouvement à main levée rapide et chargé (scintillement du matte)

Sondages pré-vol (ne coûtent rien, évitent les pires échecs)

  1. Sondage de coupe de plan. Échantillonner les images à 20 %, 50 %, 80 %. Si un sujet/scène différent apparaît, rogner le clip avant la coupe.
  2. Sondage de lettre-boîte / pilier-boîte. Barres noires sur la première image ? Calculer le rectangle de contenu sûr et contraindre le placement des légendes à l'intérieur.
  3. Sondage de luminance. Échantillonner la luminance moyenne de la région des légendes — sous 60 → le texte clair se lit tel quel, 60-180 → ajouter le cache de glyphe, 180+ → texte opaque + cache (jamais de texte clair nu). Les modèles cinématiques sont crème+écran et VERROUILLÉS — utiliser ce sondage pour choisir une identité adaptée (scènes lumineuses → ink, ou le thème anchor à rail opaque), jamais pour recolorer une.
  4. Recommandation d'identité par ton (vous recommandez ; l'utilisateur choisit — voir Étape 0 + CATALOG.md). explication / interview / mots à lire absolument → identités de surface rail/panneau ; poétique / social / "cinématique" → identités de flux colonne par registre ; "炸 / 特效 / VFX" / mondes nommés → identités thématiques. En cas d'incertitude → anchor (les mots se lisent, la scène sûre) — mais présenter une présélection et laisser l'utilisateur choisir.

Pipeline — 5 étapes

1. hyperframes init <projet> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <projet>       # matte ∥ transcription (parallèle) → safe-zones. Une seule commande.
                                           #   → frames_fg/ transcript.json safe-zones.json
3. [ÉTAPE AGENT — la seule étape créative] rédiger un petit JSON ; voir ci-dessous par mode
   Cinématique : rédiger plan.json → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
   Thème :     rédiger theme.json → bash scripts/render-theme.sh <projet>   (compile + rend + effets plaque)
4. node scripts/preview-frames.cjs <projet>   # ~2s/image aperçus composites → § QA visuelle (AVANT le rendu)
5. bash scripts/render-and-composite.sh <projet>  # portes → final.mp4 + instantané history/
   (Mode Thème : IGNORER les étapes 3b/5 — render-theme.sh exécute déjà compile + render-and-composite
    + _postfx.sh ; le livrable est final_fx.mp4, final.mp4 est avant réaction de plaque)

L'étape 1 init vérifie les compétences installées par rapport aux dernières sur GitHub et met à jour l'ensemble global si certaines sont obsolètes.

L'étape 3 diffère selon le mode :

Étape 3 — Mode Cinématique (incrustation pure)

  1. Lire safe-zones.json d'abord. Les plans de narration vont dans zones.hugLeft/hugRight — bandes propres JOINTES à la silhouette (le texte loin du corps se lit comme flottant, pas incrusté ; les coins éloignés sont le repli, pas le défaut). L'héroïque par défaut va dans heroAnchor/heroBands.best (centré SUR le sujet, ~30–55 % occulté). recommendation:"fg" déplace la NARRATION devant pour la lisibilité ; l'héroïque reste incrustée tant que heroBands.feasible — héroïque-avant-plan est le dernier recours.
  2. L'ADN est l'identité que vous avez choisie à l'Étape 0 (CATALOG.md) — ne pas rouvrir le choix ici. Le vérifier par rapport à la scène (luminance de bande héroïque brillante > 150 veut ink ; les conseils de choix complets se trouvent dans le catalogue, couvrant tous les dix incl. neon / glitch / chrome / velocity). Indiquer votre choix + pourquoi ; l'utilisateur décide. L'ADN verrouille le type/palette/mélange/mouvement + le trio héroïque ; les safe-zones v2 (palette/optics/lighting) le paramètrent pour CETTE scène automatiquement.
  3. Rédiger <projet>/cinematic.json — "dna": "<nom>" + BLOCS de pensée, pas de groupes bruts : chaque bloc = lignes de mots (groupés 2–5 aux limites de proposition) + le plan dans lequel il s'empile + css par ligne (taille/poids/style seulement — pas de positions) + au plus UNE ligne marquée "hero": true (le mot promu ; "text" pour la forme d'affichage). Schéma : en-tête de scripts/make-cinematic.cjs.
  4. Compiler : node scripts/make-cinematic.cjs <projet> — abaisse les blocs → plan.json → index.html. Généré pour vous : timings séquencés par transcription, accumulation dans le bloc, page-flip entre les blocs, le VERROUILLAGE HÉROÏQUE (le pré-contexte d'un bloc héroïque, le HÉROS et le post-contexte s'empilent comme UNE composition liée centrée sur le sujet — ordre de lecture haut→bas = ordre parlé par construction ; le contexte flotte DEVANT tandis que le héros s'incruste DERRIÈRE = le sandwich de profondeur ; une règle de masse maintient le héros dominant son contexte), la division apex/héroïque mineur, l'ordre de lecture par construction, le repli avant-plan par safe-zones. Ensuite, les portes s'exécutent comme d'habitude. (La rédaction manuelle de plan.json reste possible pour les conceptions que les blocs ne peuvent pas exprimer — puis exécuter fill-timings.cjs + fit-fonts.cjs + make-composition.cjs vous-même.)

Étape 3 — Mode Thème (constitution thématique)

Lire themes/README.md EN PREMIER — registres de paradigme/pièce maîtresse, liens, règles strictes et le schéma exact de theme.json.

  1. Choisir un ADN de thème par registre de contenu (chaque themes/<nom>.json a voice + when). Indiquer votre choix + pourquoi ; l'utilisateur décide.
  2. Rédiger <projet>/theme.json — dna, lines (textuel, ordre de transcription ; 1–5 mots chacun — pour takeover chaque ligne est une CARTE), minors (mots d'emphase), hero:{match} (le mot/expression culminante ; le laisser HORS de lines pour les pièces maîtresses incrustées, le garder DANS pour les pièces maîtresses en ligne et redaction panneau+).
  3. Rendre : bash scripts/render-theme.sh <projet> — compile (porte de complétude textuelle au moment de la compilation), rend les deux couches, composite, applique la réaction de plaque → final_fx.mp4. Utiliser preview-frames.cjs entre la compilation et le rendu pour une QA visuelle.

QA visuelle — aperçu AVANT de rendre

node scripts/preview-frames.cjs <projet> [t…] composite des images d'aperçu fidèles en ~2s chacune (couches de légendes capturées d'écran à l'instant de recherche + image vidéo réelle + occlusion matte + superposition rail = à quoi ressemblera le composite final à ce moment). Échantillons par défaut = chaque fenêtre de groupe/point culminant. Un rendu complet coûte des minutes — ne jamais l'utiliser pour découvrir des problèmes de disposition.

Vérifier les aperçus (<projet>/preview/sheet.png) par rapport à

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-nextjs

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-nextjs

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-nextjs

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-nextjs

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-nextjs

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-nextjs

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

1345AbhishekKumar/starter-nextjs

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-nextjs

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-nextjs

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

1345AbhishekKumar/starter-nextjs

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-nextjs

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-nextjs

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-nextjs

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Skills associés