Communitygithub.com

Embedded Captions — catálogo 32 identidades talking-head

Añade captions a un vídeo talking-head con UN catálogo (CATALOG.md) de 32 identidades visuales. Hardsubs con estilo sin re-editar el corte de imagen.

¿Qué es Embedded Captions — catálogo 32 identidades talking-head?

Launch Video paso 3 (caption/ship): starter-nextjs-embedded-captions. Tras compose y polish Remotion, quema captions de catálogo en el master de lanzamiento.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/1345AbhishekKumar/starter-nextjs/tree/HEAD/.agents/skills/embedded-captions

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Subtítulos incrustados

Un catálogo, elegido al inicio (CATALOG.md — 17 identidades; los tres motores detrás son detalles de backend). Estándar (predeterminado) construye un riel limpio y literal (subtítulo inferior que contiene la mayor parte del texto) + un clímax incrustado compuesto dentro de la escena detrás del sujeto en el pico. Cinematográfico es puramente incrustado — sin riel, cada título compuesto detrás del sujeto (tipografía heroica, acumulación, oclusión como efecto). Tema es una constitución temática completa — paradigma corporal × pieza central heroica × efectos frontales × reacción de placa, compuesta a partir de registros (themes/README.md): ordnance terminal neonsign stardust stomp. La mayoría de los videos explicativos / con voz en off son Estándar; la incrustación es el pico escaso y ganado — incrustar cada palabra es el error común; Tema es para solicitudes de nivel VFX ("炸", "特效", "como hecho en AE").


Flujo operativo (TL;DR)

El texto técnico a continuación es largo; el pipeline en sí es corto — y todo lo determinista se calcula o compila, nunca se escribe a mano:

  1. Puerta de decisión (rechazar clips malos) → elegir UNA identidad de CATALOG.md (17 identidades; motor/compilador derivado por búsqueda — nunca plantear una pregunta de modo/categoría)
  2. hyperframes init (omitirlo si el directorio del proyecto ya existe con el video dentro — matte.cjs/transcribe.cjs adoptan cualquier video en el directorio como source.mp4) → bash scripts/prepare.sh <proyecto> (matte ∥ transcribir ∥ envolvente de audio en paralelo, luego zonas seguras v2 con paleta de escena/óptica/iluminación — un comando, nada olvidado)
  3. redactar un pequeño JSON de elecciones creativas (leer safe-zones.json primero): Cinematográfico → plan.json → fill-timings.cjs → fit-fonts.cjs → make-composition.cjs; Tema → theme.json → make-theme.cjs (paradigmas de riel/panel/poema/toma de control; anchor es el riel silencioso predeterminado)
  4. QA visual: node scripts/preview-frames.cjs <proyecto> → vistas previas compuestas fieles en ~2s/fotograma (sin renderizar). Consultar § QA visual antes de pagar por un render.
  5. render-and-composite.sh → compuertas (sincronización / oclusión+heroico / desbordamiento / entrega) → final.mp4

Reglas importantes que la gente pasa por alto:

  • riel (predeterminado) + incrustación (promoción). drop (relleno, no se muestra) / rail (subtítulo inferior literal, al frente, lleva la mayor parte del texto) / embed (una palabra pico compuesta detrás del sujeto). El modo estándar hace ambas, incrustando solo el(los) pico(s). Ver § Modelo de subtítulos.
  • El video se entrega SIN TOCAR (Estándar/Cinematográfico; el presupuesto de PLACA del modo Tema es la única excepción sancionada — ritmos de reacción con compuerta de registro (carga-difuminado, golpe, sacudida, granulado) definidos por ADN del tema y aplicados DESPUÉS de la composición mate para que sujeto+texto+placa se muevan como un solo fotograma) — los subtítulos son lo único que se añade; el mate solo permite que el sujeto ocluya la pista incrustada. Nunca graduar/recolorear/escandir el metraje.
  • Dos libros de reglas: riel → references/rail.md (delgado), arte de incrustación → references/composition-craft.md (rico, solo incrustación). Leer según necesidad.

Modelo de subtítulos — riel + incrustación

Cada frase hablada es una de tres cosas:

QuéCómo se muestra
droprelleno — um/eh, tartamudeos, autocorreccionesno se muestra
railel predeterminado — contenido hablado ordinario (literal)subtítulo inferior limpio, al frente, legible. Una palabra de impacto puede tener un resaltado emphasis en línea (color de acento / palabra activa) — permanece en el riel.
embedun pico promocionado — el ritmo principaluna palabra grande compuesta detrás del sujeto (oclusión mate), entrada + salida diseñadas

El riel lleva la mayor parte del texto; la incrustación es el pico escaso y ganado. La escasez es por ritmo/bloque, no por clip: ≤1 heroico por bloque (pensamiento), nunca dos visibles a la vez, ≥ un instante de aire entre ventanas heroicas (el compilador advierte por debajo de 0.6s). Un clip corto → generalmente 1–2; un explicativo largo → ~uno por sección. Entre múltiples heroicos, el más grande redactado es el APEX (él solo obtiene el bloqueo de incrustación completo + elevación de ajuste de ancho); los más pequeños son picos MENORES que viajan en su columna como líneas de énfasis sobredimensionadas (fg, movimiento amortiguado) — no todos los ritmos necesitan la exhibición del mate, que es exactamente lo que mantiene el ápice como un evento. Incrustar cada palabra sigue siendo el error común.

Las identidades de superficie de riel construyen exactamente esto (riel = rail.html, incrustación = el clímax en index.html). Las identidades de flujo de columna eliminan el riel y hacen todo al estilo incrustación — recomendarlas solo para solicitudes de ambiente sobre literalidad, nunca para explicativos / voz en off donde las palabras deben leerse (CATALOG.md codifica esto por identidad).


Paso 0 — elegir UNA identidad del CATÁLOGO

Un front-end, tres motores detrás. El usuario elige una IDENTIDAD de CATALOG.md (17 entradas: 12 clásicas + 5 temáticas); el motor, compilador y archivo de redacción se derivan mediante búsqueda desde la fila del catálogo. Nunca plantear "Estándar vs Cinematográfico vs Tema" como una pregunta — esos son nombres de backend (un producto tiene una experiencia de usuario incluso con varios motores). El catálogo codifica todo lo que necesita el enrutamiento: superficie de lectura, voz, recomendación para, necesidades de escena, notas de adyacencia para los pares realmente cercanos (loud↔ordnance, neon↔neonsign, cream↔stardust).

Procedimiento: sondear el clip → preseleccionar 2–3 identidades del catálogo → recomendar UNA con una línea de por qué → el usuario elige → redactar el archivo de esa identidad. Las identidades están bloqueadas por motor (sin combinaciones cruzadas; abrir una es un evento de validación — ver dna/README.md).

Siempre presentar la recomendación y dejar que el usuario elija antes de redactar. No adoptar un valor predeterminado en silencio.

(La tabla completa de identidades vive en CATALOG.md — fuente única de verdad para el enrutamiento. La documentación de los motores a continuación describe el contrato de redacción de cada backend.)

Heurística de recomendación: usar las "Heurísticas de preselección" en CATALOG.md — están a nivel de identidad (ej. "炸" preselecciona ordnance/stomp/terminal/loud y elige QUÉ debe explotar), nunca a nivel de categoría. En caso de duda → anchor.

  • Cinematográfico → escribir plan.json para una plantilla bloqueada, compilada por make-composition.cjs.
  • Tema → leer themes/README.md, redactar theme.json, ejecutar scripts/render-theme.sh (compila + renderiza + reacción de placa → final_fx.mp4).

Puerta de decisión — EJECUTAR PRIMERO

Sondear el video y clasificar la escena antes de cualquier modo.

ffprobe <video.mp4>                    # especificaciones
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png   # al 20/50/80%

Leer las muestras. Rechazar si:

  • Varios hablantes / cortes bruscos (dividir y renderizar cada toma, o rechazar)
  • Sin sujeto humano (esta habilidad es para cabeza parlante)
  • Menos de 3 segundos, sin habla, o la cara nunca claramente visible — transcribe.cjs advierte cuando el audio está casi en silencio (Whisper alucina palabras como "Gracias." sobre silencio); atenderlo y rechazar en lugar de subtitular palabras inventadas
  • La fuente ya tiene subtítulos / títulos de texto gráfico pesado quemados — agregar un segundo sistema de subtítulos crea conflicto y el metraje se entrega sin tocar (sin cubrir/retoque). El texto quemado a menudo aparece solo a mitad del clip: muestrear una hoja de contacto de 1fps (ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png), no confiar en 3 fotogramas puntuales.
  • La transcripción es basura — el habla no nativa/con acento fuerte puede transcribirse como galimatías confiado. Leer críticamente transcript.json antes de redactar; si no se interpreta como lenguaje, intentar WHISPER_MODEL=medium una vez, de lo contrario rechazar (un riel literal de palabras inventadas es peor que sin subtítulos).
  • Cámara en mano movida con movimiento rápido (el mate parpadea)

Sondas previas al vuelo (no cuestan nada, evitan los peores fallos)

  1. Sonda de corte de toma. Muestrear fotogramas al 20%, 50%, 80%. Si aparece un sujeto/escena diferente, recortar el clip antes del corte.
  2. Sonda de buzón/pilar. ¿Barras negras en el primer fotograma? Calcular el rectángulo de contenido seguro y restringir la colocación de subtítulos dentro de él.
  3. Sonda de luminancia. Muestrear la luminancia promedio de la región de subtítulos — under 60 → el texto claro se lee tal cual, 60-180 → agregar la cortina de glifos, 180+ → texto opaco + cortina (nunca texto claro desnudo). Las plantillas cinematográficas son crema+screen y BLOQUEADAS — usar esta sonda para elegir una identidad adecuada (escenas brillantes → ink, o el tema de riel opaco anchor), nunca para recolorizar una.
  4. Recomendación de identidad por tono (tú recomiendas; el usuario elige — ver Paso 0 + CATALOG.md). Explicativo / entrevista / palabras que deben leerse → identidades de superficie de riel/panel; poético / social / "cinematográfico" → identidades de flujo de columna por registro; "炸 / 特效 / VFX" / mundos nombrados → identidades temáticas. Cuando se está inseguro → anchor (las palabras se leen, la escena segura) — pero presentar una preselección y dejar que el usuario elija.

Pipeline — 5 pasos

1. hyperframes init <proyecto> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <proyecto>       # mate ∥ transcribir (paralelo) → zonas seguras. Un comando.
                                           #   → frames_fg/ transcript.json safe-zones.json
3. [PASO DE AGENTE — el único paso creativo] redactar un pequeño JSON; ver abajo según el modo
   Cinematográfico: redactar plan.json → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
   Tema:     redactar theme.json → bash scripts/render-theme.sh <proyecto>   (compila + renderiza + efectos de placa)
4. node scripts/preview-frames.cjs <proyecto>   # ~2s/fotograma vistas previas compuestas → § QA visual (ANTES del render)
5. bash scripts/render-and-composite.sh <proyecto>  # compuertas → final.mp4 + instantánea de history/
   (Modo Tema: SALTAR los pasos 3b/5 — render-theme.sh ya ejecuta compilación + render-and-composite
    + _postfx.sh; el entregable es final_fx.mp4, final.mp4 es antes de la reacción de placa)

El init del paso 1 verifica las habilidades instaladas contra las últimas en GitHub y actualiza el conjunto global si alguna está desactualizada.

El paso 3 difiere según el modo:

Paso 3 — Modo cinematográfico (incrustación pura)

  1. Leer safe-zones.json primero. Los planos de narración van en zones.hugLeft/hugRight — tiras limpias JUNTO a la silueta (el texto lejos del cuerpo se lee como flotante, no incrustado; las esquinas lejanas son el plan de contingencia, no el predeterminado). El heroico predeterminado es heroAnchor/heroBands.best (centrado EN el sujeto, ~30–55% ocluido). recommendation:"fg" mueve la NARRACIÓN al frente para legibilidad; el heroico permanece incrustado siempre que heroBands.feasible — heroico-fg es el último recurso.
  2. El ADN es la identidad que elegiste en el Paso 0 (CATALOG.md) — no reabrir la elección aquí. Verificarlo críticamente contra la escena (luminancia de banda heroica brillante > 150 quiere ink; la guía completa de selección vive en el catálogo, cubriendo las diez incluyendo neon / glitch / chrome / velocity). Indicar la elección + por qué; el usuario decide. El ADN bloquea tipo/paleta/combinación/movimiento + acto heroico en tres fases; las zonas seguras v2 (palette/optics/lighting) lo parametrizan para ESTA escena automáticamente.
  3. Redactar <proyecto>/cinematic.json — "dna": "<nombre>" + BLOQUES de pensamiento, no grupos brutos: cada bloque = líneas de palabras (agrupadas 2–5 en límites de cláusula) + el plano en el que se apila + css por línea (tamaño/peso/estilo solo — sin posiciones) + como máximo UNA línea marcada "hero": true (la palabra promocionada; "text" para la forma mostrada). Esquema: encabezado de scripts/make-cinematic.cjs.
  4. Compilar: node scripts/make-cinematic.cjs <proyecto> — reduce los bloques → plan.json → index.html. Generado para ti: tiempos secuenciados por transcripción, acumulación dentro del bloque, paso de página entre bloques, el BLOQUEO HEROICO (el pre-contexto de un bloque heroico, HEROICO y post-contexto se apilan como UNA composición unida centrada en el sujeto — orden de lectura arriba→abajo = orden hablado por construcción; el contexto flota al FRENTE mientras el heroico se incrusta DETRÁS = el sándwich de profundidad; una regla de masa mantiene el heroico dominando su contexto), división ápice/heroico menor, orden de lectura por construcción, plan de contingencia fg por zonas seguras. Luego las compuertas se ejecutan como de costumbre. (Redactar plan.json a mano sigue siendo posible para diseños que los bloques no pueden expresar — luego ejecutar fill-timings.cjs + fit-fonts.cjs + make-composition.cjs tú mismo.)

Paso 3 — Modo tema (constitución temática)

Leer themes/README.md PRIMERO — registros de paradigma/pieza central, enlaces, reglas estrictas, y el esquema exacto de theme.json.

  1. Elegir un ADN de tema por registro de contenido (cada themes/<nombre>.json tiene voice + when). Indicar la elección + por qué; el usuario decide.
  2. Redactar <proyecto>/theme.json — dna, lines (literal, orden de transcripción; 1–5 palabras cada una — para takeover cada línea es una TARJETA), minors (palabras de énfasis), hero:{match} (la palabra/frase culminante; DEJARLA FUERA de lines para piezas centrales incrustadas, MANTENERLA DENTRO para piezas centrales en línea y panel+redact).
  3. Renderizar: bash scripts/render-theme.sh <proyecto> — compila (compuerta de completitud literal en tiempo de compilación), renderiza ambas capas, compone, aplica la reacción de placa → final_fx.mp4. Usar preview-frames.cjs entre la compilación y el render para QA visual.

QA visual — vista previa ANTES de renderizar

node scripts/preview-frames.cjs <proyecto> [t…] compone fotogramas de vista previa fieles en ~2s cada uno (capas de subtítulos capturadas en el tiempo de búsqueda + fotograma de video real + oclusión mate + superposición de riel = cómo se verá la composición final en ese momento). Las muestras predeterminadas = cada ventana de grupo/clímax. Un render completo cuesta minutos — nunca usarlo para descubrir problemas de diseño.

Verificar las vistas previas (<proyecto>/preview/sheet.png) contra las consideraciones de calidad visual mencionadas en la sección. Si hay algún problema, volver al paso 3 para ajustar el JSON creativo.


Renderizado y compuertas

bash scripts/render-and-composite.sh <proyecto> ejecuta:

  1. Compuerta de sincronización — cada línea de subtítulos tiene su inicio/fin emparejado con la transcripción (el compilador falla si falta una línea)
  2. Compuerta de oclusión + heroico — el bloqueo heroico se compone sobre el mate del sujeto; si el mate falla (sin sujeto → sin oclusión), el render se niega
  3. Compuerta de desbordamiento — el texto que sobresale de los márgenes seguros se reduce o se mueve al riel
  4. Compuerta de entrega — el render se copia a un directorio history/ con una marca de tiempo

El archivo de salida es final.mp4 (o final_fx.mp4 para el modo Tema).


Referencias

Individual skills in this repo

This repo contains 13 individual skills — each has its own dedicated page.

1345AbhishekKumar/starter-nextjs

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

1345AbhishekKumar/starter-nextjs

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

1345AbhishekKumar/starter-nextjs

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

1345AbhishekKumar/starter-nextjs

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1345AbhishekKumar/starter-nextjs

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1345AbhishekKumar/starter-nextjs

Audio and media assets for HyperFrames compositions, produced by one shared audio engine (`scripts/audio.mjs`) — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), background music + sound effects (HeyGen audio-library retrieval by default, with local Lyria / MusicGen BGM generation and a bundled SFX library as the no-credential fallback), Whisper transcription, background removal, and caption authoring. Use for voiceover / TTS, BGM, SFX / sound effects, transcription, captions / subtitles / lyrics / karaoke / per-word styling, voice + provider selection, and music-mood prompting.

1345AbhishekKumar/starter-nextjs

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1345AbhishekKumar/starter-nextjs

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

1345AbhishekKumar/starter-nextjs

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

1345AbhishekKumar/starter-nextjs

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

1345AbhishekKumar/starter-nextjs

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /website-to-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

1345AbhishekKumar/starter-nextjs

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

1345AbhishekKumar/starter-nextjs

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Skills relacionados