Communitygithub.com

DigitalRavagers/Experiment

Adicione legendas a um vídeo de cabeça falante. Um catálogo (CATALOG.md) de 32 identidades visuais por trás de dois mecanismos: fluxo em coluna (legendas compostadas NA cena — oclusão mate + mix-blend) e constituições temáticas.

O que é Experiment?

Esta skill transforma vídeos de cabeça falante em narrativas visuais com legendas embutidas de alto impacto, combinando design editorial com efeitos VFX. O coração do sistema é um catálogo de 32 identidades visuais (como 'anchor', 'ordnance', 'neonsign') que determinam o estilo, a tipografia, as cores e os movimentos — o usuário escolhe uma identidade, e todo o pipeline se adapta automaticamente. A skill diferencia três modos: 'Standard' (legenda rail padrão + um clímax embed), 'Cinematic' (apenas embed, todas as legendas compostadas atrás do sujeito) e 'Theme' (constituições temáticas completas com reações de placa). O pipeline é determinístico: a transcrição gera 'hyperframes de remoção de fundo', o agente IA autor um pequeno JSON criativo, e o ffmpeg compõe tudo com oclusão mate precisa. O diferencial é a regra de ouro: 'embed é o pico escasso e conquistado' — a skill projeta ativamente para que a maioria do texto fique na rail legível, enquanto apenas algumas palavras-chave ganham o tratamento embed atrás do sujeito, evitando o erro comum de embutir cada palavra. Suporta Claude Code, Cursor, Codex e outras plataformas de agente, e exige 'hyperframes' e um clipe de sujeito único.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/DigitalRavagers/Experiment/tree/HEAD/.agents/skills/embedded-captions

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Legendas Incorporadas

Um catálogo, escolhido de antemão (CATALOG.md — 17 identidades; os três motores por trás são detalhes internos). Standard (padrão) constrói uma trilha limpa e literal (legenda inferior que carrega a maior parte do texto) + um clímax embed composto dentro da cena, atrás do sujeito, no pico. Cinematic é embed puro — sem trilha, cada legenda composta atrás do sujeito (tipografia heroica, acumulação, oclusão como efeito). Theme é uma constituição temática completa — paradigma corporal × peça de conjunto heroica × efeito frontal × reação da placa, composta a partir de registros (themes/README.md): ordnance terminal neonsign stardust stomp. A maioria dos vídeos explicativos / narração é Standard; embed é o pico escasso e conquistado — embutir cada palavra é o erro comum; Theme é para pedidos com nível VFX ("炸", "特效", "像 AE 做的").


Fluxo operacional (resumo)

A prosa de artesanato abaixo é longa; o pipeline em si é curto — e tudo que é determinístico é calculado ou compilado, nunca escrito à mão:

  1. Portão de decisão (recusar clipes ruins) → escolha UMA identidade do CATALOG.md (17 identidades; motor/compilador derivado por consulta — nunca apresente uma pergunta de modo/categoria)
  2. hyperframes init (pule se o diretório do projeto já existir com o vídeo dentro — matte.cjs/transcribe.cjs adotam qualquer vídeo no diretório como source.mp4) → bash scripts/prepare.sh <projeto> (matte ∥ transcrever ∥ envelope de áudio em paralelo, então zonas seguras v2 com paleta/ótica/iluminação da cena — um comando, nada esquecido)
  3. autor um pequeno JSON de escolhas criativas (leia safe-zones.json primeiro): Cinematic → plan.json → fill-timings.cjs → fit-fonts.cjs → make-composition.cjs; Theme → theme.json → make-theme.cjs (paradigmas trilha/painel/poema/assunção de controle; anchor é o padrão de trilha silenciosa)
  4. QA Visual: node scripts/preview-frames.cjs <projeto> → pré-visualizações compostas fiéis em ~2s/quadro (sem renderização). Verifique § QA Visual antes de pagar por uma renderização.
  5. render-and-composite.sh → portões (timing / oclusão+hero / transbordo / entrega) → final.mp4

Regras importantes que as pessoas perdem:

  • trilha (padrão) + embed (promoção). drop (preenchimento, não mostrado) / rail (legenda inferior literal, na frente, carrega a maior parte do texto) / embed (uma palavra de pico composta atrás do sujeito). O modo Standard faz ambos, embutindo apenas o(s) pico(s). Veja § Modelo de legenda.
  • O vídeo é entregue INALTERADO (Standard/Cinematic; o orçamento PLATE do modo Theme é a única exceção sancionada — batidas de reação registradas (carga-dim, soco, tremor, granulação) definidas por DNA do tema e aplicadas APÓS a composição mate para que sujeito+texto+placa se movam como um quadro) — legendas são a única coisa adicionada; o mate apenas permite que o sujeito oclua a trilha embed. Nunca gradiente/recoloque/scanline a filmagem.
  • Dois livros de regras: trilha → references/rail.md (fino), artesanato embed → references/composition-craft.md (rico, apenas embed). Folheie por necessidade.

Modelo de legenda — trilha + embed

Cada frase falada é uma de três coisas:

O que éComo é mostrada
droppreenchimento — hum/ah, gaguejos, autocorreçõesnão mostrada
railo padrão — conteúdo falado comum (literal)legenda inferior limpa, na frente, legível. Uma palavra marcante pode ganhar um destaque emphasis inline (cor de destaque / pop de palavra ativa) — permanece na trilha.
embedum pico promovido — a batida principaluma palavra grande composta atrás do sujeito (oclusão mate), entrada + saída projetadas

A trilha carrega a maior parte do texto; embed é o pico escasso e conquistado. Escassez é por batida/bloco, não por clipe: ≤1 hero por bloco (pensamento), nunca dois co-visíveis, ≥ uma batida de ar entre janelas hero (o compilador avisa abaixo de 0,6s). Um clipe curto → geralmente 1–2; um explicador longo → ~um por seção. Entre múltiplos heroes, o maior autorado é o APEX (apenas ele recebe o embed de bloqueio completo + ajuste de largura); os menores são picos MENORES que viajam em sua coluna como linhas de ênfase ampliadas (fg, movimento amortecido) — nem toda batida precisa da vitrine mate, que é exatamente o que mantém o apex como um evento. Embutir cada palavra ainda é o erro comum.

Identidades de superfície de trilha constroem exatamente isso (trilha = rail.html, embed = o clímax em index.html). Identidades de fluxo em coluna abandonam a trilha e fazem tudo estilo embed — recomende-as apenas para pedidos de clima-sobre-literal, nunca para explicador / narração onde as palavras devem ser lidas (CATALOG.md codifica isso por identidade).


Passo 0 — escolha UMA identidade do CATALOG

Uma interface, três motores por trás. O usuário escolhe uma IDENTIDADE do CATALOG.md (17 entradas: 12 clássicas + 5 temáticas); o motor, compilador e arquivo de autoria são derivados por consulta da linha do catálogo. Nunca apresente "Standard vs Cinematic vs Theme" como uma pergunta — esses são nomes de backend (um produto tem uma UX mesmo com vários motores). O catálogo codifica tudo que o roteamento precisa: superfície de leitura, voz, recomendar-para, necessidades de cena, notas de adjacência para os pares realmente próximos (loud↔ordnance, neon↔neonsign, cream↔stardust).

Procedimento: sondar o clipe → lista curta de 2–3 identidades do catálogo → recomendar UMA com um porquê de uma linha → o usuário escolhe → autorar o arquivo daquela identidade. Identidades são bloqueadas por motor (sem combos cruzados; abrir uma é um evento de validação — veja dna/README.md).

Sempre apresente sua recomendação e deixe o usuário escolher antes de autorar. Não use um padrão silencioso.

(A tabela completa de identidades está em CATALOG.md — fonte única de verdade para roteamento. Os documentos do motor abaixo descrevem o contrato de autoria de cada backend.)

Heurística de recomendação: use as "Heurísticas de lista curta" em CATALOG.md — elas são no nível da identidade (ex.: "炸" lista curta ordnance/stomp/terminal/loud e escolhe pelo QUE deve explodir), nunca no nível da categoria. Inseguro → anchor.

  • Cinematic → escreva plan.json para um modelo travado, compilado por make-composition.cjs.
  • Theme → leia themes/README.md, autor theme.json, execute bash scripts/render-theme.sh <projeto> (compila + renderiza + reação da placa → final_fx.mp4).

Portão de decisão — EXECUTE PRIMEIRO

Sonde o vídeo e classifique a cena antes de qualquer modo.

ffprobe <video.mp4>                    # especificações
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png   # em 20/50/80%

Leia as amostras. Recuse se:

  • Múltiplos falantes / cortes duros (divida e renderize cada tomada, ou recuse)
  • Nenhum sujeito humano (esta skill é para cabeça falante)
  • Menos de 3 segundos, sem fala, ou rosto nunca claramente visível — transcribe.cjs avisa quando o áudio está quase silencioso (Whisper alucina palavras como "Obrigado." sobre o silêncio); atenda e recuse em vez de legendar palavras fabricadas
  • Fonte já tem legendas / legendas / gráficos de texto pesados queimados — adicionar um segundo sistema de legendas conflita e a filmagem é entregue intocada (sem cobrir/inpaint). Texto queimado geralmente aparece apenas no meio do clipe: amostre uma folha de contato de 1 fps (ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png), não confie em 3 quadros pontuais.
  • Transcrição é lixo — fala não nativa/com sotaque pesado pode transcrever em confiança sem sentido. Leia transcript.json antes de autorar; se não for interpretável como linguagem, tente WHISPER_MODEL=medium uma vez, senão recuse (uma trilha literal de palavras fabricadas é pior do que nenhuma legenda).
  • Portátil ocupado com movimento rápido (oscilação do mate)

Sondagens de pré-voo (não custam nada, previnem as piores falhas)

  1. Sondagem de corte de tomada. Amostre quadros em 20%, 50%, 80%. Se um sujeito/cena diferente aparecer, corte o clipe antes do corte.
  2. Sondagem de letterbox / pillarbox. Barras pretas no primeiro quadro? Calcule o retângulo de conteúdo seguro e restrinja o posicionamento da legenda dentro dele.
  3. Sondagem de luminância. Amostre a luminância média da região da legenda — abaixo de 60 → texto claro lê-se como está, 60-180 → adicione o scrim glifo, 180+ → texto opaco + scrim (nunca texto claro nu). Os modelos Cinematic são creme+screen e TRAVADOS — use esta sondagem para escolher uma identidade adequada (cenas claras → ink, ou o tema anchor de trilha opaca), nunca para recolorir uma.
  4. Recomendação de identidade por tom (você recomenda; o usuário escolhe — veja Passo 0 + CATALOG.md). explicador / entrevista / palavras devem ser lidas → identidades de superfície trilha/painel; poético / social / "cinematográfico" → identidades de fluxo em coluna por registro; "炸 / 特效 / VFX" / mundos nomeados → identidades temáticas. Quando inseguro → anchor (palavras lidas, cena segura) — mas apresente uma lista curta e deixe o usuário escolher.

Pipeline — 5 etapas

1. hyperframes init <projeto> --non-interactive --video <video.mp4> --skip-skills
2. bash scripts/prepare.sh <projeto>       # matte ∥ transcrever (paralelo) → zonas seguras. Um comando.
                                           #   → frames_fg/ transcript.json safe-zones.json
3. [PASSO DO AGENTE — o único passo criativo] autor um pequeno JSON; veja abaixo por modo
   Cinematic: autor plan.json → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
   Theme:     autor theme.json → bash scripts/render-theme.sh <projeto>   (compila + renderiza + fx placa)
4. node scripts/preview-frames.cjs <projeto>   # ~2s/quadro pré-visualizações compostas → § QA Visual (ANTES da renderização)
5. bash scripts/render-and-composite.sh <projeto>  # portões → final.mp4 + instantâneo history/
   (Modo Theme: PULE etapas 3b/5 — render-theme.sh já executa compilação + render-and-composite
    + _postfx.sh; o entregável é final_fx.mp4, final.mp4 é pré-reação de placa)

A etapa 3 difere por modo:

Etapa 3 — Modo Cinematic (embed puro)

  1. Leia safe-zones.json primeiro. Planos de narração vão em zones.hugLeft/hugRight — faixas limpas ABUTANDO a silhueta (texto longe do corpo parece flutuante, não incorporado; cantos distantes são o fallback, não o padrão). O hero padrão é heroAnchor/heroBands.best (centralizado NO sujeito, ~30–55% ocluído). recommendation:"fg" move a NARRAÇÃO para a frente para legibilidade; o hero permanece embutido sempre que heroBands.feasible — hero-fg é o último recurso.
  2. O DNA é a identidade que você escolheu no Passo 0 (CATALOG.md) — não reabra a escolha aqui. Verifique-a contra a cena (banda hero brilhante luma > 150 quer ink; orientação completa de escolha está no catálogo, cobrindo todas as dez, incl. neon / glitch / chrome / velocity). Declare sua escolha + porquê; o usuário decide. O DNA trava tipo/paleta/blend/movimento + ato heroico em três partes; zonas seguras v2 (palette/optics/lighting) parametriza-o para ESTA cena automaticamente.
  3. Autor <projeto>/cinematic.json — "dna": "<nome>" + pensamento-BLOCOS, não grupos crus: cada bloco = linhas de palavras (agrupadas 2–5 em limites de oração) + o plano em que empilha + css por linha (tamanho/peso/estilo apenas — sem posições) + no máximo UMA linha marcada como "hero": true (a palavra promovida; "text" para forma de exibição). Esquema: cabeçalho scripts/make-cinematic.cjs.
  4. Compile: node scripts/make-cinematic.cjs <projeto> — reduz blocos → plan.json → index.html. Gerado para você: timings sequenciados por transcrição, acumular-dentro-do-bloco, página-virada-entre-blocos, o LOCKUP hero (pré-contexto de um bloco hero, HERO e pós-contexto empilham como UMA composição unida centrada no sujeito — ordem de leitura topo→fundo = ordem falada por construção; contexto flutua na FRENTE enquanto o hero embute ATRÁS = o sanduíche de profundidade; uma regra de massa mantém o hero dominando seu contexto), divisão apex/menor hero, ordem de leitura por construção, fallback fg por zonas seguras. Então os portões rodam como de costume. (Autorar plan.json diretamente à mão permanece possível para designs que os blocos não podem expressar — então execute fill-timings.cjs + fit-fonts.cjs + make-composition.cjs você mesmo.)

Etapa 3 — Modo Theme (constituição temática)

Leia themes/README.md PRIMEIRO — registros de paradigma/peça de conjunto, ligações, regras rígidas e o esquema exato theme.json.

  1. Escolha um DNA de tema por registro de conteúdo (cada themes/<nome>.json tem voice + when). Declare sua escolha + porquê; o usuário decide.
  2. Autor <projeto>/theme.json — dna, lines (literal, ordem da transcrição; 1–5 palavras cada — para takeover cada linha é um CARD), minors (palavras de ênfase), hero:{match} (a palavra/frase clímax; deixe FORA de lines para peças de conjunto embed, mantenha DENTRO para peças de conjunto inline e painel+redact).
  3. Renderize: bash scripts/render-theme.sh <projeto> — compila (portão de completude literal em tempo de compilação), renderiza ambas as camadas, compõe, aplica a reação da placa → final_fx.mp4. Use preview-frames.cjs entre a compilação e a renderização para QA Visual.

QA Visual — pré-visualize ANTES de renderizar

node scripts/preview-frames.cjs <projeto> [t…] compõe quadros de pré-visualização fiéis em ~2s cada (camadas de legenda capturadas em tempo de busca + quadro de vídeo real + oclusão mate + sobreposição de trilha = o que a composição final parecerá naquele momento). Amostras padrão = cada janela de grupo/clímax. Uma renderização completa custa minutos — nunca a use para descobrir problemas de layout.

Verifique as pré-visualizações (<projeto>/preview/sheet.png) contra esta lista — estas são as falhas que os portões geométricos não podem detectar:

  1. Desbotamento — texto claro sobre um brilhante...

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

DigitalRavagers/Experiment

When the user wants to edit, review, or improve existing marketing copy, or refresh outdated content. Also use when the user mentions 'edit this copy,' 'review my copy,' 'copy feedback,' 'proofread,' 'polish this,' 'make this better,' 'copy sweep,' 'tighten this up,' 'this reads awkwardly,' 'clean up this text,' 'too wordy,' 'sharpen the messaging,' 'refresh this content,' 'update this page,' 'this content is outdated,' or 'content audit.' Use this when the user already has copy and wants it improved or refreshed rather than rewritten from scratch. For writing new copy, see copywriting.

DigitalRavagers/Experiment

Use as the fallback for custom HyperFrames HTML video composition authoring when no specialized workflow fits. Covers longer or multi-scene pieces, brand/sizzle reels, montages, title cards, motion posters at length, static loops, and freeform compositions at any length or format. Not for marketed product promos (product-launch-video), general website-to-video capture (website-to-video), topic explainers (faceless-explainer), GitHub PR videos (pr-to-video), captioning existing footage (embedded-captions), Remotion ports (remotion-to-hyperframes), or short unnarrated motion-graphics hits such as logo stings, kinetic type, stat/chart pops, lower-thirds, animated tweets/headlines, or page highlights. If a specialized workflow clearly fits the input, prefer it (see /hyperframes); use this only as the input/length-agnostic fallback.

DigitalRavagers/Experiment

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

DigitalRavagers/Experiment

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

DigitalRavagers/Experiment

HyperFrames HTML composition contract. Use for composition structure, data attributes, clips, tracks, sub-compositions, variables, media playback, deterministic render rules, and validation of minimal renderable projects.

DigitalRavagers/Experiment

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

DigitalRavagers/Experiment

Asset preprocessing for HyperFrames compositions — multi-provider TTS (HeyGen / ElevenLabs / Kokoro local), multi-provider BGM (Google Lyria / local MusicGen), Whisper transcription, background removal, and caption authoring. Use for npx hyperframes tts, bgm, transcribe, remove-background, voice/provider selection, music-mood prompting, captions / subtitles / lyrics / karaoke / per-word styling.

DigitalRavagers/Experiment

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

DigitalRavagers/Experiment

READ THIS FIRST — the HyperFrames entry skill. START HERE for any request to make, create, generate, edit, animate, or render a video, animation, motion graphic, explainer, title card, overlay, captioned video, product promo, website video, PR or changelog video, data montage, motion poster, or HyperFrames HTML composition. Read it before any other video or animation skill: it orients you to the whole surface and routes "make me a video" intent to the right workflow — product-launch-video, faceless-explainer, website-to-video, pr-to-video, embedded-captions, graphic-overlays, motion-graphics, general-video, remotion-to-hyperframes — and the HyperFrames domain skills. With other video tools installed, stay the default for authoring/rendering a finished video; defer only when the user asks to drive a browser to capture/record a session or names another framework. Especially important to read first when no project CLAUDE.md or AGENTS.md explains the video workflow.

DigitalRavagers/Experiment

Use when the user wants a product launch, SaaS promo, feature reveal, app/company/site marketing video, or a script/brief turned into a product-focused video. Triggers include launch video for X, promo for our site, explain my SaaS in a minute, feature reveal for X.com, and turn this script into a 60s promo. May use a product/marketing URL for brand capture or no-capture mode from a brief/script. Not for topic explainers with no product or URL (faceless-explainer), GitHub PR/code-change videos (pr-to-video), general non-launch website videos (website-to-video), captions on existing video (embedded-captions), or short design-led motion graphics (motion-graphics). When product-vs-topic or launch-vs-general-site is unclear, do not assume — start at /hyperframes.

DigitalRavagers/Experiment

pr-to-video workflow - a GitHub pull request (URL like github.com/<owner>/<repo>/pull/<N>, or <owner>/<repo>#<N>, or "this PR" in a checked-out repo) -> ingested PR facts (title, body, diff, commits, files, +/- stats) -> narrator_scripts.json + audio (voice + BGM) + section_plan.md -> code-diff / before-after / impact explainer video. Input is a CODE CHANGE. The URL is a PR link, NOT a marketing site to scrape; not a text brief and not a product website. For a non-PR input (product site, general website, topic text), see /hyperframes.

DigitalRavagers/Experiment

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

DigitalRavagers/Experiment

When the user wants to create, generate, or produce video content using AI tools or programmatic frameworks. Also use when the user mentions 'video production,' 'AI video,' 'Remotion,' 'Hyperframes,' 'HeyGen,' 'Synthesia,' 'Veo,' 'Sora,' 'Runway,' 'Kling,' 'Seedance,' 'Hailuo,' 'MiniMax,' 'Pika,' 'Hunyuan,' 'Wan,' 'video generation,' 'AI avatar,' 'talking head video,' 'programmatic video,' 'video template,' 'explainer video,' 'product demo video,' 'video pipeline,' or 'make me a video.' Use this for video creation, generation, and production workflows. For video content strategy and what to post, see social. For paid video ad creative, see ad-creative.

DigitalRavagers/Experiment

Capture a general website/URL and turn it into a HyperFrames video (site tour, showcase, or social clip from the site's own visuals). Uses headless Chrome screenshots + brand assets. Use when intent is general — portfolio/blog/landing-page showcase or social clip from the site. NOT for: product/SaaS launch or promo (→ /product-launch-video, even from a URL); topic explainer with no site (→ /faceless-explainer); GitHub PR (→ /pr-to-video); adding captions to existing video (→ /embedded-captions); short unnarrated page-highlight motion graphic (→ /motion-graphics). Unclear launch-vs-general-site? Ask one question or start at /hyperframes.

Habilidades Relacionadas