Vídeo
Este skill é uma camada fina. O trabalho pesado é feito por programas (ffmpeg, Whisper) e pelos skills oficiais HyperFrames da HeyGen; este arquivo contém apenas o roteamento e as regras para vídeos curtos legendados. Leia apenas o skill HyperFrames necessário para a tarefa, não todos.
Primeira execução: configuração para este computador
Funciona apenas no Claude Code (aplicativo desktop, VS Code ou terminal): precisa de programas no computador.
Primeiro leia settings.md ao lado deste arquivo. Se o computador já estiver registrado lá, pule as verificações e use os comandos dele (qual python, caminho do ffmpeg, modelo, --cpu ou não). Se o arquivo estiver vazio ou algo registrado parou de funcionar, execute a configuração abaixo e escreva o resultado lá.
Configuração — uma vez:
| O quê | Verificar | Por quê |
|---|---|---|
| ffmpeg / ffprobe | ffmpeg -version | áudio e quadros do vídeo |
| Python 3.10+ com faster-whisper e yt-dlp | python -c "import faster_whisper, yt_dlp" (no Mac — python3) | transcrição, download de links |
| Node.js | node -v | HyperFrames |
| Skills HyperFrames | o skill hyperframes está na lista de skills | edição, sobreposições, animação |
| GPU NVIDIA (opcional) | nvidia-smi (nome e memória) | transcrição dezenas de vezes mais rápida |
| Um Whisper existente | pip list (faster-whisper, openai-whisper, whisperx), pastas de modelo, pergunte ao usuário | não instalar um segundo |
O próprio Whisper deles. Se o usuário já tiver faster-whisper e modelos baixados, não instale outro: passe o caminho da pasta do modelo para o script com --model <caminho> ou aponte HF_HOME para o cache deles. Se tiverem um Whisper diferente (openai-whisper, whisper.cpp, whisperx), pergunte se deseja mantê-lo. Se sim, transcreva com ele e converta o resultado para o formato do nosso script (words: {"words":[{"text","start","end","type":"word"}]}, flat: a mesma lista de palavras sem o invólucro) — esse é o formato que os skills HyperFrames esperam.
Modelo para a GPU (faster-whisper):
| Computador | Usar |
|---|---|
| NVIDIA com 6 GB+ | large-v3-turbo na GPU (padrão) — melhor qualidade |
| NVIDIA 4 GB | large-v3-turbo com --compute int8_float16, ou --model medium |
| Sem NVIDIA (incl. Mac, AMD, laptops com gráficos integrados) | --cpu, modelo small (rápido) ou large-v3-turbo (mais preciso, várias vezes mais lento) |
Teste em um trecho curto (ffmpeg -t 10) do próprio vídeo do usuário: se a execução na GPU falhar com um erro de CUDA ou memória, instale as bibliotecas abaixo ou use um modelo menor. Mostre a velocidade e qualidade ao usuário e escolham juntos. Para conteúdo apenas em inglês, small.en / medium.en também são opções em máquinas lentas.
Se algo estiver faltando, liste para o usuário o que é e o tamanho, e instale apenas com o consentimento deles. No Windows pergunte qual unidade usar se o C estiver com pouco espaço.
- ffmpeg, Node, Python: Windows —
winget install Gyan.FFmpeg,winget install OpenJS.NodeJS.LTS,winget install Python.Python.3.12; Mac —brew install ffmpeg node python. - Bibliotecas:
python -m pip install faster-whisper yt-dlp. Windows com GPU NVIDIA — tambémpython -m pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*". - Skills HyperFrames:
npx skills add heygen-com/hyperframes --all(github.com/heygen-com/hyperframes, Apache 2.0). - O modelo Whisper (~1,6 GB) é baixado automaticamente na primeira transcrição para o cache do HuggingFace. Outra localização — a variável
HF_HOME. - Se o usuário quiser: desligue a telemetria do HyperFrames com
HYPERFRAMES_NO_TELEMETRY=1eDO_NOT_TRACK=1.
No final da configuração, escreva tudo em settings.md (seguindo o modelo no arquivo): qual python e ffmpeg, GPU, modelo escolhido e flags, onde está o cache do modelo, velocidade no teste. A partir de então execute os comandos nas seções A e B com essas flags.
Nosso script de transcrição é scripts/transcribe.py ao lado deste arquivo. Ele usa a GPU por conta própria e volta para a CPU sem uma. Flags: --model (nome ou caminho para seu próprio modelo), --compute, --cpu, --language.
Não envie relatórios de "feedback" do HyperFrames após a renderização sem perguntar. Execute npx hyperframes skills update apenas com o consentimento do usuário.
A. Assistir e analisar um vídeo
- Obter o arquivo. Pegue o caminho do arquivo como está; nunca modifique o original. Baixe um link para uma pasta temporária:
python -m yt_dlp --no-playlist -o "<pasta>/video.%(ext)s" --print-to-file "%(uploader)s | %(duration)s s | %(like_count)s curtidas | %(comment_count)s comentários | %(description)s" "<pasta>/info.txt" <link>Para YouTube, se apenas o texto for necessário, tente primeiro as legendas:--write-auto-subs --sub-langs en --skip-download. Instagram e canais privados podem exigir login — então peça ao usuário para baixar o arquivo ele mesmo. - Inspecionar o arquivo:
ffprobe -v error -show_entries format=duration:stream=codec_type,width,height -of compact <vídeo>. - Transcrever:
python scripts/transcribe.py <vídeo> --out <pasta>/transcript.txt(texto com timestamps). - Folhas de contato (12 quadros por imagem — economiza tokens):
vertical:
ffmpeg -v error -y -i <vídeo> -vf "fps=1/2,scale=216:-2,tile=6x2:padding=4:color=white" <pasta>/sheet_%02d.jpghorizontal: o mesmo comscale=320:-2,tile=4x3. Para vídeos com mais de 2 minutos —fps=1/5ou1/10. Leia as folhas como imagens. - Responder: autor e números (se houver), o formato do vídeo, a transcrição (ou um resumo se longo), o que está na tela e, separadamente — o que é útil para o usuário. Se o vídeo exagerar, diga honestamente.
B. Fazer um vídeo com HyperFrames
Qual skill usar:
| Tarefa | Skill |
|---|---|
| qualquer vídeo, ponto de partida; quando não souber o que usar | hyperframes (entrada principal, roteia por conta própria) |
| legendas para um vídeo de pessoa falando para a câmera: 1–3 palavras, palavras-chave em cor, karaokê | embedded-captions |
| gráficos sobre um vídeo de cabeça falante: cartões, ícones, inserções "no celular", tela dividida, círculo picture-in-picture | talking-head-recut |
| animação curta sem fala de até ~30 s: introdução, números, logotipo, maquetes de UI, antes → depois | motion-graphics |
| estrutura do vídeo: camadas, quando cada cartão aparece, inserções de vídeo | hyperframes-core |
| como os cartões deslizam, adesivos, "acertos" de palavra em tela cheia, tipo cinético | hyperframes-animation |
| pushes e pulls de câmera, zooms suaves | hyperframes-keyframes |
| música, efeitos sonoros, ícones, processamento de inserções | media-use |
| verificações, renderização para MP4, remoção de fundo (inserções "por trás do ombro") | hyperframes-cli |
| efeitos prontos (glitch, confetes, gráficos), volume da música sob a voz, cores e fontes | hyperframes-registry, hyperframes-audio, hyperframes-creative |
Pelas regras do HyperFrames, o skill hyperframes é lido primeiro; para tarefas simples, seu SKILL.md é suficiente, sem as referências.
Prepare a transcrição com nosso script (timing preciso de palavras, usa a GPU), em vez do hyperframes transcribe embutido:
- para
embedded-captions:python scripts/transcribe.py <vídeo> --out <pasta de trabalho>/transcript.json --format words— o skill pega otranscript.jsonpronto; - para
talking-head-recut: o mesmo com--format flat(um array plano de palavras), pule a etapa de transcrição do skill. Antes de usar, leia a transcrição e corrija erros de reconhecimento (nomes, marcas, termos). Mostre ao usuário a lista de correções em uma linha.
Projeto: pergunte qual pasta usar. Dentro: sources/ (cópias dos arquivos fonte — nunca modifique ou exclua os originais), os arquivos de trabalho do HyperFrames, done/ para os MP4s finais.
Formatos: Reels/Shorts/Stories/TikTok — 1080×1920, 9:16, 30 fps; YouTube — 1920×1080; postagem de feed — 1080×1350.
Legendas e texto na tela
- A fonte deve ter todos os glifos que o texto precisa (acentos, outros alfabetos se o vídeo for multilíngue) — verifique antes de renderizar. Prefira um
.woff2local na pasta do projeto em vez de Google Fonts pela rede. - 2–4 palavras por linha. Não termine uma linha em artigo, preposição ou conjunção (um, uma, o, a, os, as, de, do, da, em, no, na, e, mas) — mova para a próxima palavra.
- Números como dígitos, aspas curvas e apóstrofos, travessões reais.
- CAIXA ALTA apenas para acentos curtos (1–3 palavras), não frases inteiras.
- As legendas não devem cobrir o rosto ou a zona inferior da interface de Reels/TikTok (botões, legenda) — mantenha-se na zona segura. Coloque o gancho no centro do quadro ou ligeiramente abaixo, não na borda superior.
- Se
brand.mdna pasta do skill estiver preenchido (fontes, cores, como acentuar) — use-o. Se estiver vazio, pergunte ao usuário sobre seu estilo uma vez e ofereça salvar a resposta lá.
Antes de dizer "pronto"
Mostre o plano (o quê, onde, qual estilo) antes de uma renderização longa. Após a renderização, corte uma folha de contato do resultado (A4) e olhe você mesmo: o texto é legível, não sai da borda, todos os glifos renderizam, em sincronia com a fala. Só então dê ao usuário o caminho para o arquivo em done/.