Communitygithub.com

Galina-neiro/video-ru

Trabalho com vídeo: assistir e analisar um vídeo ou reel (a partir de um caminho de arquivo ou link do YouTube/TikTok/Instagram/Vimeo), transcrever fala, baixar um clipe e criar legendas, sobreposições gráficas ou animações curtas com HyperFrames.

O que é video-ru?

Este skill é uma camada inteligente que roteia tarefas de vídeo para ferramentas poderosas como ffmpeg, Whisper e os skills oficiais HyperFrames da HeyGen. Ele permite que você assista e analise vídeos de arquivos locais ou links (YouTube, TikTok, Instagram, Vimeo), obtenha transcrições precisas no nível da palavra (usando GPU se disponível) e crie legendas estilizadas, sobreposições gráficas e animações curtas. Suporta principalmente Claude Code (aplicativo desktop, VS Code ou terminal) e depende de programas como ffmpeg, Python com faster-whisper e Node.js. O skill primeiro verifica as dependências, configura o ambiente (incluindo seleção de modelo Whisper para GPU ou CPU) e, em seguida, orienta o usuário na escolha do skill HyperFrames correto para a tarefa (por exemplo, embedded-captions para legendas, talking-head-recut para sobreposições em vídeos de pessoas falando, motion-graphics para animações). Ele também gerencia o formato do transcript, evita reinstalar bibliotecas existentes do usuário e garante que as legendas sigam boas práticas de design (fonte, posicionamento, quebra de linhas).

Funciona com✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/Galina-neiro/video-ru/tree/HEAD/en

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Vídeo

Este skill é uma camada fina. O trabalho pesado é feito por programas (ffmpeg, Whisper) e pelos skills oficiais HyperFrames da HeyGen; este arquivo contém apenas o roteamento e as regras para vídeos curtos legendados. Leia apenas o skill HyperFrames necessário para a tarefa, não todos.

Primeira execução: configuração para este computador

Funciona apenas no Claude Code (aplicativo desktop, VS Code ou terminal): precisa de programas no computador.

Primeiro leia settings.md ao lado deste arquivo. Se o computador já estiver registrado lá, pule as verificações e use os comandos dele (qual python, caminho do ffmpeg, modelo, --cpu ou não). Se o arquivo estiver vazio ou algo registrado parou de funcionar, execute a configuração abaixo e escreva o resultado lá.

Configuração — uma vez:

O quêVerificarPor quê
ffmpeg / ffprobeffmpeg -versionáudio e quadros do vídeo
Python 3.10+ com faster-whisper e yt-dlppython -c "import faster_whisper, yt_dlp" (no Mac — python3)transcrição, download de links
Node.jsnode -vHyperFrames
Skills HyperFrameso skill hyperframes está na lista de skillsedição, sobreposições, animação
GPU NVIDIA (opcional)nvidia-smi (nome e memória)transcrição dezenas de vezes mais rápida
Um Whisper existentepip list (faster-whisper, openai-whisper, whisperx), pastas de modelo, pergunte ao usuárionão instalar um segundo

O próprio Whisper deles. Se o usuário já tiver faster-whisper e modelos baixados, não instale outro: passe o caminho da pasta do modelo para o script com --model <caminho> ou aponte HF_HOME para o cache deles. Se tiverem um Whisper diferente (openai-whisper, whisper.cpp, whisperx), pergunte se deseja mantê-lo. Se sim, transcreva com ele e converta o resultado para o formato do nosso script (words: {"words":[{"text","start","end","type":"word"}]}, flat: a mesma lista de palavras sem o invólucro) — esse é o formato que os skills HyperFrames esperam.

Modelo para a GPU (faster-whisper):

ComputadorUsar
NVIDIA com 6 GB+large-v3-turbo na GPU (padrão) — melhor qualidade
NVIDIA 4 GBlarge-v3-turbo com --compute int8_float16, ou --model medium
Sem NVIDIA (incl. Mac, AMD, laptops com gráficos integrados)--cpu, modelo small (rápido) ou large-v3-turbo (mais preciso, várias vezes mais lento)

Teste em um trecho curto (ffmpeg -t 10) do próprio vídeo do usuário: se a execução na GPU falhar com um erro de CUDA ou memória, instale as bibliotecas abaixo ou use um modelo menor. Mostre a velocidade e qualidade ao usuário e escolham juntos. Para conteúdo apenas em inglês, small.en / medium.en também são opções em máquinas lentas.

Se algo estiver faltando, liste para o usuário o que é e o tamanho, e instale apenas com o consentimento deles. No Windows pergunte qual unidade usar se o C estiver com pouco espaço.

  • ffmpeg, Node, Python: Windows — winget install Gyan.FFmpeg, winget install OpenJS.NodeJS.LTS, winget install Python.Python.3.12; Mac — brew install ffmpeg node python.
  • Bibliotecas: python -m pip install faster-whisper yt-dlp. Windows com GPU NVIDIA — também python -m pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*".
  • Skills HyperFrames: npx skills add heygen-com/hyperframes --all (github.com/heygen-com/hyperframes, Apache 2.0).
  • O modelo Whisper (~1,6 GB) é baixado automaticamente na primeira transcrição para o cache do HuggingFace. Outra localização — a variável HF_HOME.
  • Se o usuário quiser: desligue a telemetria do HyperFrames com HYPERFRAMES_NO_TELEMETRY=1 e DO_NOT_TRACK=1.

No final da configuração, escreva tudo em settings.md (seguindo o modelo no arquivo): qual python e ffmpeg, GPU, modelo escolhido e flags, onde está o cache do modelo, velocidade no teste. A partir de então execute os comandos nas seções A e B com essas flags.

Nosso script de transcrição é scripts/transcribe.py ao lado deste arquivo. Ele usa a GPU por conta própria e volta para a CPU sem uma. Flags: --model (nome ou caminho para seu próprio modelo), --compute, --cpu, --language.

Não envie relatórios de "feedback" do HyperFrames após a renderização sem perguntar. Execute npx hyperframes skills update apenas com o consentimento do usuário.

A. Assistir e analisar um vídeo

  1. Obter o arquivo. Pegue o caminho do arquivo como está; nunca modifique o original. Baixe um link para uma pasta temporária: python -m yt_dlp --no-playlist -o "<pasta>/video.%(ext)s" --print-to-file "%(uploader)s | %(duration)s s | %(like_count)s curtidas | %(comment_count)s comentários | %(description)s" "<pasta>/info.txt" <link> Para YouTube, se apenas o texto for necessário, tente primeiro as legendas: --write-auto-subs --sub-langs en --skip-download. Instagram e canais privados podem exigir login — então peça ao usuário para baixar o arquivo ele mesmo.
  2. Inspecionar o arquivo: ffprobe -v error -show_entries format=duration:stream=codec_type,width,height -of compact <vídeo>.
  3. Transcrever: python scripts/transcribe.py <vídeo> --out <pasta>/transcript.txt (texto com timestamps).
  4. Folhas de contato (12 quadros por imagem — economiza tokens): vertical: ffmpeg -v error -y -i <vídeo> -vf "fps=1/2,scale=216:-2,tile=6x2:padding=4:color=white" <pasta>/sheet_%02d.jpg horizontal: o mesmo com scale=320:-2,tile=4x3. Para vídeos com mais de 2 minutos — fps=1/5 ou 1/10. Leia as folhas como imagens.
  5. Responder: autor e números (se houver), o formato do vídeo, a transcrição (ou um resumo se longo), o que está na tela e, separadamente — o que é útil para o usuário. Se o vídeo exagerar, diga honestamente.

B. Fazer um vídeo com HyperFrames

Qual skill usar:

TarefaSkill
qualquer vídeo, ponto de partida; quando não souber o que usarhyperframes (entrada principal, roteia por conta própria)
legendas para um vídeo de pessoa falando para a câmera: 1–3 palavras, palavras-chave em cor, karaokêembedded-captions
gráficos sobre um vídeo de cabeça falante: cartões, ícones, inserções "no celular", tela dividida, círculo picture-in-picturetalking-head-recut
animação curta sem fala de até ~30 s: introdução, números, logotipo, maquetes de UI, antes → depoismotion-graphics
estrutura do vídeo: camadas, quando cada cartão aparece, inserções de vídeohyperframes-core
como os cartões deslizam, adesivos, "acertos" de palavra em tela cheia, tipo cinéticohyperframes-animation
pushes e pulls de câmera, zooms suaveshyperframes-keyframes
música, efeitos sonoros, ícones, processamento de inserçõesmedia-use
verificações, renderização para MP4, remoção de fundo (inserções "por trás do ombro")hyperframes-cli
efeitos prontos (glitch, confetes, gráficos), volume da música sob a voz, cores e fonteshyperframes-registry, hyperframes-audio, hyperframes-creative

Pelas regras do HyperFrames, o skill hyperframes é lido primeiro; para tarefas simples, seu SKILL.md é suficiente, sem as referências.

Prepare a transcrição com nosso script (timing preciso de palavras, usa a GPU), em vez do hyperframes transcribe embutido:

  • para embedded-captions: python scripts/transcribe.py <vídeo> --out <pasta de trabalho>/transcript.json --format words — o skill pega o transcript.json pronto;
  • para talking-head-recut: o mesmo com --format flat (um array plano de palavras), pule a etapa de transcrição do skill. Antes de usar, leia a transcrição e corrija erros de reconhecimento (nomes, marcas, termos). Mostre ao usuário a lista de correções em uma linha.

Projeto: pergunte qual pasta usar. Dentro: sources/ (cópias dos arquivos fonte — nunca modifique ou exclua os originais), os arquivos de trabalho do HyperFrames, done/ para os MP4s finais.

Formatos: Reels/Shorts/Stories/TikTok — 1080×1920, 9:16, 30 fps; YouTube — 1920×1080; postagem de feed — 1080×1350.

Legendas e texto na tela

  • A fonte deve ter todos os glifos que o texto precisa (acentos, outros alfabetos se o vídeo for multilíngue) — verifique antes de renderizar. Prefira um .woff2 local na pasta do projeto em vez de Google Fonts pela rede.
  • 2–4 palavras por linha. Não termine uma linha em artigo, preposição ou conjunção (um, uma, o, a, os, as, de, do, da, em, no, na, e, mas) — mova para a próxima palavra.
  • Números como dígitos, aspas curvas e apóstrofos, travessões reais.
  • CAIXA ALTA apenas para acentos curtos (1–3 palavras), não frases inteiras.
  • As legendas não devem cobrir o rosto ou a zona inferior da interface de Reels/TikTok (botões, legenda) — mantenha-se na zona segura. Coloque o gancho no centro do quadro ou ligeiramente abaixo, não na borda superior.
  • Se brand.md na pasta do skill estiver preenchido (fontes, cores, como acentuar) — use-o. Se estiver vazio, pergunte ao usuário sobre seu estilo uma vez e ofereça salvar a resposta lá.

Antes de dizer "pronto"

Mostre o plano (o quê, onde, qual estilo) antes de uma renderização longa. Após a renderização, corte uma folha de contato do resultado (A4) e olhe você mesmo: o texto é legível, não sai da borda, todos os glifos renderizam, em sincronia com a fala. Só então dê ao usuário o caminho para o arquivo em done/.

Habilidades Relacionadas