Claude Video Studio
A Claude gera vídeos escrevendo código que desenha cada quadro: HTML, CSS e GSAP, renderizados para MP4 pelo HyperFrames. Não gera pixels como Sora, Kling ou Veo. Escolha estilos que o código consegue desenhar bem e seja honesto sobre o resto. Para animação de personagens 2D, combine os dois: o Claude renderiza o movimento e faz todo o trabalho de pós-produção, e um modelo de vídeo redesenha o personagem a cada quadro (seção 5).
0. Pré-requisitos — verifique primeiro, não instale nada sem perguntar
Antes da primeira build, execute python3 scripts/check_env.py [--project <diretório do vídeo>]. Ele usa apenas a biblioteca padrão e não instala nada. Exibe o que cada fluxo de trabalho precisa, o que está faltando, o comando de instalação e o tamanho aproximado em disco. Mostre ao usuário os itens faltantes para o fluxo de trabalho desejado e peça permissão antes de instalar qualquer coisa. Alguns itens são grandes (mediapipe com OpenCV/jax tem cerca de 600 MB, Chrome headless cerca de 400 MB, Blender cerca de 1 GB).
| Fluxo de trabalho | Necessidades | Instalação (somente após o usuário concordar) |
|---|---|---|
| Pixel / MV plano (núcleo) | Python 3.9+, ffmpeg + ffprobe, Node 18+, habilidades HyperFrames | brew install ffmpeg (ou apt) · npx skills add heygen-com/hyperframes -s '*' -a claude-code -y |
| Sincronização de batida de uma música real | Habilidade music-to-video do HyperFrames (seu analyze-beatgrid.py) + librosa, soundfile, numpy | npx hyperframes skills update music-to-video (no projeto) · pip install librosa soundfile numpy (~280 MB) |
Narração, redublagem (redub.py) | edge-tts (+ soundfile para redublagem) | pip install edge-tts soundfile (~10 MB; precisa de rede durante a síntese) |
| Transferência de movimento 2D | numpy, scipy, Pillow; ffmpeg com libvpx-vp9 | pip install -r requirements-2d.txt (~150 MB) |
| Verificações de lábio / íris 2D | mediapipe 0.10.14 (API legada FaceMesh; Python 3.9–3.12) | pip install -r requirements-face.txt (~600 MB); mediapipe 1.x não testado |
| Edição de filmagens reais | numpy, scipy, Pillow, OpenCV (contrib para o filtro guiado); noisereduce | pip install -r requirements-edit.txt (~250 MB) · pip install noisereduce |
| Mosaico facial, recortes de pessoas | mediapipe 0.10.14; no macOS os recortes usam o Apple Vision (precisa de swiftc das ferramentas de linha de comando do Xcode, sem download de modelo) | pip install -r requirements-face.txt (~600 MB) · xcode-select --install |
| Transcrição em chinês | FunASR + torch (Python 3.10–3.12) | pip install -r requirements-asr.txt (~1 GB; modelos de 1–3 GB do ModelScope na primeira execução) |
| Vídeos 3D / de driver | Blender 4.5 LTS | Download LTS em blender.org (~1 GB) |
O que baixa sozinho (informe antes da primeira execução):
npx [email protected] …baixa a CLI do HyperFrames do npm no primeiro uso. Fixe a versão para que as re-renderizações permaneçam idênticas. Se a aquisição da habilidade travar duranteinit, definaHYPERFRAMES_SKIP_SKILLS=1.- O primeiro
check/snapshot/renderbaixa o Chrome headless do HyperFrames (cerca de 400 MB) quando não está em cache.npx [email protected] browser ensurefaz isso antecipadamente. - Nada mais se instala sozinho. Os scripts em
scripts/param com o comando de instalação exato quando um pacote ou ffmpeg está faltando e exibem seu uso com--help. - Os scripts da biblioteca padrão não precisam de pacotes:
timed_lyrics.py,align_beats.py,pixel_sprite.pyecheck_env.py.
Carregue /hyperframes para o contrato de autoria principal:
npx --yes [email protected] init my-video
1. Escolha o estilo primeiro
Responda com esta tabela antes de construir qualquer coisa. Não prometa um estilo que vá decepcionar.
| Estilo | Confiabilidade | Tempo típico | Use para |
|---|---|---|---|
| Pixel art (personagens como sprites, UI de jogo) | ★★★★★ | MV de 2 min ≈ 1–2 h | MVs com letra, histórias pessoais, PSAs, narrativas estilo jogo |
| Recorte plano / motion graphics (formas, personagens planos, texto cinético) | ★★★★★ | 1 min ≈ 1,5–2 h | Recriações de momentos famosos, lançamentos de produtos, explicadores, dados |
| Personagem 2D a partir de UMA ilustração, transferência de movimento com IA (Kling "controle de movimento" em um driver renderizado pelo Claude; Veo como alternativa) | ★★★★ | driver ≈ 1 h, geração no app do usuário, pós ≈ 0,5 h | Clipes de dança e rap que mantêm o estilo da ilustração; veja references/2d-motion-transfer.md |
| Animação de rig 2D de uma ilustração existente (deformação de malha, como Live2D ou Spine) | ★★ | 20 s ≈ 1–3 h incluindo QA por quadro | Apenas pequenos loops de inatividade ou fala: as juntas parecem um fantoche na dança; veja references/2d-rig-lessons.md |
| Personagem 2D desenhado do zero em código | ★★ | varia | Apenas nível de fantoche de recorte de TV. Não é movimento desenhado à mão quadro a quadro |
| 3D realista (three.js ou Blender) | ★ | 20 s ≈ 10–30+ h | Somente com um modelo pronto de alta qualidade; cenas podem ser reais (scans, Poly Haven) |
Regras práticas:
- O realismo de uma pessoa específica em 3D depende quase inteiramente do modelo. Vestir novamente um avatar genérico de jogo nunca se torna aquela pessoa. Diga isso de antemão e ofereça:
- um modelo de alta qualidade baixado (Sketchfab CC0/CC-BY, MetaHuman, Character Creator);
- ou um modelo de vídeo de IA para as tomadas humanas, com o Claude fazendo a edição, legendas e empacotamento.
- Algumas fotos de baixa resolução de uma pessoa → desenhe um personagem pixel a partir delas em vez de usar as fotos diretamente.
- Aparência de pessoas reais: não crie um sósia fotorrealista de uma pessoa real sem o consentimento real dela. Use uma pessoa fictícia ou gerada por IA, ou um personagem estilizado.
2. Música com uma linha do tempo exata (para MVs com letra)
Os aplicativos de música com IA (Gemini/Lyria, Suno, …) seguem o ritmo muito melhor quando você fornece compasso por compasso.
- Escreva a letra como uma linha por compasso. Fixe o andamento: 96 BPM dá 1 compasso = 2,5 s; 120 BPM dá 2,0 s.
python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…"escreve:prompt.txtpara colar no aplicativo de música;lyrics.jsoncom início e fim por linha;lyrics.srt.
- O usuário gera a música e lhe entrega o MP3.
- Execute o
analyze-beatgrid.pydo HyperFrames nele →audiomap.json. O script acompanha a habilidademusic-to-video(npx hyperframes skills update music-to-video) e precisa de librosa, soundfile e numpy; veja a seção 0. python3 scripts/align_beats.py audiomap.json --bpm 96mede o deslocamento entre a grade planejada e os tempos fortes reais. Geralmente é de +0,1 a +0,3 s. Cada tempo de letra e corte é entãoplano + deslocamento.- Se a música gerada for mais curta ou parar cedo, reajuste o final para o áudio real. Nunca estique a música.
3. Pipeline de pixel
- Personagens.
- Crie manualmente grades de sprite em Python:
scripts/pixel_sprite.pyé um escritor de PNG da stdlib com paleta, contorno automático e folhas de pré-visualização. - Use 15–25 poses por herói: parado, piscar, falar, andar a/b, pular/agachar, comemorar, triste, apontar, além de ações específicas da história.
- Desenhe a partir das características da foto: formato e cor do cabelo, óculos, roupa.
- Crie manualmente grades de sprite em Python:
- Rig (seguro para busca).
- Empilhe um
<img>por pose. - Uma troca de pose é uma
tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t). Dois conjuntos no mesmo instante quebram a busca para trás. - Poses ocultas começam com
visibility: hidden; opacity: 0. - Escale apenas por números inteiros, com
image-rendering: pixelated.
- Empilhe um
- Estrutura.
- Divida a música em 6–8 quadros (subcomposições) por seção e deixe os subagentes escrevê-los em paralelo a partir de um kit compartilhado (CSS, rig, HUD) e um
WORKER-NOTES.mdcom as regras rígidas (vejareferences/hyperframes-gotchas.md).
- Divida a música em 6–8 quadros (subcomposições) por seção e deixe os subagentes escrevê-los em paralelo a partir de um kit compartilhado (CSS, rig, HUD) e um
4. Pipeline de recorte plano / motion graphics
- Kit. Mantenha todo o desenho em
assets/kit.js: personagens como partes SVG/DOM, estádio, chrome da UI. Coloque um arquivo por cena emassets/scene1..N.jse tempos de batida emassets/data.js. - Tempo. Acerte a grade de batidas: cada corte, batida e pop de texto cai em
beats[i] + offset. - Orientado por referência. Quando o usuário envia um vídeo de referência, descreva sua estrutura batida por batida primeiro, depois reconstrua-o em seu próprio estilo de desenho. Não copie ativos.
5. Animação de personagem 2D: transferência de movimento com IA — veja references/2d-motion-transfer.md
Use isso quando o usuário tem uma ilustração e quer que ela dance ou faça rap. Um rig de malha de uma visão frontal parece um fantoche.
- Vídeo de driver. Renderize a coreografia com um substituto 3D (modelo e movimento da seção 9): uma pessoa, uma câmera estática, 3–30 s.
- Uma tomada de corpo inteiro para a dança.
- Uma tomada da cintura para cima com gestos de letra e uma boca com sincronia labial (MuseTalk no driver).
- Um fundo limpo: a mesma câmera com o personagem oculto.
- Enquadre a ilustração no primeiro quadro do driver. Execute
scripts/make_green.py cut.png wide|close …para colocá-la em #00B140. - Ensaie o plano de câmera antes de gastar qualquer crédito. Insira o driver em um substituto com
scripts/standin_from_driver.py, depois verifique cada quadro em busca de mãos cortadas e bordas de tomada visíveis. - Entregue o pacote ao usuário (imagens, drivers, prompt, configurações).
- Kling "controle de movimento", orientação do personagem "consistente com o vídeo", dá 20 s no estilo da própria ilustração.
- Veo (aplicativo Gemini) é a alternativa sem Kling: 10 s a 720p/24 fps; ele deriva para 3D-toon e a boca não está sincronizada.
- Pós-produção.
- Insira com
scripts/key_diff.py(um fosco de diferença de cor;--cornerpara a marca d'água). - Meça o atraso em relação ao driver; Kling estava 2 quadros adiantado.
- Verifique a boca em relação aos vocais com
scripts/lip_sync_check.py. - Edite na batida e renderize no fps da filmagem.
- Insira com
- Mantenha um gerador por personagem. Kling cel e Veo 3D-toon lado a lado parecem dois desenhos diferentes. Compare rostos entre clipes;
scripts/recolor_iris.pycorrige a deriva da cor dos olhos.
6. Edição de filmagens reais (edição com IA) — veja references/ai-editing.md
Use isso quando o usuário entrega suas próprias filmagens ("corte meu escorregão, adicione legendas, remova o logotipo, adicione efeitos").
- Transcreva localmente.
scripts/transcribe_zh.pyfornece timestamps por caractere, pausas e candidatos a escorregão (--nanopara dialetos). Os cortes vão para um EDL; encaixe-os em quadros inteiros e coloque pequenos dissolves nas junções. - Enquadramento. Mantenha um enquadramento fixo, a menos que movimentos de câmera sejam solicitados.
- Congelamento de tempo.
scripts/time_freeze.py: a região congelada é a união de todas as poses do sujeito, para que não haja membros fantasmas. - Marcas d'água.
scripts/dewatermark.py: uma máscara de traço mínimo temporal mais um transplante de textura. - Gráficos. Faça-os no HyperFrames: legendas sob o falante com destaque de palavras-chave, cartões de etapa mais um rastreador, palavras de impacto, adesivos, um cartão final.
- Áudio.
noisereducecom uma impressão de ruído tirada das pausas, depois loudnorm a -16 LUFS, mais SFX sintetizados nos tempos de sinalização. - Redublagem (dialeto → mandarim, ou uma voz que não deve ser publicada).
scripts/redub.py:- uma chamada edge-tts por grupo de frases, a taxa ajustada ao intervalo original;
- as legendas com tempo reprogramado a partir de eventos WordBoundary;
- o fundo é ruído ambiente com nível correspondente cortado de pausas sem voz, nunca a voz original;
- também reescreva palavras de dialeto em adesivos e rótulos.
- Privacidade.
scripts/face_mosaic.pyantes de mostrar pessoas que não concordaram em aparecer. - Máscaras.
scripts/person_matte.pyescreve máscaras por quadro que os efeitos abaixo usam com--mattes:- no macOS usa Apple Vision (sem download de modelo; cabelo e dedos permanecem limpos), em outros lugares MediaPipe;
--backend vision-fgtambém mantém o que a pessoa segura ou monta (um skate);--drop-staticremove um mural, um pôster ou um carro estacionado que é detectado como o sujeito;- olhe para a folha
--previewantes de construir nas máscaras. As máscaras do MediaPipe são muito bloqueadas para recortes.
- Edições populares.
scripts/echo_trail.py(rastro de dança; passe--mattes);scripts/freeze_intro.py(congelamento de entrada do personagem, que funciona em fotos de grupo; máscaras Vision no macOS);scripts/speed_ramp.py(rampa de velocidade em pontos de batida, com câmera lenta interpolada por fluxo).
- Extensões.
scripts/clone_squad.py(clone de uma pessoa em grupo): clones ficam ATRÁS do dançarino, dimensionados em relação à linha do horizonte, com deslocamentos ajustados para que nenhum clone seja cortado pela borda do quadro.scripts/pop_out.py(3D sem óculos): barras brancas sobre a cena, o sujeito passa na frente delas. Aumente a rampa do clipe para câmera lenta primeiro.- Utilitários que criam demonstrações fracas:
scripts/auto_reframe.py(paisagem para retrato) escripts/time_scan.py(varredura de tempo).
- Mostre o resultado em comparação com a fonte.
scripts/before_after.pyconstrói um rolo de filme original → IA:- o clipe bruto, legendado e silencioso;
- um cartão de título;
- o resultado com seu próprio áudio.
- Textos "Manual vs IA". Vá efeito por efeito, cada um na mesma ordem:
- o original primeiro:
scripts/tutorial_reel.pycorta um tutorial em "o efeito em velocidade normal, depois a parte de ensino em avanço rápido ao lado de uma lista de etapas"; - depois uma figura de etapa: uma captura de tela numerada por etapa manual;
- depois nossa versão com
before_after.py. - Não coloque todos os tutoriais em uma seção e todos os resultados de IA em outra. Apenas um link não mostra o efeito.
- o original primeiro:
- Direitos.
- Vídeo de outra pessoa: vincule-o por padrão. Incorpore um trecho apenas quando o usuário decidir; então mantenha-o curto, mantenha o crédito fixo (autor, título, direitos autorais), vincule o original e diga nas notas de entrega como trocá-lo por um link.
- Coloque citações de tutoriais ou comentários entre aspas apenas quando forem literais; verifique-as com a transcrição.
- Use estoque licenciado (por exemplo, licença gratuita do Mixkit) e a própria música do usuário.
7. Narração e SFX (explicadores / PSAs)
- Roteiro. Use o roteiro do usuário literalmente; não parafraseie texto médico ou legal.
- Vozes (edge-tts):
- narrador
zh-CN-YunyangNeural; - jovem
zh-CN-YunxiNeural; - jovem mulher
zh-CN-XiaoyiNeural; - irmã mais velha
zh-CN-XiaoxiaoNeural; - médico
zh-CN-YunjianNeural. - Gere por linha, corte o silêncio, depois coloque cada linha em uma linha do tempo.
- narrador
- Tempo. A imagem segue a voz: construa
timeline.jsona partir das durações reais das linhas, depois anime. - SFX. Sintetize SFX de 8 bits com numpy (bipes, passos, batimento cardíaco, rebobinar) e misture-os em uma...