Communitygithub.com

mengyuyuan/pixel-explainer-workflow

Crie vídeos curtos (Douyin/TikTok/Reels/Shorts) com Claude Code como um animador orientado por código. Use quando quiser um videoclipe musical, MV com letras, animação pixel-art ou flat-cutout, um explicador narrado ou PSA, ou perguntar qual estilo de vídeo o Claude faz bem. Também edita filmagens reais (cortes a partir de transcrições locais, efeitos de congelamento de tempo, legendas com ênfase em palavras, cartões de etapa, remoção de marcas d'água, mosaicos faciais, efeitos populares do Douyin como rastros, introduções congeladas e variações de velocidade). Ele escolhe um estilo pelo que renderiza de forma confiável (pixel e flat cutout primeiro; personagens 2D por transferência de movimento de IA em um driver renderizado por Claude; 3D apenas com ressalvas), escreve letras com tempo para música de IA, constrói personagens pixel a partir de fotos, corta na batida com HyperFrames e verifica a qualidade do MP4 antes de publicar.

O que é pixel-explainer-workflow?

Pixel Explainer Workflow é uma skill para Claude Code que transforma o agente em um estúdio de animação orientado por código, capaz de produzir vídeos curtos para plataformas como TikTok, Reels, Shorts e Douyin. Em vez de gerar pixels como Sora ou Kling, o Claude escreve código (HTML, CSS, GSAP) que desenha cada quadro e o HyperFrames converte para MP4. A skill prioriza estilos que o código pode desenhar de forma confiável: pixel art e animação flat cutout em primeiro lugar, transferência de movimento 2D (com um modelo de vídeo separado retocando os quadros) em segundo, e 3D apenas com modelos prontos de alta qualidade. Ela também edita filmagens reais com recursos como cortes de transcrição, efeitos de congelamento, legendas com ênfase, remoção de marcas d'água, mosaicos faciais e truques populares do Douyin. Para videoclipes com letras, a skill escreve letras com tempo, gera prompts para apps de música AI como Suno, extrai a batida com HyperFrames e corta a animação no ritmo. Inclui scripts para criar sprites pixel a partir de fotos e verificar a qualidade final do MP4. O workflow exige Python 3.9+, ffmpeg, Node 18+ e a skill HyperFrames, mas tudo é verificado e instalado apenas com permissão do usuário.

Funciona com✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/mengyuyuan/pixel-explainer-workflow/tree/HEAD/upstream/claude-video-studio

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Claude Video Studio

A Claude gera vídeos escrevendo código que desenha cada quadro: HTML, CSS e GSAP, renderizados para MP4 pelo HyperFrames. Não gera pixels como Sora, Kling ou Veo. Escolha estilos que o código consegue desenhar bem e seja honesto sobre o resto. Para animação de personagens 2D, combine os dois: o Claude renderiza o movimento e faz todo o trabalho de pós-produção, e um modelo de vídeo redesenha o personagem a cada quadro (seção 5).

0. Pré-requisitos — verifique primeiro, não instale nada sem perguntar

Antes da primeira build, execute python3 scripts/check_env.py [--project <diretório do vídeo>]. Ele usa apenas a biblioteca padrão e não instala nada. Exibe o que cada fluxo de trabalho precisa, o que está faltando, o comando de instalação e o tamanho aproximado em disco. Mostre ao usuário os itens faltantes para o fluxo de trabalho desejado e peça permissão antes de instalar qualquer coisa. Alguns itens são grandes (mediapipe com OpenCV/jax tem cerca de 600 MB, Chrome headless cerca de 400 MB, Blender cerca de 1 GB).

Fluxo de trabalhoNecessidadesInstalação (somente após o usuário concordar)
Pixel / MV plano (núcleo)Python 3.9+, ffmpeg + ffprobe, Node 18+, habilidades HyperFramesbrew install ffmpeg (ou apt) · npx skills add heygen-com/hyperframes -s '*' -a claude-code -y
Sincronização de batida de uma música realHabilidade music-to-video do HyperFrames (seu analyze-beatgrid.py) + librosa, soundfile, numpynpx hyperframes skills update music-to-video (no projeto) · pip install librosa soundfile numpy (~280 MB)
Narração, redublagem (redub.py)edge-tts (+ soundfile para redublagem)pip install edge-tts soundfile (~10 MB; precisa de rede durante a síntese)
Transferência de movimento 2Dnumpy, scipy, Pillow; ffmpeg com libvpx-vp9pip install -r requirements-2d.txt (~150 MB)
Verificações de lábio / íris 2Dmediapipe 0.10.14 (API legada FaceMesh; Python 3.9–3.12)pip install -r requirements-face.txt (~600 MB); mediapipe 1.x não testado
Edição de filmagens reaisnumpy, scipy, Pillow, OpenCV (contrib para o filtro guiado); noisereducepip install -r requirements-edit.txt (~250 MB) · pip install noisereduce
Mosaico facial, recortes de pessoasmediapipe 0.10.14; no macOS os recortes usam o Apple Vision (precisa de swiftc das ferramentas de linha de comando do Xcode, sem download de modelo)pip install -r requirements-face.txt (~600 MB) · xcode-select --install
Transcrição em chinêsFunASR + torch (Python 3.10–3.12)pip install -r requirements-asr.txt (~1 GB; modelos de 1–3 GB do ModelScope na primeira execução)
Vídeos 3D / de driverBlender 4.5 LTSDownload LTS em blender.org (~1 GB)

O que baixa sozinho (informe antes da primeira execução):

  • npx [email protected] … baixa a CLI do HyperFrames do npm no primeiro uso. Fixe a versão para que as re-renderizações permaneçam idênticas. Se a aquisição da habilidade travar durante init, defina HYPERFRAMES_SKIP_SKILLS=1.
  • O primeiro check / snapshot / render baixa o Chrome headless do HyperFrames (cerca de 400 MB) quando não está em cache. npx [email protected] browser ensure faz isso antecipadamente.
  • Nada mais se instala sozinho. Os scripts em scripts/ param com o comando de instalação exato quando um pacote ou ffmpeg está faltando e exibem seu uso com --help.
  • Os scripts da biblioteca padrão não precisam de pacotes: timed_lyrics.py, align_beats.py, pixel_sprite.py e check_env.py.

Carregue /hyperframes para o contrato de autoria principal:

npx --yes [email protected] init my-video

1. Escolha o estilo primeiro

Responda com esta tabela antes de construir qualquer coisa. Não prometa um estilo que vá decepcionar.

EstiloConfiabilidadeTempo típicoUse para
Pixel art (personagens como sprites, UI de jogo)★★★★★MV de 2 min ≈ 1–2 hMVs com letra, histórias pessoais, PSAs, narrativas estilo jogo
Recorte plano / motion graphics (formas, personagens planos, texto cinético)★★★★★1 min ≈ 1,5–2 hRecriações de momentos famosos, lançamentos de produtos, explicadores, dados
Personagem 2D a partir de UMA ilustração, transferência de movimento com IA (Kling "controle de movimento" em um driver renderizado pelo Claude; Veo como alternativa)★★★★driver ≈ 1 h, geração no app do usuário, pós ≈ 0,5 hClipes de dança e rap que mantêm o estilo da ilustração; veja references/2d-motion-transfer.md
Animação de rig 2D de uma ilustração existente (deformação de malha, como Live2D ou Spine)★★20 s ≈ 1–3 h incluindo QA por quadroApenas pequenos loops de inatividade ou fala: as juntas parecem um fantoche na dança; veja references/2d-rig-lessons.md
Personagem 2D desenhado do zero em código★★variaApenas nível de fantoche de recorte de TV. Não é movimento desenhado à mão quadro a quadro
3D realista (three.js ou Blender)★20 s ≈ 10–30+ hSomente com um modelo pronto de alta qualidade; cenas podem ser reais (scans, Poly Haven)

Regras práticas:

  • O realismo de uma pessoa específica em 3D depende quase inteiramente do modelo. Vestir novamente um avatar genérico de jogo nunca se torna aquela pessoa. Diga isso de antemão e ofereça:
    • um modelo de alta qualidade baixado (Sketchfab CC0/CC-BY, MetaHuman, Character Creator);
    • ou um modelo de vídeo de IA para as tomadas humanas, com o Claude fazendo a edição, legendas e empacotamento.
  • Algumas fotos de baixa resolução de uma pessoa → desenhe um personagem pixel a partir delas em vez de usar as fotos diretamente.
  • Aparência de pessoas reais: não crie um sósia fotorrealista de uma pessoa real sem o consentimento real dela. Use uma pessoa fictícia ou gerada por IA, ou um personagem estilizado.

2. Música com uma linha do tempo exata (para MVs com letra)

Os aplicativos de música com IA (Gemini/Lyria, Suno, …) seguem o ritmo muito melhor quando você fornece compasso por compasso.

  1. Escreva a letra como uma linha por compasso. Fixe o andamento: 96 BPM dá 1 compasso = 2,5 s; 120 BPM dá 2,0 s.
  2. python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…" escreve:
    • prompt.txt para colar no aplicativo de música;
    • lyrics.json com início e fim por linha;
    • lyrics.srt.
  3. O usuário gera a música e lhe entrega o MP3.
  4. Execute o analyze-beatgrid.py do HyperFrames nele → audiomap.json. O script acompanha a habilidade music-to-video (npx hyperframes skills update music-to-video) e precisa de librosa, soundfile e numpy; veja a seção 0.
  5. python3 scripts/align_beats.py audiomap.json --bpm 96 mede o deslocamento entre a grade planejada e os tempos fortes reais. Geralmente é de +0,1 a +0,3 s. Cada tempo de letra e corte é então plano + deslocamento.
  6. Se a música gerada for mais curta ou parar cedo, reajuste o final para o áudio real. Nunca estique a música.

3. Pipeline de pixel

  • Personagens.
    • Crie manualmente grades de sprite em Python: scripts/pixel_sprite.py é um escritor de PNG da stdlib com paleta, contorno automático e folhas de pré-visualização.
    • Use 15–25 poses por herói: parado, piscar, falar, andar a/b, pular/agachar, comemorar, triste, apontar, além de ações específicas da história.
    • Desenhe a partir das características da foto: formato e cor do cabelo, óculos, roupa.
  • Rig (seguro para busca).
    • Empilhe um <img> por pose.
    • Uma troca de pose é uma tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t). Dois conjuntos no mesmo instante quebram a busca para trás.
    • Poses ocultas começam com visibility: hidden; opacity: 0.
    • Escale apenas por números inteiros, com image-rendering: pixelated.
  • Estrutura.
    • Divida a música em 6–8 quadros (subcomposições) por seção e deixe os subagentes escrevê-los em paralelo a partir de um kit compartilhado (CSS, rig, HUD) e um WORKER-NOTES.md com as regras rígidas (veja references/hyperframes-gotchas.md).

4. Pipeline de recorte plano / motion graphics

  • Kit. Mantenha todo o desenho em assets/kit.js: personagens como partes SVG/DOM, estádio, chrome da UI. Coloque um arquivo por cena em assets/scene1..N.js e tempos de batida em assets/data.js.
  • Tempo. Acerte a grade de batidas: cada corte, batida e pop de texto cai em beats[i] + offset.
  • Orientado por referência. Quando o usuário envia um vídeo de referência, descreva sua estrutura batida por batida primeiro, depois reconstrua-o em seu próprio estilo de desenho. Não copie ativos.

5. Animação de personagem 2D: transferência de movimento com IA — veja references/2d-motion-transfer.md

Use isso quando o usuário tem uma ilustração e quer que ela dance ou faça rap. Um rig de malha de uma visão frontal parece um fantoche.

  1. Vídeo de driver. Renderize a coreografia com um substituto 3D (modelo e movimento da seção 9): uma pessoa, uma câmera estática, 3–30 s.
    • Uma tomada de corpo inteiro para a dança.
    • Uma tomada da cintura para cima com gestos de letra e uma boca com sincronia labial (MuseTalk no driver).
    • Um fundo limpo: a mesma câmera com o personagem oculto.
  2. Enquadre a ilustração no primeiro quadro do driver. Execute scripts/make_green.py cut.png wide|close … para colocá-la em #00B140.
  3. Ensaie o plano de câmera antes de gastar qualquer crédito. Insira o driver em um substituto com scripts/standin_from_driver.py, depois verifique cada quadro em busca de mãos cortadas e bordas de tomada visíveis.
  4. Entregue o pacote ao usuário (imagens, drivers, prompt, configurações).
    • Kling "controle de movimento", orientação do personagem "consistente com o vídeo", dá 20 s no estilo da própria ilustração.
    • Veo (aplicativo Gemini) é a alternativa sem Kling: 10 s a 720p/24 fps; ele deriva para 3D-toon e a boca não está sincronizada.
  5. Pós-produção.
    • Insira com scripts/key_diff.py (um fosco de diferença de cor; --corner para a marca d'água).
    • Meça o atraso em relação ao driver; Kling estava 2 quadros adiantado.
    • Verifique a boca em relação aos vocais com scripts/lip_sync_check.py.
    • Edite na batida e renderize no fps da filmagem.
  6. Mantenha um gerador por personagem. Kling cel e Veo 3D-toon lado a lado parecem dois desenhos diferentes. Compare rostos entre clipes; scripts/recolor_iris.py corrige a deriva da cor dos olhos.

6. Edição de filmagens reais (edição com IA) — veja references/ai-editing.md

Use isso quando o usuário entrega suas próprias filmagens ("corte meu escorregão, adicione legendas, remova o logotipo, adicione efeitos").

  1. Transcreva localmente. scripts/transcribe_zh.py fornece timestamps por caractere, pausas e candidatos a escorregão (--nano para dialetos). Os cortes vão para um EDL; encaixe-os em quadros inteiros e coloque pequenos dissolves nas junções.
  2. Enquadramento. Mantenha um enquadramento fixo, a menos que movimentos de câmera sejam solicitados.
  3. Congelamento de tempo. scripts/time_freeze.py: a região congelada é a união de todas as poses do sujeito, para que não haja membros fantasmas.
  4. Marcas d'água. scripts/dewatermark.py: uma máscara de traço mínimo temporal mais um transplante de textura.
  5. Gráficos. Faça-os no HyperFrames: legendas sob o falante com destaque de palavras-chave, cartões de etapa mais um rastreador, palavras de impacto, adesivos, um cartão final.
  6. Áudio. noisereduce com uma impressão de ruído tirada das pausas, depois loudnorm a -16 LUFS, mais SFX sintetizados nos tempos de sinalização.
  7. Redublagem (dialeto → mandarim, ou uma voz que não deve ser publicada). scripts/redub.py:
    • uma chamada edge-tts por grupo de frases, a taxa ajustada ao intervalo original;
    • as legendas com tempo reprogramado a partir de eventos WordBoundary;
    • o fundo é ruído ambiente com nível correspondente cortado de pausas sem voz, nunca a voz original;
    • também reescreva palavras de dialeto em adesivos e rótulos.
  8. Privacidade. scripts/face_mosaic.py antes de mostrar pessoas que não concordaram em aparecer.
  9. Máscaras. scripts/person_matte.py escreve máscaras por quadro que os efeitos abaixo usam com --mattes:
    • no macOS usa Apple Vision (sem download de modelo; cabelo e dedos permanecem limpos), em outros lugares MediaPipe;
    • --backend vision-fg também mantém o que a pessoa segura ou monta (um skate);
    • --drop-static remove um mural, um pôster ou um carro estacionado que é detectado como o sujeito;
    • olhe para a folha --preview antes de construir nas máscaras. As máscaras do MediaPipe são muito bloqueadas para recortes.
  10. Edições populares.
    • scripts/echo_trail.py (rastro de dança; passe --mattes);
    • scripts/freeze_intro.py (congelamento de entrada do personagem, que funciona em fotos de grupo; máscaras Vision no macOS);
    • scripts/speed_ramp.py (rampa de velocidade em pontos de batida, com câmera lenta interpolada por fluxo).
  11. Extensões.
    • scripts/clone_squad.py (clone de uma pessoa em grupo): clones ficam ATRÁS do dançarino, dimensionados em relação à linha do horizonte, com deslocamentos ajustados para que nenhum clone seja cortado pela borda do quadro.
    • scripts/pop_out.py (3D sem óculos): barras brancas sobre a cena, o sujeito passa na frente delas. Aumente a rampa do clipe para câmera lenta primeiro.
    • Utilitários que criam demonstrações fracas: scripts/auto_reframe.py (paisagem para retrato) e scripts/time_scan.py (varredura de tempo).
  12. Mostre o resultado em comparação com a fonte. scripts/before_after.py constrói um rolo de filme original → IA:
    • o clipe bruto, legendado e silencioso;
    • um cartão de título;
    • o resultado com seu próprio áudio.
  13. Textos "Manual vs IA". Vá efeito por efeito, cada um na mesma ordem:
    • o original primeiro: scripts/tutorial_reel.py corta um tutorial em "o efeito em velocidade normal, depois a parte de ensino em avanço rápido ao lado de uma lista de etapas";
    • depois uma figura de etapa: uma captura de tela numerada por etapa manual;
    • depois nossa versão com before_after.py.
    • Não coloque todos os tutoriais em uma seção e todos os resultados de IA em outra. Apenas um link não mostra o efeito.
  14. Direitos.
    • Vídeo de outra pessoa: vincule-o por padrão. Incorpore um trecho apenas quando o usuário decidir; então mantenha-o curto, mantenha o crédito fixo (autor, título, direitos autorais), vincule o original e diga nas notas de entrega como trocá-lo por um link.
    • Coloque citações de tutoriais ou comentários entre aspas apenas quando forem literais; verifique-as com a transcrição.
    • Use estoque licenciado (por exemplo, licença gratuita do Mixkit) e a própria música do usuário.

7. Narração e SFX (explicadores / PSAs)

  • Roteiro. Use o roteiro do usuário literalmente; não parafraseie texto médico ou legal.
  • Vozes (edge-tts):
    • narrador zh-CN-YunyangNeural;
    • jovem zh-CN-YunxiNeural;
    • jovem mulher zh-CN-XiaoyiNeural;
    • irmã mais velha zh-CN-XiaoxiaoNeural;
    • médico zh-CN-YunjianNeural.
    • Gere por linha, corte o silêncio, depois coloque cada linha em uma linha do tempo.
  • Tempo. A imagem segue a voz: construa timeline.json a partir das durações reais das linhas, depois anime.
  • SFX. Sintetize SFX de 8 bits com numpy (bipes, passos, batimento cardíaco, rebobinar) e misture-os em uma...

Habilidades Relacionadas