Video2dsprite (Apenas Grok Build)
Converta uma imagem base de personagem 2D em sprites de animação densos usando as ferramentas nativas de vídeo do Grok Build.
imagem estática → image_to_video (movimento no lugar) → extrair quadros → chroma key → amostrar/normalizar → tira / grade / GIF
Portão de plataforma (leia primeiro)
| Runtime | Suportado? |
|---|---|
| Grok Build (xAI) | Sim — requer image_gen / image_edit + image_to_video (ou reference_to_video) |
| Codex / Claude / outros agentes | Não — eles não têm as ferramentas de vídeo do Grok. Informe ao usuário que esta skill é exclusiva do Grok Build e ofereça $generate2dsprite como alternativa |
Se image_to_video estiver faltando na lista de ferramentas, pare e explique. Não simule movimento com quadros desenhados por código.
Esta skill é um caminho opcional para movimento mais denso. Ela não substitui $generate2dsprite:
Use $generate2dsprite quando… | Use $video2dsprite quando… |
|---|---|
| Folhas de pixel nítidas, grades fixas, heróis com identidade crítica | O usuário quer poses intermediárias mais densas / loops com sensação mais suave |
| Folhas de corpo de ataque/conjuração, pacotes de props, atlas de engine | Experimentando movimento de corrida/caminhada/parado originado de vídeo |
| Padrão de produção para a maioria dos sprites de jogo | O usuário explicitamente pede vídeo → quadros → sprites |
O vídeo amolece os pixels, desvia a identidade e deixa franjas de chroma. Sempre faça controle de qualidade; para heróis de produção, prefira $generate2dsprite a menos que o usuário queira o visual de vídeo.
Parâmetros
Inferir a partir da solicitação do usuário:
subject: descrição do personagem / criatura, ou caminho para uma imagem estática existenteaction:run|walk|idle|attack| frase de movimento personalizadaview: geralmenteside(plataforma lateral).topdowné mais difícil — avise e mantenha a câmera fixaduration:6(padrão) ou10segundosframe_counts: quais conjuntos mais densos exportar, padrão8,16,24,48cell_size: célula do sprite de saída, padrão128anchor:feet(padrão para locomoção lateral) |centerbg: magenta sólido#FF00FF(obrigatório para chroma)name: slug de saídaout_dir: pasta de trabalho (padrão./sprites/video2dsprite/<name>/ou relativo ao projeto)
Regras do agente
- Apenas Grok. Recuse em runtimes que não sejam Grok com uma breve explicação + alternativa
$generate2dsprite. - Imagem estática → vídeo, nunca apenas texto-para-vídeo. Coloque o quadro 1 como uma imagem estática limpa (
image_genouimage_edita partir de uma referência). Depois chameimage_to_video. - Movimento no lugar. Solicite corrida/caminhada no lugar voltado para uma direção fixa. Sem panorâmica de câmera, sem rolagem de fundo, sem mudança de cena. O sujeito permanece aproximadamente centralizado.
- Fundo magenta sólido na imagem base e preservado no prompt de vídeo (
#FF00FF/ magenta puro). Obrigatório para chroma por preenchimento de inundação. - Não invente arte com PIL/Canvas. A arte base vem de
image_gen/image_editou de uma imagem estática do usuário/local. Scripts apenas pós-processam. - Não coloque saídas experimentais no jogo a menos que o usuário peça para integrar.
- Prefira um ciclo de locomoção para uso em jogo. Amostragem densa em um clipe de múltiplos ciclos de 6s é aceitável para prévias; para folhas de engine, opcionalmente re-amostre um único ciclo (12–16 quadros) após controle de qualidade visual.
- Informe caminhos absolutos do vídeo, quadros limpos, tiras e GIFs de prévia quando terminar.
Fluxo de trabalho
1. Planejar
Escolha a execução útil mais simples:
- Loop de corrida/caminhada em visão lateral → esta skill
- Kit de herói com múltiplas ações → ainda use
$generate2dspritepor ação; use vídeo apenas para locomoção se solicitado - Pacotes de FX / projétil / prop →
$generate2dsprite, não vídeo
Crie:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # conjunto padrão de 8 quadros + mais denso x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. Construir a imagem base estática
Opções:
- A. Sprite existente: abra com ferramentas de imagem / leia imagem, componha sobre
#FF00FFsólido se necessário - B. Novo personagem:
image_gencom fundo magenta sólido, corpo inteiro, visão lateral, centralizado - C. Corresponder à referência:
image_edita partir de referência do usuário sobre magenta, preserve a identidade
Requisitos da base:
- Corpo inteiro visível, margem magenta generosa
- Visão lateral para corrida/caminhada (perfil ou 3/4 lateral), pés próximos ao terço inferior
- Mesmo estilo de arte que o resto do projeto quando houver referência
- Sem texto, UI, marca d'água ou segundo personagem
Salve como <out_dir>/base/<name>-base.png.
Escreva o prompt de imagem exato em prompt-used.txt.
3. Animar com image_to_video
Chame Grok image_to_video:
image: caminho para a imagem base estáticaduration:6(padrão) ou10resolution_name:480pa menos que o usuário peça720pprompt: um pequeno plano em tempo presente (veja references/prompt-rules.md)
Restrições de movimento obrigatórias no prompt:
- O sujeito corre/caminha no lugar (estilo esteira)
- Câmera fixa — sem panorâmica, zoom ou órbita
- Fundo permanece magenta sólido e liso
- Identidade, traje, paleta estáveis durante todo o plano
- Apenas uma ação contínua
Copie o vídeo retornado para <out_dir>/video/<name>-<duration>s.mp4.
Se as ferramentas de vídeo não estiverem disponíveis, pare (portão de plataforma).
4. Extrair + chroma + amostrar (script local)
Execute o processador (ffmpeg + Pillow + numpy):
python skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
Notas:
--fps 0= extrair todos os quadros decodificados (use o fps de origem)- Preenchimento de inundação magenta a partir dos cantos + despill
- Amostragem uniforme para cada contagem em
--frame-counts - Células normalizadas pelos pés, tira horizontal, grade, GIF de loop por contagem
Opcional: re-amostre apenas conjuntos mais densos a partir de quadros limpos existentes:
python skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. Controle de qualidade
Verifique visualmente:
- GIF de prévia faz loop sem grandes pulos
- Magenta removido (sem blocos rosa sólidos); franjas são aceitáveis ou refaça a chave
- Pés permanecem em uma linha de base estável (sem salto de corte ruim)
- Identidade aproximadamente estável (rosto/roupas não estão mudando a cada quadro)
- Ação está no lugar (não deslizando para fora do quadro)
- Para uso em jogo: escolha uma contagem (geralmente 16 ou 24) ou corte um ciclo verdadeiro
Se a identidade desviar muito ou os pixels estiverem muito suaves, recorra a $generate2dsprite para folhas de produção e mantenha o conjunto de vídeo apenas como referência de movimento.
6. Entregar
Informe apenas caminhos (a menos que o usuário peça para integrar em um jogo):
- Vídeo:
video/*.mp4 - Sprites densos:
sprite/x16|x24|x48/ - Tiras / grades / GIFs:
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - Meta:
pipeline-meta.json
Não modifique código do jogo a menos que solicitado.
Padrões
- Duração: 6s
- Ação: corrida lateral no lugar, voltado para a direita
- Contagens de exportação: 8, 16, 24, 48
- Célula: 128², altura do corpo ~100, pés em y≈118
- Fundo: #FF00FF
- Prefira
image_to_videoem vez dereference_to_video(componha múltiplas referências comimage_editprimeiro se necessário)
Compensações (informe o usuário uma vez)
Prós: intermediários mais densos → geralmente parece mais suave do que 4–8 poses discretas geradas.
Contras: pixels mais suaves, desvio de identidade, franja de chroma, clipes de múltiplos ciclos de 6s não são um loop perfeito único, assets mais pesados.
Regra prática: 8→16→24 geralmente ganha suavidade; 48 frequentemente tem retornos decrescentes; 145 quadros brutos são para amostragem, não para todos em tempo de execução.
Recursos
- references/prompt-rules.md — prompts de imagem base estática + vídeo
- references/pipeline.md — layout de pasta, ffmpeg, estratégia de amostragem
- scripts/video2dsprite.py — extrair, chroma, normalizar, exportar
Relação com outras skills
$generate2dsprite— pipeline principal de folhas (Codex + Grok quando existe geração de imagem)$generate2dmap— mapas; não usado aqui$video2dsprite— caminho de densificação de movimento exclusivo do Grok Build