Video2dsprite (solo para Grok Build)
Convierte una imagen de personaje 2D base en sprites de animación densos usando las herramientas nativas de video de Grok Build.
Entorno de App-builder / Grok
| Elemento | Valor |
|---|---|
| Directorio del skill | .grok/skills/video2dsprite/ |
| Scripts | python3 .grok/skills/video2dsprite/scripts/video2dsprite.py … |
| Herramientas de video | imagine_image_to_video — animar una file_path base (verificar que exista) |
| Inspeccionar | read_file sobre imágenes fijas/fotogramas; reportar rutas de videos |
| Dependencias | ffmpeg + Pillow + numpy (preinstalados en la imagen de app-builder) |
| Directorio de salida | assets/sprites/video2dsprite/<nombre>/ en /workspace |
| Por defecto | Prefiere generate2dsprite para héroes de producción; este es el camino de movimiento más denso |
imagen base → imagine_image_to_video (movimiento en el lugar) → extraer fotogramas → croma clave → muestrear/normalizar → tira / rejilla / GIF
Restricción de plataforma (leer primero)
| Entorno de ejecución | ¿Soportado? |
|---|---|
| Grok Build (xAI) | Sí — requiere un generador de imágenes + una herramienta imagen→video |
| Codex / Claude / otros agentes | No — carecen de las herramientas de video de Grok. Indica al usuario que este skill es solo para Grok Build y ofrece $generate2dsprite como alternativa |
Evalúa por capacidad, no por el nombre exacto de la herramienta. La generación de imágenes aparece como imagine_text_to_image / imagine_image_to_image; el video como imagine_image_to_video o (heredado) generate_video. Usa el par que tenga tu lista de herramientas. Detente y explica solo cuando no tengas ninguna herramienta imagen→video. No simules movimiento con fotogramas dibujados por código.
Este skill es un camino opcional de movimiento más denso. No reemplaza $generate2dsprite:
Usa $generate2dsprite cuando… | Usa $video2dsprite cuando… |
|---|---|
| Hojas de píxeles nítidas, rejillas fijas, héroes con identidad crítica | El usuario desea poses intermedias más densas / bucles con sensación más suave |
| Hojas de cuerpo para ataque/lanzamiento, paquetes de props, atlas de motor | Experimentar con movimiento corrido/caminado/quieto obtenido de video |
| Predeterminado de producción para la mayoría de sprites de juegos | El usuario pide explícitamente video → fotogramas → sprites |
El video suaviza los píxeles, desvía la identidad y deja bordes de croma. Siempre realiza control de calidad; para héroes de producción, prefiere $generate2dsprite a menos que el usuario quiera el aspecto de video.
Parámetros
Deducir de la solicitud del usuario:
subject: descripción del personaje / criatura, o ruta a una imagen fija existenteaction:run|walk|idle|attack| frase de movimiento personalizadaview: normalmenteside(desplazamiento lateral).topdownes más difícil: advierte y mantén la cámara fijaduration:6(predeterminado) o10segundosframe_counts: qué conjuntos densos exportar, predeterminado8,16,24,48cell_size: tamaño de celda del sprite de salida, predeterminado128anchor:feet(predeterminado para locomoción lateral) |centerbg:#FF00FFsólido (requerido para croma)name: slug de salidaout_dir: carpeta de trabajo (predeterminado./sprites/video2dsprite/<nombre>/o relativo al proyecto)
Reglas del agente
- Solo Grok. Rechazar en entornos de ejecución que no sean Grok con una breve explicación + alternativa
$generate2dsprite. - Imagen fija → video, nunca texto a video solo. Preparar el fotograma 1 como una imagen fija limpia con
imagine_text_to_image(desde un prompt, o desde unafile_pathde referencia). Luego llamar aimagine_image_to_videocon esafile_pathde la imagen fija. - Movimiento en el lugar. Indicar en el prompt correr/caminar en el lugar mirando en una dirección fija. Sin panorámica de cámara, sin desplazamiento de fondo, sin cambio de escena. El sujeto permanece aproximadamente centrado.
- Fondo magenta sólido en la imagen base y conservado en el prompt de video (
#FF00FF/ magenta puro). Requerido para el croma de relleno por inundación. - No inventar arte con PIL/Canvas. El arte base proviene de
imagine_text_to_imageo de una imagen fija del usuario/local. Los scripts solo hacen postprocesado. - No colocar salidas experimentales en el juego a menos que el usuario pida integrarlas.
- Preferir un ciclo de locomoción para uso en juego. El muestreo denso en un clip de 6s con múltiples ciclos está bien para vistas previas; para hojas de motor, opcionalmente remuestrear un solo ciclo (12–16 fotogramas) después del control visual de calidad.
- Reportar rutas absolutas del video, fotogramas limpios, tiras y GIFs de vista previa al finalizar.
Flujo de trabajo
1. Planificar
Elegir el conjunto mínimo útil:
- Bucle de corrida/caminata en vista lateral → este skill
- Kit de héroe con múltiples acciones → aún usar
$generate2dspritepor acción; usar video solo para locomoción si se solicita - Paquetes de FX / proyectiles / props →
$generate2dsprite, no video
Crear:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # conjunto predeterminado de 8 fotogramas + más denso x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. Construir la imagen fija base
Opciones:
- A. Sprite existente: leer la imagen, componer sobre fondo
#FF00FFsólido si es necesario, luego pasar esa ruta del sandbox aimagine_image_to_image/imagine_image_to_video - B. Nuevo personaje:
imagine_text_to_imagecon fondo magenta sólido, cuerpo completo, vista lateral, centrado - C. Coincidir referencia:
imagine_image_to_imagecon lafile_pathde referencia, moviéndolo a magenta y preservando la identidad
Requisitos base:
- Cuerpo completo visible, margen magenta generoso
- Vista lateral para correr/caminar (perfil o 3/4 lateral), pies cerca del tercio inferior
- Mismo estilo artístico que el resto del proyecto cuando exista una referencia
- Sin texto, interfaz de usuario, marca de agua ni segundo personaje
Copiar la file_path devuelta y guardar como
<out_dir>/base/<nombre>-base.png; conservar la file_path base para la llamada de video.
Escribir el prompt exacto de la imagen en prompt-used.txt.
3. Animar con imagine_image_to_video
Llamar a Grok imagine_image_to_video:
- ruta de origen:
<file_path de la imagen fija base>(ruta del sandbox devuelta por T2I / I2I) duration:6(predeterminado) o10resolution_name:480pa menos que el usuario pida720pprompt: un plano corto en presente (ver references/prompt-rules.md)
Restricciones de movimiento obligatorias en el prompt:
- El sujeto corre/camina en el lugar (estilo cinta de correr)
- Cámara fija — sin panorámica, zoom ni órbita
- El fondo permanece magenta sólido plano
- Identidad, vestimenta, paleta estables para todo el plano
- Solo una acción continua única
Copiar la file_path del video devuelto a
<out_dir>/video/<nombre>-<duración>s.mp4.
Si las herramientas de video no están disponibles, detenerse (restricción de plataforma).
4. Extraer + croma + muestrear (script local)
Ejecutar el procesador (ffmpeg + Pillow + numpy):
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<nombre>-6s.mp4 \
--out-dir <out_dir> \
--name <nombre> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
Notas:
--fps 0= extraer cada fotograma decodificado (usar fps de origen)- Relleno por inundación magenta desde las esquinas + despill
- Muestreo uniforme para cada cantidad en
--frame-counts - Celdas normalizadas por pies, tira horizontal, rejilla, GIF de bucle por cantidad
Opcional: solo remuestrear conjuntos más densos desde fotogramas limpios existentes:
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. Control de calidad
Verificar visualmente:
- Los GIFs de vista previa en bucle no tienen saltos grandes
- El magenta ha desaparecido (sin bloques rosas sólidos); se aceptan bordes o rehacer croma
- Los pies se mantienen en una línea base estable (sin saltos por mal recorte)
- La identidad es aproximadamente estable (cara/ropa no se transforman en cada fotograma)
- La acción es en el lugar (no se desliza fuera del fotograma)
- Para uso en juego: elegir una cantidad (a menudo 16 o 24) o recortar un ciclo verdadero
Si la identidad se desvía mucho o los píxeles son demasiado suaves, recurrir a $generate2dsprite para hojas de producción y conservar el conjunto de video solo como referencia de movimiento.
6. Entregar
Reportar solo las rutas (a menos que el usuario pida integrar en un juego):
- Video:
video/*.mp4 - Sprites densos:
sprite/x16|x24|x48/ - Tiras / rejillas / GIFs:
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - Meta:
pipeline-meta.json
No modificar el código del juego a menos que se solicite.
Valores predeterminados
- Duración: 6s
- Acción: correr en el lugar en vista lateral, mirando a la derecha
- Cantidades de exportación: 8, 16, 24, 48
- Celda: 128², altura del cuerpo ~100, pies en y≈118
- Fondo: #FF00FF
- Preferir
imagine_image_to_videode un solo activo sobre múltiples referencias (componer múltiples referencias conimagine_text_to_imageprimero si es necesario)
Compensaciones (informar al usuario una vez)
Ventajas: intermedios más densos → a menudo se siente más suave que 4–8 poses generadas discretas. Desventajas: píxeles más suaves, deriva de identidad, bordes de croma, clips de 6s con múltiples ciclos no son un solo bucle perfecto, activos más pesados. Regla general: 8→16→24 generalmente gana suavidad; 48 a menudo tiene rendimientos decrecientes; 145 fotogramas brutos son para muestrear, no todos para tiempo de ejecución.
Recursos
- references/prompt-rules.md — prompts de imagen fija base + video
- references/pipeline.md — estructura de carpetas, ffmpeg, estrategia de muestreo
- scripts/video2dsprite.py — extraer, croma, normalizar, exportar
Relación con otros skills
$generate2dsprite— pipeline principal de hojas (Codex + Grok cuando existe generación de imágenes)$generate2dmap— mapas; no se usa aquí$video2dsprite— exclusivo de Grok Build ruta de densificación de movimiento$game-asset-core/$game-animation-frames— bucles/prueba de volteo/leyes de movimiento y valores predeterminados listos para motor; aún usar los scripts de este skill para ejecución en sandbox (base magenta + croma), no un color de fondo libre