¿Qué hace Video2dsprite (solo Grok Build)?
Convierte una imagen base de personaje 2D en sprites de animación densos usando las herramientas de video nativas de Grok Build.
imagen base → image_to_video (movimiento en el lugar) → extraer fotogramas → croma clave → muestrear/normalizar → tira / cuadrícula / GIF
Puerta de plataforma (léase primero)
| Tiempo de ejecución | ¿Soportado? |
|---|---|
| Grok Build (xAI) | Sí — requiere image_gen / image_edit + image_to_video (o reference_to_video) |
| Codex / Claude / otros agentes | No — carecen de las herramientas de video de Grok. Dile al usuario que esta habilidad es solo para Grok Build y ofrécele $generate2dsprite en su lugar |
Si image_to_video no está en la lista de herramientas, detente y explica. No finjas movimiento con fotogramas dibujados por código.
Esta habilidad es una ruta opcional de movimiento más denso. No reemplaza a $generate2dsprite:
Usa $generate2dsprite cuando… | Usa $video2dsprite cuando… |
|---|---|
| Hojas de píxeles nítidas, cuadrículas fijas, héroes con identidad crítica | El usuario desea poses intermedias más densas / bucles de sensación más suave |
| Hojas de cuerpo de ataque/hechizo, paquetes de accesorios, atlas de motores | Experimentar con movimiento de carrera/caminata/quieto obtenido de video |
| Valor predeterminado de producción para la mayoría de los sprites de juegos | El usuario pide explícitamente video → fotogramas → sprites |
El video suaviza los píxeles, desvía la identidad y deja residuos de croma. Siempre haz control de calidad; para héroes de producción, prefiere $generate2dsprite a menos que el usuario quiera el aspecto de video.
Parámetros
Infier a partir de la solicitud del usuario:
subject: descripción del personaje / criatura, o ruta a una imagen estática existenteaction:run|walk|idle|attack| frase de movimiento personalizadaview: normalmenteside(desplazamiento lateral).topdownes más difícil — advierte y mantén la cámara fijaduration:6(predeterminado) o10segundosframe_counts: qué conjuntos más densos exportar, predeterminado8,16,24,48cell_size: celda de sprite de salida, predeterminado128anchor:feet(predeterminado para locomoción lateral) |centerbg: magenta sólido#FF00FF(requerido para croma)name: slug de salidaout_dir: carpeta de trabajo (predeterminado./sprites/video2dsprite/<name>/o relativa al proyecto)
Reglas del agente
- Solo Grok. Rechaza en tiempos de ejecución que no sean Grok con una breve explicación + la alternativa
$generate2dsprite. - Imagen estática → video, nunca solo texto a video. Prepara el fotograma 1 como una imagen estática limpia (
image_genoimage_edita partir de una referencia). Luego llama aimage_to_video. - Movimiento en el lugar. Indica carrera/caminata en el lugar mirando en una dirección fija. Sin paneo de cámara, sin desplazamiento de fondo, sin cambio de escena. El sujeto permanece aproximadamente centrado.
- Fondo magenta sólido en la imagen base y conservado en el prompt del video (
#FF00FF/ magenta puro). Requerido para el croma de relleno por inundación. - No inventes arte con PIL/Canvas. El arte base proviene de
image_gen/image_edito de una imagen estática del usuario/local. Los scripts solo postprocesan. - No pongas salidas experimentales en el juego a menos que el usuario pida integrarlas.
- Prefiere un ciclo de locomoción para uso en juegos. El muestreo denso en un clip completo de 6 s con múltiples ciclos está bien para vistas previas; para hojas de motor, opcionalmente vuelve a muestrear un solo ciclo (12–16 fotogramas) después del control de calidad visual.
- Reporta las rutas absolutas del video, fotogramas limpios, tiras y GIFs de vista previa al terminar.
Flujo de trabajo
1. Planificar
Elige la ejecución más pequeña útil:
- Bucle de carrera/caminata en vista lateral → esta habilidad
- Kit de héroe con múltiples acciones → sigue usando
$generate2dspritepor acción; solo usa video para locomoción si se solicita - Paquetes de efectos / proyectiles / accesorios →
$generate2dsprite, no video
Crea:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # conjunto predeterminado de 8 fotogramas + densos x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. Construir la imagen base
Opciones:
- A. Sprite existente: abre con herramientas de imagen / lee imagen, compón sobre
#FF00FFsólido si es necesario - B. Nuevo personaje:
image_gencon fondo magenta sólido, cuerpo completo, vista lateral, centrado - C. Coincidir con referencia:
image_edita partir de la referencia del usuario sobre magenta, conserva la identidad
Requisitos de la imagen base:
- Cuerpo completo visible, margen magenta generoso
- Vista lateral para carrera/caminata (perfil o 3/4 lateral), pies cerca del tercio inferior
- Mismo estilo artístico que el resto del proyecto cuando exista una referencia
- Sin texto, interfaz de usuario, marca de agua ni segundo personaje
Guarda como <out_dir>/base/<name>-base.png.
Escribe el prompt exacto de la imagen en prompt-used.txt.
3. Animar con image_to_video
Llama a image_to_video de Grok:
image: ruta a la imagen baseduration:6(predeterminado) o10resolution_name:480pa menos que el usuario pida720pprompt: un plano corto en tiempo presente (consulta references/prompt-rules.md)
Restricciones de movimiento obligatorias en el prompt:
- El sujeto corre/camina en el lugar (estilo cinta de correr)
- Cámara fija — sin paneo, zoom ni órbita
- El fondo permanece magenta plano sólido
- Identidad, vestuario, paleta estables durante todo el plano
- Solo una acción continua
Copia el video devuelto a <out_dir>/video/<name>-<duration>s.mp4.
Si las herramientas de video no están disponibles, detente (puerta de plataforma).
4. Extraer + croma + muestrear (script local)
Ejecuta el procesador (ffmpeg + Pillow + numpy):
python skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
Notas:
--fps 0= extraer cada fotograma decodificado (usa la FPS de origen)- Relleno por inundación magenta desde las esquinas + eliminación de residuos
- Muestreo uniforme para cada cantidad en
--frame-counts - Celdas normalizadas por pies, tira horizontal, cuadrícula, GIF de bucle por cantidad
Opcional: vuelve a muestrear solo conjuntos más densos a partir de fotogramas limpios existentes:
python skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. Control de calidad
Verifica visualmente:
- Los GIFs de vista previa hacen bucle sin grandes saltos
- El magenta ha desaparecido (sin bloques rosa sólidos); franja aceptable o reaplicar clave
- Los pies se mantienen en una línea base estable (sin saltos por recorte incorrecto)
- La identidad es aproximadamente estable (cara/ropa no mutan en cada fotograma)
- La acción es en el lugar (no se desliza fuera del fotograma)
- Para uso en juegos: elige una cantidad (a menudo 16 o 24) o corta un ciclo verdadero
Si la identidad se desvía mucho o los píxeles están demasiado suaves, recurre a $generate2dsprite para hojas de producción y conserva el conjunto de video solo como referencia de movimiento.
6. Entregar
Reporta solo las rutas (a menos que el usuario pida integrarlas en un juego):
- Video:
video/*.mp4 - Sprites densos:
sprite/x16|x24|x48/ - Tiras / cuadrículas / GIFs:
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - Meta:
pipeline-meta.json
No modifiques el código del juego a menos que se solicite.
Valores predeterminados
- Duración: 6s
- Acción: carrera lateral en el lugar, mirando a la derecha
- Cantidades de exportación: 8, 16, 24, 48
- Celda: 128², altura del cuerpo ~100, pies en y≈118
- Fondo: #FF00FF
- Prefiere
image_to_videosobrereference_to_video(compón varias referencias conimage_editprimero si es necesario)
Compensaciones (comunícalo al usuario una vez)
Ventajas: poses intermedias más densas → a menudo se siente más suave que 4–8 poses generadas discretas.
Desventajas: píxeles más suaves, desviación de identidad, residuos de croma, los clips de 6 s con múltiples ciclos no son un bucle perfecto único, activos más pesados.
Regla general: 8→16→24 generalmente gana suavidad; 48 suele tener rendimientos decrecientes; 145 fotogramas brutos son para muestrear, no para el tiempo de ejecución.
Recursos
- references/prompt-rules.md — prompts de imagen base + video
- references/pipeline.md — diseño de carpetas, ffmpeg, estrategia de muestreo
- scripts/video2dsprite.py — extraer, croma, normalizar, exportar
Relación con otras habilidades
$generate2dsprite— canalización principal de hojas (Codex + Grok cuando existe generación de imágenes)$generate2dmap— mapas; no se usa aquí$video2dsprite— ruta exclusiva de Grok Build para densificación de movimiento