Communitygithub.com

Video2dsprite (solo Grok Build)

Convierte una imagen estática de personaje 2D en sprites de animación densos usando las herramientas de video nativas de Grok Build.

¿Qué es Video2dsprite (solo Grok Build)?

Video2dsprite es una habilidad exclusiva de Grok Build (xAI) que transforma una imagen base de un personaje 2D en sprites de animación densos y suaves. Utiliza las herramientas nativas `image_gen`/`image_edit` para crear una imagen base y luego `image_to_video` para generar un video de movimiento en el lugar (6 o 10 segundos). A continuación, extrae los fotogramas, aplica un croma magenta con ffmpeg y los empaqueta en tiras, cuadrículas y GIFs para diferentes densidades de fotogramas (por defecto 8, 16, 24, 48). Esta habilidad es ideal cuando el usuario desea ciclos de carrera/caminata más suaves obtenidos a partir de video, o cuando solicita explícitamente el flujo video → fotogramas → sprites. No debe usarse en Codex o Claude, ya que carecen de `image_to_video`. Para hojas de sprites más nítidas y de producción, se recomienda `$generate2dsprite`.

Compatible con✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/NeverSight/learn-skills.dev/tree/HEAD/data/skills-md/0x0funky/agent-sprite-forge/video2dsprite

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace Video2dsprite (solo Grok Build)?

Convierte una imagen base de personaje 2D en sprites de animación densos usando las herramientas de video nativas de Grok Build.

imagen base → image_to_video (movimiento en el lugar) → extraer fotogramas → croma clave → muestrear/normalizar → tira / cuadrícula / GIF

Puerta de plataforma (léase primero)

Tiempo de ejecución¿Soportado?
Grok Build (xAI)Sí — requiere image_gen / image_edit + image_to_video (o reference_to_video)
Codex / Claude / otros agentesNo — carecen de las herramientas de video de Grok. Dile al usuario que esta habilidad es solo para Grok Build y ofrécele $generate2dsprite en su lugar

Si image_to_video no está en la lista de herramientas, detente y explica. No finjas movimiento con fotogramas dibujados por código.

Esta habilidad es una ruta opcional de movimiento más denso. No reemplaza a $generate2dsprite:

Usa $generate2dsprite cuando…Usa $video2dsprite cuando…
Hojas de píxeles nítidas, cuadrículas fijas, héroes con identidad críticaEl usuario desea poses intermedias más densas / bucles de sensación más suave
Hojas de cuerpo de ataque/hechizo, paquetes de accesorios, atlas de motoresExperimentar con movimiento de carrera/caminata/quieto obtenido de video
Valor predeterminado de producción para la mayoría de los sprites de juegosEl usuario pide explícitamente video → fotogramas → sprites

El video suaviza los píxeles, desvía la identidad y deja residuos de croma. Siempre haz control de calidad; para héroes de producción, prefiere $generate2dsprite a menos que el usuario quiera el aspecto de video.

Parámetros

Infier a partir de la solicitud del usuario:

  • subject: descripción del personaje / criatura, o ruta a una imagen estática existente
  • action: run | walk | idle | attack | frase de movimiento personalizada
  • view: normalmente side (desplazamiento lateral). topdown es más difícil — advierte y mantén la cámara fija
  • duration: 6 (predeterminado) o 10 segundos
  • frame_counts: qué conjuntos más densos exportar, predeterminado 8,16,24,48
  • cell_size: celda de sprite de salida, predeterminado 128
  • anchor: feet (predeterminado para locomoción lateral) | center
  • bg: magenta sólido #FF00FF (requerido para croma)
  • name: slug de salida
  • out_dir: carpeta de trabajo (predeterminado ./sprites/video2dsprite/<name>/ o relativa al proyecto)

Reglas del agente

  1. Solo Grok. Rechaza en tiempos de ejecución que no sean Grok con una breve explicación + la alternativa $generate2dsprite.
  2. Imagen estática → video, nunca solo texto a video. Prepara el fotograma 1 como una imagen estática limpia (image_gen o image_edit a partir de una referencia). Luego llama a image_to_video.
  3. Movimiento en el lugar. Indica carrera/caminata en el lugar mirando en una dirección fija. Sin paneo de cámara, sin desplazamiento de fondo, sin cambio de escena. El sujeto permanece aproximadamente centrado.
  4. Fondo magenta sólido en la imagen base y conservado en el prompt del video (#FF00FF / magenta puro). Requerido para el croma de relleno por inundación.
  5. No inventes arte con PIL/Canvas. El arte base proviene de image_gen / image_edit o de una imagen estática del usuario/local. Los scripts solo postprocesan.
  6. No pongas salidas experimentales en el juego a menos que el usuario pida integrarlas.
  7. Prefiere un ciclo de locomoción para uso en juegos. El muestreo denso en un clip completo de 6 s con múltiples ciclos está bien para vistas previas; para hojas de motor, opcionalmente vuelve a muestrear un solo ciclo (12–16 fotogramas) después del control de calidad visual.
  8. Reporta las rutas absolutas del video, fotogramas limpios, tiras y GIFs de vista previa al terminar.

Flujo de trabajo

1. Planificar

Elige la ejecución más pequeña útil:

  • Bucle de carrera/caminata en vista lateral → esta habilidad
  • Kit de héroe con múltiples acciones → sigue usando $generate2dsprite por acción; solo usa video para locomoción si se solicita
  • Paquetes de efectos / proyectiles / accesorios → $generate2dsprite, no video

Crea:

<out_dir>/
  base/
  video/
  frames-raw/
  frames-clean/
  sprite/          # conjunto predeterminado de 8 fotogramas + densos x16/x24/x48
  prompt-used.txt
  pipeline-meta.json
  README.txt

2. Construir la imagen base

Opciones:

  • A. Sprite existente: abre con herramientas de imagen / lee imagen, compón sobre #FF00FF sólido si es necesario
  • B. Nuevo personaje: image_gen con fondo magenta sólido, cuerpo completo, vista lateral, centrado
  • C. Coincidir con referencia: image_edit a partir de la referencia del usuario sobre magenta, conserva la identidad

Requisitos de la imagen base:

  • Cuerpo completo visible, margen magenta generoso
  • Vista lateral para carrera/caminata (perfil o 3/4 lateral), pies cerca del tercio inferior
  • Mismo estilo artístico que el resto del proyecto cuando exista una referencia
  • Sin texto, interfaz de usuario, marca de agua ni segundo personaje

Guarda como <out_dir>/base/<name>-base.png.

Escribe el prompt exacto de la imagen en prompt-used.txt.

3. Animar con image_to_video

Llama a image_to_video de Grok:

  • image: ruta a la imagen base
  • duration: 6 (predeterminado) o 10
  • resolution_name: 480p a menos que el usuario pida 720p
  • prompt: un plano corto en tiempo presente (consulta references/prompt-rules.md)

Restricciones de movimiento obligatorias en el prompt:

  • El sujeto corre/camina en el lugar (estilo cinta de correr)
  • Cámara fija — sin paneo, zoom ni órbita
  • El fondo permanece magenta plano sólido
  • Identidad, vestuario, paleta estables durante todo el plano
  • Solo una acción continua

Copia el video devuelto a <out_dir>/video/<name>-<duration>s.mp4.

Si las herramientas de video no están disponibles, detente (puerta de plataforma).

4. Extraer + croma + muestrear (script local)

Ejecuta el procesador (ffmpeg + Pillow + numpy):

python skills/video2dsprite/scripts/video2dsprite.py process \
  --video <out_dir>/video/<name>-6s.mp4 \
  --out-dir <out_dir> \
  --name <name> \
  --frame-counts 8,16,24,48 \
  --cell-size 128 \
  --body-height 100 \
  --foot-y 118 \
  --fps 0

Notas:

  • --fps 0 = extraer cada fotograma decodificado (usa la FPS de origen)
  • Relleno por inundación magenta desde las esquinas + eliminación de residuos
  • Muestreo uniforme para cada cantidad en --frame-counts
  • Celdas normalizadas por pies, tira horizontal, cuadrícula, GIF de bucle por cantidad

Opcional: vuelve a muestrear solo conjuntos más densos a partir de fotogramas limpios existentes:

python skills/video2dsprite/scripts/video2dsprite.py sample \
  --clean-dir <out_dir>/frames-clean \
  --out-dir <out_dir> \
  --frame-counts 16,24,48 \
  --cell-size 128

5. Control de calidad

Verifica visualmente:

  • Los GIFs de vista previa hacen bucle sin grandes saltos
  • El magenta ha desaparecido (sin bloques rosa sólidos); franja aceptable o reaplicar clave
  • Los pies se mantienen en una línea base estable (sin saltos por recorte incorrecto)
  • La identidad es aproximadamente estable (cara/ropa no mutan en cada fotograma)
  • La acción es en el lugar (no se desliza fuera del fotograma)
  • Para uso en juegos: elige una cantidad (a menudo 16 o 24) o corta un ciclo verdadero

Si la identidad se desvía mucho o los píxeles están demasiado suaves, recurre a $generate2dsprite para hojas de producción y conserva el conjunto de video solo como referencia de movimiento.

6. Entregar

Reporta solo las rutas (a menos que el usuario pida integrarlas en un juego):

  • Video: video/*.mp4
  • Sprites densos: sprite/x16|x24|x48/
  • Tiras / cuadrículas / GIFs: sprite/run-strip-N.png, run-grid-N.png, run-preview-N.gif
  • Meta: pipeline-meta.json

No modifiques el código del juego a menos que se solicite.

Valores predeterminados

  • Duración: 6s
  • Acción: carrera lateral en el lugar, mirando a la derecha
  • Cantidades de exportación: 8, 16, 24, 48
  • Celda: 128², altura del cuerpo ~100, pies en y≈118
  • Fondo: #FF00FF
  • Prefiere image_to_video sobre reference_to_video (compón varias referencias con image_edit primero si es necesario)

Compensaciones (comunícalo al usuario una vez)

Ventajas: poses intermedias más densas → a menudo se siente más suave que 4–8 poses generadas discretas.
Desventajas: píxeles más suaves, desviación de identidad, residuos de croma, los clips de 6 s con múltiples ciclos no son un bucle perfecto único, activos más pesados.
Regla general: 8→16→24 generalmente gana suavidad; 48 suele tener rendimientos decrecientes; 145 fotogramas brutos son para muestrear, no para el tiempo de ejecución.

Recursos

Relación con otras habilidades

  • $generate2dsprite — canalización principal de hojas (Codex + Grok cuando existe generación de imágenes)
  • $generate2dmap — mapas; no se usa aquí
  • $video2dsprite — ruta exclusiva de Grok Build para densificación de movimiento

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

NeverSight/learn-skills.dev

Create AI avatar and talking head videos via inference.sh CLI. Recommended: P-Video-Avatar (fastest, cheapest, built-in TTS). Also: OmniHuman, Fabric, PixVerse. Audio: Inworld TTS-2 (100+ languages, emotion steering for characters), ElevenLabs, Kokoro. Capabilities: audio-driven avatars, text-to-avatar, lipsync videos, talking head generation, virtual presenters, UGC content. Use for: AI presenters, explainer videos, virtual influencers, dubbing, marketing videos, UGC ads, gaming avatars, NPC dialogue. Triggers: ai avatar, talking head, lipsync, avatar video, virtual presenter, ai spokesperson, audio driven video, heygen alternative, synthesia alternative, talking avatar, lip sync, video avatar, ai presenter, digital human, ugc, ugc video, ugc ad, avatar ugc

NeverSight/learn-skills.dev

Create AI marketing videos for ads, promos, product launches, and brand content. Models: Veo, Seedance, Wan, FLUX for visuals, Kokoro for voiceover. Types: product demos, testimonials, explainers, social ads, brand videos. Use for: Facebook ads, YouTube ads, product launches, brand awareness. Triggers: marketing video, ad video, promo video, commercial, brand video, product video, explainer video, ad creative, video ad, facebook ad video, youtube ad, instagram ad, tiktok ad, promotional video, launch video

NeverSight/learn-skills.dev

Generate AI videos with Google Veo, Seedance 2.0, HappyHorse, Wan, Grok and 40+ models via inference.sh CLI. Models: Veo 3.1, Veo 3, Seedance 2.0, HappyHorse 1.0, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric, HunyuanVideo. Capabilities: text-to-video, image-to-video, reference-to-video, video editing, lipsync, avatar animation, video upscaling, foley sound. Use for: social media videos, marketing content, explainer videos, product demos, AI avatars. Triggers: video generation, ai video, text to video, image to video, veo, animate image, video from image, ai animation, video generator, generate video, t2v, i2v, ai video maker, create video with ai, runway alternative, pika alternative, sora alternative, kling alternative, seedance, happyhorse

NeverSight/learn-skills.dev

ElevenLabs automatic dubbing - translate and dub audio/video into 29 languages while preserving speaker voice via inference.sh CLI. Capabilities: auto speaker detection, voice-preserving translation, video dubbing, audio localization. Use for: content localization, video translation, multilingual content, international distribution. Triggers: dubbing, dub video, translate audio, video translation, audio translation, localize content, elevenlabs dubbing, eleven labs dub, multilingual dub, voice translation, auto dub, language dub, content localization

NeverSight/learn-skills.dev

Explainer video production guide: scripting, voiceover, visuals, and assembly. Covers script formulas, pacing rules, scene planning, and multi-tool pipelines. Use for: product demos, how-it-works videos, onboarding videos, social explainers. Triggers: explainer video, how to make explainer, product video, demo video, video production, video script, animated explainer, product demo video, tutorial video, onboarding video, walkthrough video, video pipeline

NeverSight/learn-skills.dev

Still-to-video conversion guide: model selection, motion prompting, and camera movement. Covers Wan 2.5 i2v, Seedance, Fabric, Grok Video with when to use each. Use for: animating images, creating video from stills, adding motion, product animations. Triggers: image to video, i2v, animate image, still to video, add motion to image, image animation, photo to video, animate still, wan i2v, image2video, bring image to life, animate photo, motion from image

NeverSight/learn-skills.dev

Generate talking head avatar videos with Pruna P-Video-Avatar via inference.sh CLI. Turn a portrait image into a realistic speaking video with built-in TTS. 18x faster and 6x cheaper than competitors. Models: P-Video-Avatar, P-Image (for portrait generation). Capabilities: text-to-avatar, audio-driven avatars, 30 voices, 10 languages, 720p/1080p, built-in TTS, dynamic backgrounds, full-body control. Use for: AI presenters, product demos, explainer videos, virtual influencers, marketing, education, multilingual content, UGC, gaming avatars. Triggers: avatar video, talking head, ai avatar, p-video-avatar, pruna avatar, video avatar, ai presenter, digital human, virtual presenter, lipsync, talking avatar, ai spokesperson, heygen alternative, synthesia alternative, veed alternative, fabric alternative, omnihuman alternative

NeverSight/learn-skills.dev

Generate videos with Pruna P-Video and WAN models via inference.sh CLI. Models: P-Video, WAN-T2V, WAN-I2V. Capabilities: text-to-video, image-to-video, audio support, 720p/1080p, fast inference. Pruna optimizes models for speed without quality loss. Triggers: pruna video, p-video, pruna ai video, fast video generation, optimized video, wan t2v, wan i2v, economic video generation, cheap video generation, pruna text to video, pruna image to video

NeverSight/learn-skills.dev

Render videos from React/Remotion component code via inference.sh. Pass TSX code, get MP4. Supports all Remotion APIs: useCurrentFrame, useVideoConfig, spring, interpolate, AbsoluteFill, Sequence. Configurable resolution, FPS, duration, codec. Use for: programmatic video generation, animated graphics, motion design, data-driven videos, React animations to video. Triggers: remotion, render video from code, tsx to video, react video, programmatic video, remotion render, code to video, animated video, motion graphics code, react animation video

NeverSight/learn-skills.dev

Video ad creation with exact platform-specific specs for TikTok, Instagram, YouTube, Facebook, LinkedIn. Covers dimensions, duration limits, AIDA framework, and caption requirements. Use for: video ads, social media ads, paid media creative, video marketing, ad production. Triggers: video ad, social media ad, tiktok ad, instagram ad, youtube ad, facebook ad, linkedin ad, video creative, ad specs, paid media, video marketing, ad production, reels ad, stories ad, pre roll, bumper ad

NeverSight/learn-skills.dev

Best practices and techniques for writing effective AI video generation prompts. Covers: Veo, Seedance, Wan, Grok, Kling, Runway, Pika, Sora prompting strategies. Learn: shot types, camera movements, lighting, pacing, style keywords, negative prompts. Use for: improving video quality, getting consistent results, professional video prompts. Triggers: video prompt, how to prompt video, veo prompts, video generation tips, better ai video, video prompt engineering, video prompt guide, video prompt template, ai video tips, video prompt best practices, video prompt examples, cinematography prompts

NeverSight/learn-skills.dev

YouTube thumbnail design with specific dimensions, contrast rules, and mobile preview optimization. Covers safe zones, text placement, face expression psychology, and A/B testing. Use for: YouTube thumbnails, video cover images, click-through optimization. Triggers: youtube thumbnail, thumbnail design, video thumbnail, click through rate, ctr optimization, youtube cover, video cover image, thumbnail maker, thumbnail tips, youtube design, video preview image

NeverSight/learn-skills.dev

Landing page conversion optimization with layout rules, hero section design, and CTA psychology. Covers above-the-fold formula, social proof placement, mobile design, and F-pattern reading. Use for: startup landing pages, product pages, SaaS marketing, conversion optimization. Triggers: landing page, hero section, above the fold, conversion optimization, landing page design, cta button, hero image, landing page layout, saas landing page, product page design, conversion rate, landing page best practices

NeverSight/learn-skills.dev

Configure and use the hosted YouTube Data MCP end-to-end with minimal user input. Use when users want the agent to verify Node.js and `npx`, configure MCP server config (Windows/macOS, Cursor/Codex/OpenClaw/OpenCode), request API key at setup time, run post-install capability discovery (`tools/list` and `get_patch_notes`), and then strongly recommend helper skill and Python setup for full local document and spreadsheet workflows.

NeverSight/learn-skills.dev

Creates 120fps GPU-accelerated animations with Motion.dev (Framer Motion successor) for React, Next.js, Svelte, and Astro projects. Use when user requests animation, motion, scroll effects, parallax, hero animations, gestures, drag interactions, spring physics, whileHover effects, whileInView animations, animated UI, micro-interactions, page transitions, or layout animations. Generates production TypeScript/JSX code with accessibility (prefers-reduced-motion) and performance validation (≥60fps). Supports entrance animations, gesture interactions (hover/tap/drag), scroll-based reveals, and layout transitions using spring physics and natural timing. Do NOT use for CSS-only transitions (use native CSS), static sites without JavaScript, Vue animations (use motion-v variant instead), or SVG/Canvas complex animations (GSAP better suited).

NeverSight/learn-skills.dev

Static artifact craft skill for self-contained HTML/CSS/JS documents: docs, sheets, dashboards, explainers, slides, tools, and landing pages. Use when the user asks for a durable, openable, shareable web deliverable they'll keep or hand off — a report, a dashboard, a slide deck, a data table, a page. Local folder first, temporary public link via tunnel (localhost.run), optional durable publish to Surge, GitHub Pages, or Cloudflare. Not for quick look renders, inline snippets, or throwaway scratch. Not for SPA frameworks, backend APIs, database apps, or production product UI.

NeverSight/learn-skills.dev

FFmpeg commands for video/audio conversion, trimming, compression, and processing. Use when user mentions "ffmpeg", "convert video", "compress video", "extract audio", "trim video", "gif from video", "video codec", "transcode", "screen recording", "merge videos", "video to mp4", "reduce file size", or any media processing task.

NeverSight/learn-skills.dev

Vim keybindings, motions, text objects, and operators for efficient text editing. Use when user asks about "vim commands", "vim motions", "text objects", "vim keybindings", "vim cheat sheet", "learn vim", "vim in VS Code", or any Vim editing tasks.

NeverSight/learn-skills.dev

Download YouTube videos, extract/proofread/translate subtitles, and render them onto video. Use whenever the user asks to download a YouTube video with subtitles, translate video subtitles to Chinese, add subtitles/burn subtitles to a video, or do ASR transcription on video audio. Covers the full pipeline: video download → subtitle extraction → proofreading → translation → SRT generation → subtitle rendering. Also use for "下载视频加字幕", "视频翻译字幕", "把字幕烧录到视频中". For pure subtitle file creation without rendering (just SRT output), this skill handles that too — stop before Phase 5.

NeverSight/learn-skills.dev

Use when generating or modifying Remotion video code, creating demo videos, or working with the demo-video/ directory

Skills relacionados