Video2dsprite (Grok Build uniquement)
Convertissez une image de personnage 2D de base en sprites d'animation denses à l'aide des outils vidéo natifs de Grok Build.
Environnement App-builder / Grok
| Élément | Valeur |
|---|---|
| Répertoire de la compétence | .grok/skills/video2dsprite/ |
| Scripts | python3 .grok/skills/video2dsprite/scripts/video2dsprite.py … |
| Outils vidéo | imagine_image_to_video — anime un file_path de base (vérifier la présence) |
| Inspection | read_file sur les images fixes/trames ; rapporter les chemins des vidéos |
| Dépendances | ffmpeg + Pillow + numpy (préinstallés dans l'image app-builder) |
| Dossier de sortie | assets/sprites/video2dsprite/<name>/ sous /workspace |
| Par défaut | Préférer generate2dsprite pour les héros de production ; il s'agit ici du chemin de mouvement dense |
image fixe de base → imagine_image_to_video (mouvement sur place) → extraire les trames → incrustation → échantillonnage/normalisation → bande / grille / GIF
Vérification de la plateforme (à lire en premier)
| Exécution | Prise en charge ? |
|---|---|
| Grok Build (xAI) | Oui — nécessite un générateur d'image + un outil image→vidéo |
| Codex / Claude / autres agents | Non — ils ne disposent pas des outils vidéo Grok. Informez l'utilisateur que cette compétence est réservée à Grok Build et proposez $generate2dsprite à la place |
Vérifiez la capacité, pas le nom exact de l'outil. La génération d'image apparaît sous imagine_text_to_image / imagine_image_to_image ; la vidéo sous imagine_image_to_video ou (héritage) generate_video. Utilisez la paire présente dans votre liste d'outils. Arrêtez-vous et expliquez uniquement lorsque vous n'avez aucun outil image→vidéo. Ne simulez pas le mouvement avec des trames dessinées par code.
Cette compétence est un chemin optionnel de mouvement dense. Elle ne remplace pas $generate2dsprite :
Utilisez $generate2dsprite lorsque… | Utilisez $video2dsprite lorsque… |
|---|---|
| Feuilles de pixels nettes, grilles fixes, héros à identité critique | L'utilisateur souhaite des poses intermédiaires plus denses / des boucles plus fluides |
| Feuilles de corps d'attaque/de lancer, packs d'accessoires, atlas de moteur | Expérimente avec un mouvement de course/marche/repos issu de vidéo |
| Par défaut de production pour la plupart des sprites de jeu | L'utilisateur demande explicitement vidéo → trames → sprites |
La vidéo adoucit les pixels, fait dériver l'identité et laisse des franges d'incrustation. Toujours effectuer un contrôle de qualité ; pour les héros de production, préférez $generate2dsprite sauf si l'utilisateur souhaite l'aspect vidéo.
Paramètres
Déduire de la demande de l'utilisateur :
subject: description du personnage / créature, ou chemin d'une image fixe existanteaction:run|walk|idle|attack| phrase de mouvement personnaliséeview: généralementside(side-scroller).topdownest plus difficile — avertir et maintenir la caméra fixeduration:6(par défaut) ou10secondesframe_counts: ensembles denses à exporter, par défaut8,16,24,48cell_size: taille de la cellule de sprite de sortie, par défaut128anchor:feet(par défaut pour la locomotion latérale) |centerbg:#FF00FFsolide (obligatoire pour l'incrustation)name: slug de sortieout_dir: dossier de travail (par défaut./sprites/video2dsprite/<name>/ou relatif au projet)
Règles pour l'agent
- Réservé à Grok. Refuser sur les exécutions non-Grok avec une brève explication + alternative
$generate2dsprite. - Image fixe → vidéo, jamais texte→vidéo seul. Préparer l'image 1 comme une image fixe nette avec
imagine_text_to_image(à partir d'une invite, ou d'unfile_pathde référence). Puis appelerimagine_image_to_videoavec lefile_pathde cette image fixe. - Mouvement sur place. Suggérer une course/marche sur place face à une direction fixe. Pas de panoramique, pas de défilement d'arrière-plan, pas de changement de scène. Le sujet reste à peu près centré.
- Fond magenta solide sur l'image de base et conservé dans l'invite vidéo (
#FF00FF/ magenta pur). Obligatoire pour l'incrustation par remplissage par zone. - Ne pas inventer d'art avec PIL/Canvas. L'art de base provient de
imagine_text_to_imageou d'une image fixe utilisateur/locale. Les scripts ne font que du post-traitement. - Ne pas placer les sorties expérimentales dans le jeu sauf si l'utilisateur demande l'intégration.
- Préférer un cycle de locomotion pour une utilisation dans un jeu. Un échantillonnage dense sur un clip complet de 6s multi-cycles convient pour les aperçus ; pour les feuilles de moteur, ré-échantillonner éventuellement un seul cycle (12–16 trames) après un contrôle de qualité visuel.
- Signaler les chemins absolus de la vidéo, des trames nettoyées, des bandes et des GIFs d'aperçu une fois terminé.
Flux de travail
1. Planification
Choisir le plus petit ensemble utile :
- Boucle de course/marche vue de côté → cette compétence
- Kit de héros multi-actions → utiliser encore
$generate2dspritepar action ; utiliser la vidéo uniquement pour la locomotion si demandé - FX / projectiles / packs d'accessoires →
$generate2dsprite, pas la vidéo
Créer :
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # ensemble par défaut de 8 trames + plus dense x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. Construire l'image fixe de base
Options :
- A. Sprite existant : lire l'image, la composer sur un fond
#FF00FFsolide si nécessaire, puis passer ce chemin sandbox àimagine_image_to_image/imagine_image_to_video - B. Nouveau personnage :
imagine_text_to_imageavec fond magenta solide, corps entier, vue de côté, centré - C. Correspondre à une référence :
imagine_image_to_imageavec lefile_pathde référence, le déplacer sur magenta et préserver l'identité
Exigences de base :
- Corps entier visible, marge magenta généreuse
- Vue de côté pour la course/marche (profil ou 3/4), pieds près du tiers inférieur
- Même style artistique que le reste du projet lorsqu'une référence existe
- Pas de texte, d'interface, de filigrane ou de second personnage
Copier le file_path renvoyé et l'enregistrer sous <out_dir>/base/<name>-base.png ; conserver le file_path de base pour l'appel vidéo.
Écrire l'invite exacte de l'image dans prompt-used.txt.
3. Animer avec imagine_image_to_video
Appeler Grok imagine_image_to_video :
- chemin source :
<file_path de l'image fixe de base>(chemin sandbox renvoyé par T2I / I2I) duration:6(par défaut) ou10resolution_name:480psauf si l'utilisateur demande720pprompt: un court plan au présent (voir references/prompt-rules.md)
Contraintes de mouvement obligatoires dans l'invite :
- Le sujet court/marche sur place (style tapis roulant)
- Caméra verrouillée — pas de panoramique, zoom ou orbite
- L'arrière-plan reste plat magenta solide
- Identité, costume, palette stables pendant tout le plan
- Action unique et continue uniquement
Copier le file_path vidéo renvoyé vers <out_dir>/video/<name>-<duration>s.mp4.
Si les outils vidéo ne sont pas disponibles, s'arrêter (vérification de la plateforme).
4. Extraction + incrustation + échantillonnage (script local)
Exécuter le processeur (ffmpeg + Pillow + numpy) :
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
Remarques :
--fps 0= extraire chaque trame décodée (utiliser le fps source)- Remplissage magenta par zone à partir des coins + suppression de l'incrustation
- Échantillonnage uniforme pour chaque nombre dans
--frame-counts - Cellules normalisées aux pieds, bande horizontale, grille, GIF en boucle par nombre
Optionnel : ré-échantillonner uniquement les ensembles plus denses à partir des trames nettoyées existantes :
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. Contrôle de qualité
Vérifier visuellement :
- Les GIFs d'aperçu bouclent sans sauts importants
- Magenta disparu (pas de blocs roses solides) ; les franges sont acceptables ou une nouvelle incrustation est nécessaire
- Les pieds restent sur une ligne de base stable (pas de saut dû à un mauvais recadrage)
- Identité à peu près stable (visage/vêtements ne se transforment pas à chaque trame)
- L'action est sur place (ne glisse pas hors du cadre)
- Pour une utilisation dans un jeu : choisir un nombre (souvent 16 ou 24) ou couper un vrai cycle
Si l'identité dérive fortement ou si les pixels sont trop doux, revenir à $generate2dsprite pour les feuilles de production et conserver l'ensemble vidéo uniquement comme référence de mouvement.
6. Livraison
Signaler uniquement les chemins (sauf si l'utilisateur demande une intégration dans un jeu) :
- Vidéo :
video/*.mp4 - Sprites denses :
sprite/x16|x24|x48/ - Bandes / grilles / GIFs :
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - Métadonnées :
pipeline-meta.json
Ne pas modifier le code du jeu sauf demande.
Valeurs par défaut
- Durée : 6s
- Action : course latérale sur place, face à droite
- Nombres d'exportation : 8, 16, 24, 48
- Cellule : 128², hauteur du corps ~100, pieds à y≈118
- Fond : #FF00FF
- Préférer
imagine_image_to_videomono-actif plutôt que multi-références (composer multi-références avecimagine_text_to_imaged'abord si nécessaire)
Compromis (informer l'utilisateur une fois)
Avantages : intermédiaires plus denses → souvent plus fluide que 4 à 8 poses générées discrètement.
Inconvénients : pixels plus doux, dérive d'identité, franges d'incrustation, clips de 6s multi-cycles ne sont pas une seule boucle parfaite, ressources plus lourdes.
Règle empirique : 8→16→24 gagne généralement en fluidité ; 48 a souvent des rendements décroissants ; 145 trames brutes sont pour l'échantillonnage, pas toutes pour l'exécution.
Ressources
- references/prompt-rules.md — invites pour l'image fixe de base + la vidéo
- references/pipeline.md — disposition des dossiers, ffmpeg, stratégie d'échantillonnage
- scripts/video2dsprite.py — extraction, incrustation, normalisation, exportation
Relations avec les autres compétences
$generate2dsprite— pipeline principal de feuilles (Codex + Grok lorsque la génération d'image existe)$generate2dmap— cartes ; non utilisé ici$video2dsprite— chemin exclusif à Grok Build de densification du mouvement$game-asset-core/$game-animation-frames— boucle/test de retournement/lois du mouvement et valeurs par défaut prêtes pour le moteur ; utiliser encore les scripts de cette compétence pour l'exécution en sandbox (base magenta + incrustation), pas une couleur de fond libre