Video2dsprite (Grok Build uniquement)
Convertissez une image de personnage 2D de base en sprites d'animation denses à l'aide des outils vidéo natifs de Grok Build.
image fixe de base → image_to_video (mouvement sur place) → extraire les trames → incrustation chroma → échantillonner / normaliser → bande / grille / GIF
Verrouillage de plateforme (à lire d'abord)
| Runtime | Pris en charge ? |
|---|---|
| Grok Build (xAI) | Oui — nécessite image_gen / image_edit + image_to_video (ou reference_to_video) |
| Codex / Claude / autres agents | Non — ils ne disposent pas des outils vidéo Grok. Informez l'utilisateur que cette compétence est réservée à Grok Build et proposez $generate2dsprite à la place |
Si image_to_video est absent de la liste des outils, arrêtez-vous et expliquez pourquoi. Ne simulez pas de mouvement avec des trames générées par code.
Cette compétence est un chemin optionnel pour un mouvement plus dense. Elle ne remplace pas $generate2dsprite :
Utilisez $generate2dsprite lorsque… | Utilisez $video2dsprite lorsque… |
|---|---|
| Feuilles de sprites nettes, grilles fixes, héros à l'identité cruciale | L'utilisateur souhaite des poses intermédiaires plus denses / des boucles plus fluides |
| Feuilles de corps d'attaque/invocation, packs d'accessoires, atlas de moteur | L'utilisateur expérimente avec un mouvement source vidéo (course/marche/attente) |
| Par défaut pour la production de la plupart des sprites de jeu | L'utilisateur demande explicitement vidéo → trames → sprites |
La vidéo adoucit les pixels, fait dériver l'identité et laisse des franges chroma. Effectuez toujours un contrôle qualité ; pour les héros de production, préférez $generate2dsprite sauf si l'utilisateur souhaite l'aspect vidéo.
Paramètres
Déduisez-les de la demande de l'utilisateur :
subject: description du personnage / de la créature, ou chemin vers une image fixe existanteaction:run|walk|idle|attack| phrase de mouvement personnaliséeview: généralementside(défilement latéral).topdownest plus difficile — prévenez et gardez la caméra verrouilléeduration:6(par défaut) ou10secondesframe_counts: ensembles denses à exporter, par défaut8,16,24,48cell_size: taille de la cellule de sprite, par défaut128anchor:feet(par défaut pour la locomotion latérale) |centerbg: magenta uni#FF00FF(obligatoire pour l'incrustation chroma)name: slug de sortieout_dir: dossier de travail (par défaut./sprites/video2dsprite/<name>/ou relatif au projet)
Règles pour l'agent
- Réservé à Grok. Refusez sur les runtimes non Grok avec une brève explication + l'alternative
$generate2dsprite. - Image fixe → vidéo, jamais texte-à-vidéo seul. Préparez l'image de la trame 1 comme une image fixe propre (
image_genouimage_edità partir d'une référence). Appelez ensuiteimage_to_video. - Mouvement sur place. Demandez une course/marche sur place face à une direction fixe. Pas de panoramique, pas de défilement d'arrière-plan, pas de changement de scène. Le sujet reste approximativement centré.
- Fond magenta uni sur l'image de base et conservé dans l'invite vidéo (
#FF00FF/ magenta pur). Requis pour l'incrustation chroma par remplissage. - N'inventez pas d'art avec PIL/Canvas. L'art de base provient de
image_gen/image_editou d'une image fixe de l'utilisateur/locale. Les scripts ne font que du post-traitement. - N'intégrez pas les sorties expérimentales dans le jeu sauf si l'utilisateur le demande.
- Préférez un cycle de locomotion pour l'utilisation dans un jeu. Un échantillonnage dense sur un clip complet multi-cycles de 6s est acceptable pour les prévisualisations ; pour les feuilles de moteur, ré-échantillonnez éventuellement un seul cycle (12–16 trames) après un contrôle qualité visuel.
- Signalez les chemins absolus de la vidéo, des trames nettoyées, des bandes et des GIF de prévisualisation une fois terminé.
Flux de travail
1. Planification
Choisissez la plus petite exécution utile :
- Boucle course/marche vue latérale → cette compétence
- Kit de héros multi-actions → utilisez toujours
$generate2dspritepar action ; n'utilisez la vidéo que pour la locomotion si demandé - Packs d'effets / projectiles / accessoires →
$generate2dsprite, pas la vidéo
Créez :
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # ensemble par défaut de 8 trames + plus denses x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. Construire l'image fixe de base
Options :
- A. Sprite existant : ouvrez avec les outils image / lisez l'image, composez sur fond magenta
#FF00FFsi nécessaire - B. Nouveau personnage :
image_genavec fond magenta uni, corps complet, vue latérale, centré - C. Correspondre à une référence :
image_edità partir d'une référence utilisateur sur fond magenta, préservez l'identité
Exigences de base :
- Corps complet visible, marge magenta généreuse
- Vue latérale pour la course/la marche (profil ou 3/4), pieds près du tiers inférieur
- Même style artistique que le reste du projet lorsqu'une référence existe
- Pas de texte, d'interface utilisateur, de filigrane ou de deuxième personnage
Enregistrez sous <out_dir>/base/<name>-base.png.
Écrivez l'invite image exacte dans prompt-used.txt.
3. Animer avec image_to_video
Appelez Grok image_to_video :
image: chemin vers l'image fixe de baseduration:6(par défaut) ou10resolution_name:480psauf si l'utilisateur demande720pprompt: un plan court au présent (voir references/prompt-rules.md)
Contraintes de mouvement obligatoires dans l'invite :
- Le sujet court/marche sur place (style tapis de course)
- Caméra verrouillée — pas de panoramique, de zoom ou d'orbite
- L'arrière-plan reste magenta uni plat
- Identité, costume, palette stables pendant tout le plan
- Une seule action continue uniquement
Copiez la vidéo retournée dans <out_dir>/video/<name>-<duration>s.mp4.
Si les outils vidéo ne sont pas disponibles, arrêtez-vous (verrouillage de plateforme).
4. Extraction + incrustation chroma + échantillonnage (script local)
Exécutez le processeur (ffmpeg + Pillow + numpy) :
python skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
Notes :
--fps 0= extraire chaque trame décodée (utiliser la fréquence d'images source)- Remplissage magenta depuis les coins + suppression du déversement
- Échantillonnage régulier pour chaque nombre dans
--frame-counts - Cellules normalisées par les pieds, bande horizontale, grille, GIF en boucle par nombre
Optionnel : ré-échantillonnez uniquement les ensembles plus denses à partir des trames nettoyées existantes :
python skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. Contrôle qualité
Vérifiez visuellement :
- Le GIF de prévisualisation boucle sans sauts importants
- Le magenta a disparu (pas de blocs roses unis) ; les franges sont acceptables ou re-key
- Les pieds restent sur une ligne de base stable (pas de saut dû à un mauvais recadrage)
- L'identité est globalement stable (visage/vêtements ne se métamorphosent pas à chaque trame)
- L'action est sur place (ne glisse pas hors du cadre)
- Pour une utilisation dans un jeu : choisissez un nombre (souvent 16 ou 24) ou découpez un vrai cycle
Si l'identité dérive fortement ou si les pixels sont trop doux, revenez à $generate2dsprite pour les feuilles de production et conservez l'ensemble vidéo comme référence de mouvement uniquement.
6. Livraison
Signalez uniquement les chemins (sauf si l'utilisateur demande à intégrer dans un jeu) :
- Vidéo :
video/*.mp4 - Sprites denses :
sprite/x16|x24|x48/ - Bandes / grilles / GIF :
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - Meta :
pipeline-meta.json
Ne modifiez pas le code du jeu sauf si demandé.
Valeurs par défaut
- Durée : 6s
- Action : course latérale sur place, faisant face à droite
- Nombres d'exportation : 8, 16, 24, 48
- Cellule : 128², hauteur du corps ~100, pieds à y≈118
- Arrière-plan : #FF00FF
- Préférez
image_to_videoàreference_to_video(composez multi-références avecimage_editd'abord si nécessaire)
Compromis (informez l'utilisateur une fois)
Avantages : intermédiaires plus denses → souvent plus fluides que 4–8 poses générées discrètement. Inconvénients : pixels plus doux, dérive d'identité, franges chroma, clips multi-cycles de 6s ne sont pas une seule boucle parfaite, actifs plus lourds. Règle empirique : 8→16→24 gagnent généralement en fluidité ; 48 présente souvent des rendements décroissants ; 145 trames brutes sont pour l'échantillonnage, pas toutes pour l'exécution.
Ressources
- references/prompt-rules.md — invites d'image fixe + vidéo
- references/pipeline.md — disposition des dossiers, ffmpeg, stratégie d'échantillonnage
- scripts/video2dsprite.py — extraction, incrustation chroma, normalisation, exportation
Relation avec les autres compétences
$generate2dsprite— pipeline de feuilles principal (Codex + Grok lorsque la génération d'image existe)$generate2dmap— cartes ; non utilisé ici$video2dsprite— chemin exclusif à Grok Build pour la densification du mouvement