Video2dsprite (nur Grok Build)
Konvertiere ein basis 2D-Charakterbild in dichte Animations-Sprites mit den nativen Videotools von Grok Build.
App-Builder / Grok-Umgebung
| Element | Wert |
|---|---|
| Skill-Verzeichnis | .grok/skills/video2dsprite/ |
| Skripte | python3 .grok/skills/video2dsprite/scripts/video2dsprite.py … |
| Video-Tools | imagine_image_to_video — animiere eine Basis-Datei (prüfe Existenz) |
| Prüfen | read_file auf Standbildern/Frames; Pfade für Videos melden |
| Abhängigkeiten | ffmpeg + Pillow + numpy (im App-Builder-Image vorinstalliert) |
| Ausgabeverzeichnis | assets/sprites/video2dsprite/<name>/ unter /workspace |
| Standard | Bevorzuge generate2dsprite für Produktions-Helden; dies ist der Pfad für dichtere Bewegungen |
Basis-Standbild → imagine_image_to_video (Bewegung auf der Stelle) → Frames extrahieren → Chroma-Key → sampeln/normalisieren → Streifen / Raster / GIF
Plattform-Prüfung (zuerst lesen)
| Laufzeitumgebung | Unterstützt? |
|---|---|
| Grok Build (xAI) | Ja — erfordert einen Bildgenerator + ein Bild→Video-Tool |
| Codex / Claude / andere Agents | Nein — ihnen fehlen Grok-Videotools. Sage dem Benutzer, dass dieses Skill nur für Grok Build ist, und biete $generate2dsprite als Alternative an |
Prüfe auf die Fähigkeit, nicht auf den genauen Tool-Namen. Bildgenerierung erscheint als imagine_text_to_image / imagine_image_to_image; Video als imagine_image_to_video oder (veraltet) generate_video. Verwende das Paar, das deine Tool-Liste enthält. Stoppe und erkläre nur, wenn du überhaupt kein Bild→Video-Tool hast. Simuliere keine Bewegung mit code-gezeichneten Frames.
Dieses Skill ist ein optionaler Pfad für dichtere Bewegungen. Es ersetzt nicht $generate2dsprite:
Verwende $generate2dsprite, wenn… | Verwende $video2dsprite, wenn… |
|---|---|
| Knackige Pixel-Sheets, feste Raster, identitätskritische Helden | Der Benutzer wünscht dichtere Zwischenposen / flüssiger wirkende Loops |
| Angriffs-/Zauber-Body-Sheets, Prop-Pakete, Engine-Atlanten | Experimentieren mit video-basierter Lauf-/Geh-/Idle-Bewegung |
| Produktionsstandard für die meisten Spiel-Sprites | Der Benutzer explizit nach Video → Frames → Sprites fragt |
Video weicht Pixel auf, verändert die Identität und hinterlässt Chroma-Ränder. Führe immer eine Qualitätskontrolle durch; für Produktionshelden bevorzuge $generate2dsprite, es sei denn, der Benutzer wünscht den Video-Look.
Parameter
Leite sie aus der Benutzeranfrage ab:
subject: Charakter-/Kreaturenbeschreibung oder Pfad zu einem vorhandenen Standbildaction:run|walk|idle|attack| benutzerdefinierte Bewegungsphraseview: normalerweiseside(Side-Scroller).topdownist schwieriger — warne und behalte die Kamera fixiertduration:6(Standard) oder10Sekundenframe_counts: welche dichteren Sätze exportiert werden sollen, Standard8,16,24,48cell_size: Ausgabe-Sprite-Zelle, Standard128anchor:feet(Standard für seitliche Fortbewegung) |centerbg: einfarbig#FF00FF(für Chroma erforderlich)name: Ausgabe-Slugout_dir: Arbeitsordner (Standard./sprites/video2dsprite/<name>/oder projektrelativ)
Agentenregeln
- Nur Grok. Lehne auf Nicht-Grok-Laufzeitumgebungen mit einer kurzen Erklärung + Alternative
$generate2dspriteab. - Standbild → Video, niemals nur Text→Video. Erstelle Frame 1 als sauberes Standbild mit
imagine_text_to_image(aus einem Prompt oder aus einem Referenz-file_path). Rufe dannimagine_image_to_videomit demfile_pathdieses Standbilds auf. - Bewegung auf der Stelle. Formuliere den Prompt für Laufen/Gehen auf der Stelle mit Blick in eine feste Richtung. Keine Kamerafahrt, kein Hintergrund-Scrollen, kein Szenenwechsel. Das Motiv bleibt ungefähr zentriert.
- Einfarbiger Magenta-Hintergrund auf dem Basisbild und im Video-Prompt beibehalten (
#FF00FF/ reines Magenta). Erforderlich für Flood-Fill-Chroma. - Erfinde keine Kunst mit PIL/Canvas. Die Basiskunst stammt von
imagine_text_to_imageoder einem Benutzer-/lokalen Standbild. Skripte führen nur eine Nachbearbeitung durch. - Lege keine experimentellen Ausgaben in das Spiel, es sei denn, der Benutzer bittet um Integration.
- Bevorzuge einen Fortbewegungszyklus für den Spieleinsatz. Dichtes Sampling über einen vollständigen 6s Multi-Cycle-Clip ist für Vorschauen in Ordnung; für Engine-Sheets kannst du nach visueller Qualitätskontrolle optional einen einzelnen Zyklus (12–16 Frames) neu sampeln.
- Melde absolute Pfade des Videos, der bereinigten Frames, Streifen und Vorschau-GIFs, wenn fertig.
Arbeitsablauf
1. Planung
Wähle den kleinsten sinnvollen Durchlauf:
- Seitenansicht Lauf-/Geh-Loop → dieses Skill
- Multi-Action-Helden-Kit → verwende weiterhin
$generate2dspritepro Aktion; verwende Video nur für Fortbewegung, falls gewünscht - FX / Projektil / Prop-Pakete →
$generate2dsprite, nicht Video
Erstelle:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # Standard 8-Frame-Set + dichtere x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. Erstelle das Basis-Standbild
Optionen:
- A. Vorhandenes Sprite: Lese das Bild, füge es bei Bedarf auf einfarbigem
#FF00FFzusammen, übergib dann diesen Sandbox-Pfad animagine_image_to_image/imagine_image_to_video - B. Neuer Charakter:
imagine_text_to_imagemit einfarbigem Magenta-Hintergrund, Ganzkörper, Seitenansicht, zentriert - C. Referenz abgleichen:
imagine_image_to_imagemit dem Referenz-file_path, verschiebe es auf Magenta und behalte die Identität bei
Basisanforderungen:
- Ganzer Körper sichtbar, großzügiger Magenta-Rand
- Seitenansicht für Laufen/Gehen (Profil oder 3/4-Seite), Füße nahe unterem Drittel
- Gleicher Kunststil wie der Rest des Projekts, wenn eine Referenz existiert
- Kein Text, UI, Wasserzeichen oder zweiter Charakter
Kopiere den zurückgegebenen file_path und speichere ihn als <out_dir>/base/<name>-base.png; behalte den Basis-file_path für den Videoaufruf.
Schreibe den genauen Bild-Prompt in prompt-used.txt.
3. Animiere mit imagine_image_to_video
Rufe Grok imagine_image_to_video auf:
- Quellpfad:
<Basis-Standbild file_path>(vom T2I / I2I zurückgegebener Sandbox-Pfad) duration:6(Standard) oder10resolution_name:480pes sei denn, der Benutzer wünscht720pprompt: eine kurze Präsens-Einstellung (siehe references/prompt-rules.md)
Verbindliche Bewegungseinschränkungen im Prompt:
- Motiv läuft/geht auf der Stelle (Laufband-Stil)
- Kamera fixiert — keine Schwenk-, Zoom- oder Orbit-Bewegung
- Hintergrund bleibt flach, einfarbig Magenta
- Identität, Kleidung, Palette während der gesamten Einstellung stabil
- Nur eine einzige durchgehende Aktion
Kopiere den zurückgegebenen Video-file_path nach <out_dir>/video/<name>-<duration>s.mp4.
Wenn Video-Tools nicht verfügbar sind, stoppe (Plattform-Prüfung).
4. Extraktion + Chroma + Sampling (lokales Skript)
Führe den Prozessor aus (ffmpeg + Pillow + numpy):
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
Hinweise:
--fps 0= extrahiere jeden dekodierten Frame (verwende Quell-FPS)- Magenta Flood-Fill von den Ecken + Entspiegelung
- Gleichmäßiges Sampling für jede Anzahl in
--frame-counts - Fuß-normalisierte Zellen, horizontale Streifen, Raster, Loop-GIF pro Anzahl
Optional: Nur dichtere Sätze aus vorhandenen bereinigten Frames neu sampeln:
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. Qualitätskontrolle
Überprüfe visuell:
- Vorschau-GIFs loopen ohne große Hüpfer
- Magenta entfernt (keine festen pinken Blöcke); Ränder akzeptabel oder neu keyn
- Füße bleiben auf einer stabilen Grundlinie (kein Hüpfer durch schlechten Zuschnitt)
- Identität ungefähr stabil (Gesicht/Kleidung morphing nicht in jedem Frame)
- Aktion ist auf der Stelle (rutscht nicht aus dem Bild)
- Für den Spieleinsatz: wähle eine Anzahl (oft 16 oder 24) oder schneide einen echten Zyklus heraus
Wenn die Identität stark abweicht oder die Pixel zu weich sind, falle auf $generate2dsprite für Produktions-Sheets zurück und behalte das Video-Set nur als Bewegungsreferenz.
6. Lieferung
Melde nur die Pfade (es sei denn, der Benutzer hat um Einbindung in ein Spiel gebeten):
- Video:
video/*.mp4 - Dichte Sprites:
sprite/x16|x24|x48/ - Streifen / Raster / GIFs:
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - Metadaten:
pipeline-meta.json
Ändere keinen Spielcode, es sei denn, es wird darum gebeten.
Standardwerte
- Dauer: 6s
- Aktion: seitlich laufen auf der Stelle, Blick nach rechts
- Export-Anzahlen: 8, 16, 24, 48
- Zelle: 128², Körperhöhe ~100, Füße bei y≈118
- Hintergrund: #FF00FF
- Bevorzuge Einzel-Asset
imagine_image_to_videogegenüber Multi-Ref (erstelle Multi-Ref bei Bedarf mitimagine_text_to_image)
Abwägungen (dem Benutzer einmal mitteilen)
Vorteile: dichtere Zwischenstufen → wirkt oft flüssiger als 4–8 diskrete Generierungsposen. Nachteile: weichere Pixel, Identitätsdrift, Chroma-Ränder, Multi-Cycle-6s-Clips sind kein einzelner perfekter Loop, schwerere Assets. Faustregel: 8→16→24 bringt in der Regel Glätte; 48 ist oft abnehmender Ertrag; 145 Roh-Frames dienen dem Sampling, nicht alle zur Laufzeit.
Ressourcen
- references/prompt-rules.md — Basis-Standbild + Video-Prompts
- references/pipeline.md — Ordnerstruktur, ffmpeg, Sampling-Strategie
- scripts/video2dsprite.py — extrahieren, chroma, normalisieren, exportieren
Beziehung zu anderen Skills
$generate2dsprite— primäre Sheet-Pipeline (Codex + Grok, wenn Bildgenerierung existiert)$generate2dmap— Karten; wird hier nicht verwendet$video2dsprite— Grok Build exklusiver Bewegungsverdichtungspfad$game-asset-core/$game-animation-frames— Loop/Flip-Test/Bewegungsgesetze und engine-bereite Standardwerte; verwende weiterhin die Skripte dieses Skills für die Sandbox-Ausführung (Magenta-Basis + Chroma), nicht eine freie Hintergrundfarbe