Was macht Video2dsprite (nur Grok Build)?
Konvertiere ein 2D-Charakter-Standbild in dichte Animationssprites mit Grok Builds nativen Videotools.
Standbild → image_to_video (Bewegung an Ort und Stelle) → Einzelbilder extrahieren → Chroma Key → Abtasten/Normalisieren → Strip / Grid / GIF
Plattform-Prüfung (zuerst lesen)
| Laufzeit | Unterstützt? |
|---|---|
| Grok Build (xAI) | Ja – benötigt image_gen / image_edit + image_to_video (oder reference_to_video) |
| Codex / Claude / andere Agenten | Nein – ihnen fehlen Grok-Videotools. Weise den Nutzer darauf hin, dass dieses Skill nur für Grok Build ist, und biete stattdessen $generate2dsprite an |
Fehlt image_to_video in der Werkzeugliste, stoppe und erkläre den Grund. Erzeuge keine Bewegungen mit selbst gezeichneten Einzelbildern.
Dieses Skill ist ein optionaler Pfad für dichtere Bewegungen. Es ersetzt nicht $generate2dsprite:
Verwende $generate2dsprite, wenn… | Verwende $video2dsprite, wenn… |
|---|---|
| Klare Pixel-Sheets, feste Raster, identitätskritische Helden | Der Nutzer dichtere Zwischenposen / flüssigere Schleifen wünscht |
| Angriff/Zauber-Körper-Sheets, Prop-Pakete, Engine-Atlanten | Experimentieren mit video-basierter Lauf-/Geh-/Stillstand-Bewegung |
| Produktionsstandard für die meisten Spiel-Sprites | Der Nutzer explizit Video → Einzelbilder → Sprites anfordert |
Video weicht Pixel auf, verursacht Identitätsdrift und hinterlässt Chroma-Säume. Führe immer eine Qualitätskontrolle durch; für Produktionshelden bevorzuge $generate2dsprite, es sei denn, der Nutzer wünscht den Video-Look.
Parameter
Aus der Nutzeranfrage ableiten:
subject: Beschreibung der Figur / Kreatur oder Pfad zu einem vorhandenen Standbildaction:run|walk|idle|attack| benutzerdefinierte Bewegungsphraseview: normalerweiseside(Side-Scroller).topdownist schwieriger – warne und halte die Kamera fixiertduration:6(Standard) oder10Sekundenframe_counts: welche dichteren Sätze exportiert werden sollen, Standard8,16,24,48cell_size: Ausgabe-Sprite-Zelle, Standard128anchor:feet(Standard für Seitwärtsbewegung) |centerbg: einfarbiges#FF00FF(erforderlich für Chroma Key)name: Ausgabe-Slugout_dir: Arbeitsverzeichnis (Standard./sprites/video2dsprite/<name>/oder projektrelativ)
Agentenregeln
- Nur Grok. Auf Nicht-Grok-Laufzeiten mit einer kurzen Erklärung +
$generate2dsprite-Alternative ablehnen. - Standbild → Video, nie Text-zu-Video allein. Bühnenbild-Frame 1 als sauberes Standbild (
image_genoderimage_editaus einer Referenz). Dannimage_to_videoaufrufen. - Bewegung an Ort und Stelle. Fordere Laufen/Gehen an Ort und Stelle in einer festen Richtung an. Keine Kamerafahrt, kein Hintergrund-Scrollen, keine Szenenänderung. Die Figur bleibt ungefähr zentriert.
- Einfarbiger Magenta-Hintergrund auf dem Standbild und im Video-Prompt beibehalten (
#FF00FF/ reines Magenta). Erforderlich für Flood-Fill-Chroma Key. - Erfinde keine Kunst mit PIL/Canvas. Die Basis-Kunst kommt von
image_gen/image_editoder einem Benutzer-/lokalen Standbild. Skripte führen nur Nachbearbeitung durch. - Lege keine experimentellen Ausgaben in das Spiel, es sei denn, der Nutzer bittet um Integration.
- Bevorzuge einen Bewegungszyklus für Spielzwecke. Dichte Abtastung über einen vollständigen 6-Sekunden-Mehrfachzyklus-Clip ist für Vorschauen in Ordnung; für Engine-Sheets optional einen einzelnen Zyklus (12–16 Frames) nach visueller Qualitätskontrolle neu abtasten.
- Melde absolute Pfade des Videos, der bereinigten Frames, Strips und Vorschau-GIFs nach Abschluss.
Arbeitsablauf
1. Planen
Wähle den kleinstmöglichen nutzbaren Durchlauf:
- Side-View Lauf-/Geh-Schleife → dieses Skill
- Mehrfach-Aktions-Helden-Kit → verwende weiterhin
$generate2dspritepro Aktion; verwende Video nur für Fortbewegung, wenn gewünscht - FX / Projektil / Prop-Pakete →
$generate2dsprite, nicht Video
Erstelle:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # Standard 8-Frame-Set + dichter x16/x24/x48
prompt-verwendet.txt
pipeline-meta.json
README.txt
2. Standbild erstellen
Optionen:
- A. Vorhandenes Sprite: mit Bildwerkzeugen öffnen / Bild lesen, bei Bedarf auf einfarbigem
#FF00FFzusammensetzen - B. Neue Figur:
image_genmit einfarbigem Magenta-Hintergrund, ganzer Körper, Seitenansicht, zentriert - C. Referenz anpassen:
image_editaus Benutzerreferenz auf Magenta, Identität bewahren
Basisanforderungen:
- Ganzer Körper sichtbar, großzügiger Magenta-Rand
- Seitenansicht für Laufen/Gehen (Profil oder 3/4-Seite), Füße im unteren Drittel
- Gleicher Kunststil wie der Rest des Projekts, wenn eine Referenz vorhanden ist
- Kein Text, keine Benutzeroberfläche, kein Wasserzeichen, keine zweite Figur
Speichere als <out_dir>/base/<name>-base.png.
Schreibe den genauen Bild-Prompt in prompt-verwendet.txt.
3. Mit image_to_video animieren
Rufe Grok image_to_video auf:
image: Pfad zum Standbildduration:6(Standard) oder10resolution_name:480p, es sei denn, der Nutzer wünscht720pprompt: eine kurze Präsens-Aufnahme (siehe references/prompt-rules.md)
Obligatorische Bewegungseinschränkungen im Prompt:
- Figur läuft/geht an Ort und Stelle (Laufband-Stil)
- Kamera fixiert – keine Schwenk-, Zoom- oder Orbit-Bewegung
- Hintergrund bleibt einfarbig Magenta flach
- Identität, Kostüm, Palette für die gesamte Aufnahme stabil
- Nur eine einzige durchgehende Aktion
Kopiere das zurückgegebene Video nach <out_dir>/video/<name>-<duration>s.mp4.
Wenn Videotools nicht verfügbar sind, stoppe (Plattform-Prüfung).
4. Extrahieren + Chroma Key + Abtasten (lokales Skript)
Führe den Prozessor aus (ffmpeg + Pillow + numpy):
python skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
Hinweise:
--fps 0= jeden dekodierten Frame extrahieren (Quell-FPS verwenden)- Magenta-Flood-Fill von den Ecken + Despill
- Gleichmäßige Abtastung für jede Anzahl in
--frame-counts - Fuß-normalisierte Zellen, horizontaler Strip, Grid, Loop-GIF pro Anzahl
Optional: Nur dichtere Sätze aus vorhandenen bereinigten Frames neu abtasten:
python skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. Qualitätskontrolle
Visuell prüfen:
- Vorschau-GIFs schleifen ohne große Sprünge
- Magenta entfernt (keine festen pinken Blöcke); Säume akzeptabel oder neu keyen
- Füße bleiben auf einer stabilen Grundlinie (kein Hüpfen durch schlechten Zuschnitt)
- Identität einigermaßen stabil (Gesicht/Kleidung morphieren nicht in jedem Frame)
- Aktion an Ort und Stelle (rutscht nicht aus dem Bild)
- Für Spielzwecke: eine Anzahl wählen (oft 16 oder 24) oder einen echten Zyklus ausschneiden
Bei starkem Identitätsdrift oder zu weichen Pixeln auf $generate2dsprite für Produktions-Sheets zurückgreifen und das Video-Set nur als Bewegungsreferenz behalten.
6. Ausliefern
Nur Pfade melden (es sei denn, der Nutzer bittet um Einbindung in ein Spiel):
- Video:
video/*.mp4 - Dichte Sprites:
sprite/x16|x24|x48/ - Strips / Grids / GIFs:
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - Meta:
pipeline-meta.json
Ändere keinen Spielcode, es sei denn, der Nutzer wünscht es.
Standardwerte
- Dauer: 6s
- Aktion: seitlich laufen an Ort und Stelle, Blick nach rechts
- Export-Anzahlen: 8, 16, 24, 48
- Zelle: 128², Körperhöhe ~100, Füße bei y≈118
- Hintergrund: #FF00FF
- Bevorzuge
image_to_videogegenüberreference_to_video(falls nötig, zuerst mitimage_editmehrere Referenzen zusammensetzen)
Abwägungen (dem Nutzer einmal mitteilen)
Vorteile: Dichtere Zwischenstufen → fühlt sich oft flüssiger an als 4–8 diskrete generierte Posen. Nachteile: Weichere Pixel, Identitätsdrift, Chroma-Säume, Mehrfach-Zyklus-6s-Clips sind keine einzelne perfekte Schleife, schwerere Assets. Faustregel: 8→16→24 bringt meist Flüssigkeit; 48 bringt oft abnehmenden Nutzen; 145 Roh-Frames dienen zum Abtasten, nicht zur Laufzeit.
Ressourcen
- references/prompt-rules.md – Standbild- + Video-Prompts
- references/pipeline.md – Ordnerstruktur, ffmpeg, Abtaststrategie
- scripts/video2dsprite.py – Extrahieren, Chroma Key, Normalisieren, Exportieren
Beziehung zu anderen Skills
$generate2dsprite– primäre Sheet-Pipeline (Codex + Grok, wenn Bildgenerierung vorhanden)$generate2dmap– Karten; hier nicht verwendet$video2dsprite– exklusiv für Grok Build Bewegungspfad