video2dsprite (Grok Build 専用) は何をしますか?
ベースとなる2Dキャラクター画像から、Grok Build のネイティブ動画ツールを使用して高密度アニメーションスプライトに変換します。
App-builder / Grok 環境
| アイテム | 値 |
|---|---|
| スキルディレクトリ | .grok/skills/video2dsprite/ |
| スクリプト | python3 .grok/skills/video2dsprite/scripts/video2dsprite.py … |
| 動画ツール | imagine_image_to_video — 1つのベース file_path をアニメーション化(存在確認) |
| 検査 | read_file でスチル/フレームを確認し、動画のパスを報告 |
| 依存関係 | ffmpeg + Pillow + numpy(app-builder イメージにプリインストール済み) |
| 出力先 | /workspace 下の assets/sprites/video2dsprite/<name>/ |
| デフォルト | プロダクション向けの本格スプライトには generate2dsprite を推奨。本スキルは高密度モーションパス |
ベース静止画 → imagine_image_to_video(その場モーション)→ フレーム抽出 → クロマキー → サンプリング/ノーマライズ → ストリップ / グリッド / GIF
プラットフォームゲート(最初に読んでください)
| ランタイム | サポート? |
|---|---|
| Grok Build (xAI) | はい — 画像生成 + 画像→動画ツールが必要 |
| Codex / Claude / その他エージェント | いいえ — Grok の動画ツールがありません。このスキルは Grok Build 専用であることを伝え、代わりに $generate2dsprite を提案してください |
厳密なツール名ではなく、機能でゲートを判断してください。 画像生成は imagine_text_to_image / imagine_image_to_image として、動画は imagine_image_to_video または(レガシー)generate_video として表示されます。ツールリストにある方の組み合わせを使用してください。画像→動画ツールがまったくない場合のみ、停止して説明してください。コードでフレームを描画してモーションを偽装しないでください。
このスキルはオプションの高密度モーションパスです。$generate2dsprite を置き換えるものではありません:
$generate2dsprite を使用する場合… | $video2dsprite を使用する場合… |
|---|---|
| 鮮明なピクセルシート、固定グリッド、アイデンティティが重要なキャラクター | より密度の高い中間ポーズ / より滑らかなループを求める場合 |
| 攻撃/キャストボディシート、プロップパック、エンジンアトラス | 動画出力 → フレーム → スプライト を試したい場合 |
| ほとんどのゲームスプライトのプロダクション標準 | ユーザーが明示的に動画 → フレーム → スプライトを要求した場合 |
動画はピクセルをソフトにし、アイデンティティをドリフトさせ、クロマフリンジを残します。常に品質確認を行い、プロダクション用キャラクターの場合は、ユーザーが動画ルックを希望しない限り、$generate2dsprite を優先してください。
パラメータ
ユーザーリクエストから推測:
subject: キャラクター/クリーチャーの説明、または既存の静止画へのパスaction:run|walk|idle|attack| カスタムモーションフレーズview: 通常side(横スクロール)。topdownは困難です — 警告し、カメラを固定duration:6(デフォルト)または10秒frame_counts: エクスポートする高密度セット、デフォルト8,16,24,48cell_size: 出力スプライトセル、デフォルト128anchor:feet(横方向移動のデフォルト) |centerbg: ソリッド#FF00FF(クロマキーに必須)name: 出力スラグout_dir: 作業フォルダ(デフォルト./sprites/video2dsprite/<name>/またはプロジェクト相対)
エージェントルール
- Grok専用。 非Grokランタイムでは、簡単な説明 +
$generate2dsprite代替案を示して拒否する。 - 静止画→動画、テキスト→動画単独は不可。 フレーム1を
imagine_text_to_image(プロンプトから、または参照file_pathから)でクリーンな静止画として準備する。その後、その静止画のfile_pathを使用してimagine_image_to_videoを呼び出す。 - その場でのモーション。 ランニング/ウォーキングはその場で、固定方向を向いて行うようにプロンプトする。カメラパン、背景スクロール、シーンチェンジなし。被写体はおおよそ中央に留まる。
- ソリッドマゼンタ背景をベースに設定し、動画プロンプトでも保持する(
#FF00FF/ ピュアマゼンタ)。フラッドフィルクロマキーに必須。 - PIL/Canvasでアートをでっち上げない。 ベースアートは
imagine_text_to_imageまたはユーザー/ローカルの静止画から。スクリプトは後処理のみ行う。 - 実験的な出力をゲームに入れない(ユーザーが統合を依頼した場合を除く)。
- ゲーム用途には1つの移動サイクルを推奨。 6秒のマルチサイクルクリップ全体からの密なサンプリングはプレビュー用に適しています。エンジンシート用には、視覚的な品質確認後、オプションで1サイクル(12~16フレーム)を再サンプリングします。
- 絶対パスを報告する — 動画、クリーンフレーム、ストリップ、プレビューGIFのパスをすべて出力後に報告。
ワークフロー
1. 計画
最小限の有用な実行を選択:
- 横方向のラン/ウォークループ → このスキル
- マルチアクションキャラクターキット → アクションごとに
$generate2dspriteを引き続き使用。移動目的のみ動画を使用(リクエストされた場合) - FX / プロジェクタイル / プロップパック →
$generate2dsprite、動画は不使用
以下を作成:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # デフォルト8フレームセット + 高密度 x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. ベース静止画の作成
オプション:
- A. 既存のスプライト: 画像を読み込み、必要に応じてソリッド
#FF00FF上に合成し、そのサンドボックスパスをimagine_image_to_image/imagine_image_to_videoに渡す - B. 新しいキャラクター:
imagine_text_to_imageをソリッドマゼンタ背景、全身、横方向、中央配置で使用 - C. 参照に合わせる: 参照
file_pathでimagine_image_to_imageを使用し、マゼンタ上に移動してアイデンティティを維持
ベース要件:
- 全身が表示され、十分なマゼンタマージンがあること
- ラン/ウォーク用の横方向ビュー(プロファイルまたは3/4側面)、足は下3分の1付近
- プロジェクトに参照がある場合、同じアートスタイルであること
- テキスト、UI、透かし、2番目のキャラクターがないこと
返された file_path をコピーして <out_dir>/base/<name>-base.png として保存。動画呼び出し用にベースの file_path を保持しておく。
正確な画像プロンプトを prompt-used.txt に書き込む。
3. imagine_image_to_video でアニメーション化
Grok imagine_image_to_video を呼び出す:
- ソースパス:
<ベース静止画 file_path>(T2I / I2I によって返されたサンドボックスパス) duration:6(デフォルト)または10resolution_name:480p(ユーザーが720pを要求した場合を除く)prompt: 1つの短い現在形ショット(references/prompt-rules.md を参照)
プロンプト内の必須モーション制約:
- 被写体はその場でラン/ウォーク(トレッドミルスタイル)
- カメラは固定 — パン、ズーム、軌道移動なし
- 背景はフラットなソリッドマゼンタのまま
- アイデンティティ、コスチューム、パレットはショット全体で安定
- 単一の連続アクションのみ
返された動画 file_path を <out_dir>/video/<name>-<duration>s.mp4 にコピーする。
動画ツールが利用できない場合は停止(プラットフォームゲート)。
4. 抽出 + クロマ + サンプリング(ローカルスクリプト)
プロセッサを実行(ffmpeg + Pillow + numpy):
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
注意:
--fps 0= デコードされたすべてのフレームを抽出(ソースfpsを使用)- マゼンタフラッドフィル(コーナーから)+ デスピル
--frame-countsの各カウントに対して均等サンプリング- 足正規化セル、水平ストリップ、グリッド、カウントごとのループGIF
オプション: 既存のクリーンフレームから高密度セットのみを再サンプリング:
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. 品質確認
視覚的に確認:
- プレビューGIFが大きなポップなしでループする
- マゼンタが除去されている(ソリッドピンクブロックなし); フリンジは許容されるか、再キーイング
- 足が安定したベースラインに留まっている(切り抜き不良による跳ねがない)
- アイデンティティがおおよそ安定している(顔/服が毎フレーム変化しない)
- アクションがその場で行われている(フレーム外にスライドしない)
- ゲーム用: 1つのカウントを選択(多くの場合16または24)、または1つの真のサイクルをカット
アイデンティティが大きくドリフトするか、ピクセルが柔らかすぎる場合は、プロダクションシートには $generate2dsprite にフォールバックし、動画セットはモーションリファレンスとしてのみ保持する。
6. 納品
パスのみを報告する(ユーザーがゲームに組み込むよう依頼した場合を除く):
- 動画:
video/*.mp4 - 高密度スプライト:
sprite/x16|x24|x48/ - ストリップ / グリッド / GIF:
sprite/run-strip-N.png,run-grid-N.png,run-preview-N.gif - メタ:
pipeline-meta.json
要求されない限り、ゲームコードを変更しない。
デフォルト
- 時間: 6秒
- アクション: 右向きのその場サイドラン
- エクスポートカウント: 8, 16, 24, 48
- セル: 128²、ボディ高さ ~100、足位置 y≈118
- 背景: #FF00FF
- マルチリファレンスよりも単一アセットの
imagine_image_to_videoを優先(必要に応じてimagine_text_to_imageでマルチリファレンスを合成)
トレードオフ(ユーザーに一度伝えること)
長所: より密度の高い中間フレーム → 4~8個の個別生成ポーズよりも滑らかに感じられることが多い。 短所: ピクセルがソフト、アイデンティティドリフト、クロマフリンジ、マルチサイクル6秒クリップは完全な1ループではない、アセットが重い。 経験則: 8→16→24 で通常滑らかさが向上。48は多くの場合、効果が薄い。145の生フレームはサンプリング用であり、すべてをランタイムで使用するわけではない。
リソース
- references/prompt-rules.md — ベース静止画 + 動画プロンプト
- references/pipeline.md — フォルダレイアウト、ffmpeg、サンプリング戦略
- scripts/video2dsprite.py — 抽出、クロマ、ノーマライズ、エクスポート
他のスキルとの関係
$generate2dsprite— プライマリシートパイプライン(Codex + Grok、画像生成が存在する場合)$generate2dmap— マップ。ここでは使用しない$video2dsprite— Grok Build 専用のモーション高密度化パス$game-asset-core/$game-animation-frames— ループ/フリップテスト/モーションルールとエンジン対応デフォルト。サンドボックス実行には引き続きこのスキルのスクリプトを使用(マゼンタベース + クロマ)。自由形式の背景色は使用しない