Video2dsprite (Grok Build専用) は何をしますか?
ベースとなる2Dキャラクター画像から、Grok Buildのネイティブ動画ツールを使用して高密度アニメーションスプライトを生成します。
ベース静止画 → image_to_video (その場モーション) → フレーム抽出 → クロマキー → サンプリング/正規化 → ストリップ / グリッド / GIF
プラットフォームゲート(最初にお読みください)
| ランタイム | 対応? |
|---|---|
| Grok Build (xAI) | はい — image_gen / image_edit + image_to_video(または reference_to_video)が必要 |
| Codex / Claude / その他エージェント | いいえ — Grokの動画ツールが不足しています。ユーザーにこのスキルはGrok Build専用であることを伝え、代わりに $generate2dsprite を提案してください |
ツール一覧に image_to_video がない場合は停止し、説明してください。コードで描いたフレームでモーションを偽装しないでください。
このスキルはオプションの高密度モーションパスです。$generate2dsprite を置き換えるものではありません。
$generate2dsprite を使用する場合… | $video2dsprite を使用する場合… |
|---|---|
| シャープなピクセルシート、固定グリッド、アイデンティティが重要なキャラクター | ユーザーがより密度の高い中間ポーズや滑らかなループを求める場合 |
| 攻撃/キャストボディシート、プロップパック、エンジンアトラス | 動画出力からの走る/歩く/待機モーションを試す場合 |
| ほとんどのゲームスプライトのプロダクションデフォルト | ユーザーが明示的に動画 → フレーム → スプライトを要求した場合 |
動画はピクセルを柔らかくし、アイデンティティをずらし、クロマフリンジを残します。必ず品質確認を行ってください。本番キャラクターには、ユーザーが動画ルックを求めている場合を除き、$generate2dsprite を推奨します。
パラメータ
ユーザーリクエストから推論します。
subject: キャラクター/クリーチャーの説明、または既存の静止画へのパスaction:run|walk|idle|attack| カスタムモーションフレーズview: 通常はside(横スクロール)。topdownは難しいため警告し、カメラを固定したままにしてくださいduration:6(デフォルト)または10秒frame_counts: エクスポートする高密度セット、デフォルト8,16,24,48cell_size: 出力スプライトセル、デフォルト128anchor:feet(サイド移動のデフォルト) |centerbg: 単色#FF00FF(クロマキー必須)name: 出力スラッグout_dir: 作業フォルダ(デフォルト./sprites/video2dsprite/<name>/またはプロジェクト相対)
エージェントルール
- Grok専用。 非Grokランタイムでは、簡単な説明と
$generate2dspriteの代替案を示して拒否してください。 - 静止画 → 動画、テキスト→動画単独では不可。 フレーム1はクリーンな静止画(
image_genまたは参照からimage_edit)として構築してください。その後image_to_videoを呼び出します。 - その場モーション。 固定方向を向いたその場でのラン/ウォークをプロンプトします。カメラパン、背景スクロール、シーンチェンジは禁止。被写体はほぼ中央に留めます。
- ベースと動画プロンプトに単色マゼンタ背景(
#FF00FF/ 純粋マゼンタ)を使用します。フラッドフィルクロマキーに必要です。 - PIL/Canvasでアートをでっち上げない。 ベースアートは
image_gen/image_editまたはユーザー/ローカルの静止画から取得します。スクリプトは後処理のみ行います。 - ユーザーが統合を要求しない限り、実験的な出力をゲームに組み込まない。
- ゲーム使用には1つの移動サイクルを推奨。 プレビューでは6秒のマルチサイクルクリップ全体から高密度サンプリングしても構いませんが、エンジンシートには視覚QC後に1サイクル(12~16フレーム)を再サンプリングすることを推奨します。
- 完了時に動画、クリーンフレーム、ストリップ、プレビューGIFの絶対パスを報告します。
ワークフロー
1. 計画
最も小さな有用な実行を選びます。
- サイドビューのラン/ウォークループ → このスキル
- マルチアクションキャラクターキット → アクションごとに
$generate2dspriteを引き続き使用。移動のみ動画を使用する場合はリクエストがあった場合のみ - FX / 投射物 / プロップパック →
$generate2dsprite、動画は使いません
作成:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # デフォルト8フレームセット + 高密度x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. ベース静止画の構築
オプション:
- A. 既存スプライト: 画像ツールで開く/画像を読み取り、必要に応じて単色
#FF00FF上に合成 - B. 新規キャラクター:
image_genで単色マゼンタ背景、全身、サイドビュー、中央配置 - C. 参照に合わせる: ユーザー参照から
image_editでマゼンタ上に、アイデンティティを維持
ベース要件:
- 全身が表示され、十分なマゼンタの余白があること
- ラン/ウォーク用のサイドビュー(横顔または3/4横)、足は下部3分の1付近
- 参照がある場合はプロジェクトの他のアートスタイルと同じであること
- テキスト、UI、透かし、2人目のキャラクターがないこと
<out_dir>/base/<name>-base.png として保存します。
正確な画像プロンプトを prompt-used.txt に書き込みます。
3. image_to_video でアニメーション化
Grokの image_to_video を呼び出します:
image: ベース静止画へのパスduration:6(デフォルト)または10resolution_name:480p(ユーザーが720pを要求した場合を除く)prompt: 短い現在形のショット1つ(references/prompt-rules.md 参照)
プロンプト内の必須モーション制約:
- 被写体がその場で走る/歩く(トレッドミル形式)
- カメラロック — パン、ズーム、軌道移動なし
- 背景はフラットな単色マゼンタを維持
- アイデンティティ、コスチューム、パレットはショット全体で安定
- 単一の連続アクションのみ
返された動画を <out_dir>/video/<name>-<duration>s.mp4 にコピーします。
動画ツールが利用できない場合は停止します(プラットフォームゲート)。
4. 抽出 + クロマキー + サンプリング(ローカルスクリプト)
プロセッサを実行します(ffmpeg + Pillow + numpy):
python skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
注意:
--fps 0= デコードされたすべてのフレームを抽出(ソースfpsを使用)- コーナーからのマゼンタフラッドフィル + デスピル
--frame-countsの各カウントに対して均等サンプリング- 足正規化セル、水平ストリップ、グリッド、カウントごとのループGIF
オプション: 既存のクリーンフレームから高密度セットのみを再サンプリング:
python skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. 品質確認
視覚的に確認:
- プレビューGIFが大きな飛びなしでループする
- マゼンタが除去されている(固いピンクブロックなし); フリンジは許容範囲または再キー処理
- 足が安定したベースラインに留まっている(不適切なクロップによる飛び跳ねなし)
- アイデンティティがほぼ安定している(顔/服が毎フレーム変形しない)
- アクションがその場で行われている(フレーム外に滑り出さない)
- ゲーム用: 1つのカウントを選択(多くの場合16または24)、または1つの真のサイクルを切り出す
アイデンティティが大きくずれるかピクセルが柔らかすぎる場合は、プロダクションシートには $generate2dsprite にフォールバックし、動画セットはモーション参照としてのみ保持します。
6. 提供
パスのみを報告(ユーザーがゲームに組み込むよう要求した場合を除く):
- 動画:
video/*.mp4 - 高密度スプライト:
sprite/x16|x24|x48/ - ストリップ / グリッド / GIF:
sprite/run-strip-N.png、run-grid-N.png、run-preview-N.gif - メタ:
pipeline-meta.json
要求されない限り、ゲームコードを変更しないでください。
デフォルト
- 期間: 6秒
- アクション: その場でのサイドラン、右向き
- エクスポートカウント: 8, 16, 24, 48
- セル: 128²、身長約100、足y≈118
- 背景: #FF00FF
reference_to_videoよりもimage_to_videoを優先(必要に応じて最初にimage_editでマルチ参照を合成)
トレードオフ(ユーザーに一度伝えてください)
メリット: 高密度中間ポーズ → 4~8の離散生成ポーズよりも滑らかに感じられることが多い。 デメリット: ピクセルが柔らかい、アイデンティティがずれる、クロマフリンジ、6秒のマルチサイクルクリップは単一の完全なループではない、アセットが重い。 経験則: 8→16→24で通常滑らかさが向上。48は多くの場合、効果が薄い。145の生フレームはサンプリング用であり、すべてをランタイムで使うわけではありません。
リソース
- references/prompt-rules.md — ベース静止画 + 動画プロンプト
- references/pipeline.md — フォルダ構成、ffmpeg、サンプリング戦略
- scripts/video2dsprite.py — 抽出、クロマキー、正規化、エクスポート
他のスキルとの関係
$generate2dsprite— プライマリシートパイプライン(Codex + Grok、画像生成がある場合)$generate2dmap— マップ用。ここでは使用しません$video2dsprite— Grok Build限定 モーション高密度化パス