Video2dsprite(僅限 Grok Build)
使用 Grok Build 的原生影片工具,將基礎 2D 角色圖轉換為密集動畫精靈。
基礎靜態圖 → image_to_video(原地動作)→ 提取影格 → 色鍵 → 取樣/標準化 → 精靈條 / 網格 / GIF
平台限制(請先閱讀)
| 執行環境 | 支援? |
|---|---|
| Grok Build (xAI) | 是 — 需要 image_gen / image_edit + image_to_video(或 reference_to_video) |
| Codex / Claude / 其他代理程式 | 否 — 它們缺乏 Grok 的影片工具。請告知使用者此技能僅限 Grok Build,並改為提供 $generate2dsprite |
如果工具列表中缺少 image_to_video,請停止並解釋原因。不要使用程式繪製的影格來偽造動作。
此技能是選用的密集動作路徑。它不能取代 $generate2dsprite:
何時使用 $generate2dsprite… | 何時使用 $video2dsprite… |
|---|---|
| 清晰的像素圖、固定網格、需要身分識別的重要角色 | 使用者想要更密集的中間姿勢 / 更平滑的循環效果 |
| 攻擊/施法身體表、道具包、引擎圖集 | 嘗試使用影片來源的跑步/行走/待機動作 |
| 大多數遊戲精靈的生產預設值 | 使用者明確要求影片 → 影格 → 精靈 |
影片會使像素柔化、角色特徵飄移,並產生色鍵殘邊。務必進行品質檢查;對於生產級角色,除非使用者想要影片效果,否則優先使用 $generate2dsprite。
參數
從使用者請求中推斷:
subject:角色/生物描述,或現有靜態圖的路徑action:run|walk|idle|attack| 自訂動作短語view:通常為side(橫向捲軸)。topdown較困難 — 請警告並保持鏡頭鎖定duration:6(預設)或10秒frame_counts:要匯出的較密集集合,預設為8,16,24,48cell_size:輸出精靈尺寸,預設為128anchor:feet(側面移動的預設值)|centerbg:純色#FF00FF(色鍵所需)name:輸出別名out_dir:工作資料夾(預設為./sprites/video2dsprite/<name>/或相對於專案)
代理程式規則
- 僅限 Grok。 在非 Grok 執行環境上拒絕,並附上簡短說明及
$generate2dsprite替代方案。 - 靜態圖 → 影片,絕不單獨使用文字轉影片。 將影格 1 作為乾淨的靜態圖(使用
image_gen或從參考圖像使用image_edit)。然後呼叫image_to_video。 - 原地動作。 提示跑步/行走原地進行,面向固定方向。無鏡頭平移、無背景捲動、無場景變換。主體大致保持在畫面中央。
- 基礎圖和影片提示中保留純洋紅色背景(
#FF00FF/ 純洋紅)。泛洪填充色鍵所需。 - 不要使用 PIL/Canvas 憑空創造藝術品。 基礎藝術品來自
image_gen/image_edit或使用者/本機靜態圖。腳本僅進行後處理。 - 除非使用者要求整合,否則不要將實驗性輸出放入遊戲中。
- 遊戲使用偏好一個移動循環。 對於預覽,密集取樣整個 6 秒多循環片段是可以的;對於引擎圖表,可以在視覺品質檢查後選擇性地重新取樣單一循環(12–16 影格)。
- 完成時報告絕對路徑,包括影片、清理後的影格、精靈條和預覽 GIF。
工作流程
1. 規劃
選擇最小可行的執行:
- 側視跑步/行走循環 → 此技能
- 多動作英雄套件 → 每個動作仍使用
$generate2dsprite;僅在使用者要求時對移動使用影片 - 特效 / 投射物 / 道具包 →
$generate2dsprite,非影片
建立:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # 預設 8 影格集 + 更密集的 x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. 建立基礎靜態圖
選項:
- A. 現有精靈: 使用圖像工具開啟 / 讀取圖像,如有必要合成到純色
#FF00FF背景上 - B. 新角色:
image_gen搭配純洋紅色背景、全身、側視、置中 - C. 比對參考: 從使用者參考圖像使用
image_edit合成到洋紅色背景上,保留角色特徵
基礎要求:
- 全身可見,留有充足洋紅色邊距
- 側視用於跑步/行走(側面或 3/4 側面),腳部靠近底部三分之一處
- 當有參考圖像時,與專案其餘部分的藝術風格一致
- 無文字、UI、浮水印或第二個角色
儲存為 <out_dir>/base/<name>-base.png。
將確切的圖像提示寫入 prompt-used.txt。
3. 使用 image_to_video 製作動畫
呼叫 Grok image_to_video:
image:基礎靜態圖的路徑duration:6(預設)或10resolution_name:480p,除非使用者要求720pprompt:一個簡短的現在式鏡頭(參見 references/prompt-rules.md)
提示中的強制性動作限制:
- 主體原地跑步/行走(跑步機風格)
- 鏡頭鎖定 — 無平移、無縮放、無環繞
- 背景保持平坦純洋紅色
- 整個鏡頭中角色特徵、服裝、色調保持穩定
- 僅限單一連續動作
將傳回的影片複製到 <out_dir>/video/<name>-<duration>s.mp4。
如果影片工具不可用,則停止(平台限制)。
4. 提取 + 色鍵 + 取樣(本機腳本)
執行處理器(ffmpeg + Pillow + numpy):
python skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
備註:
--fps 0= 提取每個解碼影格(使用來源影格率)- 從角落進行洋紅色泛洪填充 + 去色偏
- 對
--frame-counts中的每個計數進行均勻取樣 - 腳部標準化單元格、水平條、網格、每個計數的循環 GIF
可選:僅從現有清理後的影格重新取樣更密集的集合:
python skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. 品質檢查
視覺檢查:
- 預覽 GIF 循環時沒有明顯跳動
- 洋紅色消失(無實心粉紅區塊);可接受殘邊或重新色鍵
- 腳部保持在穩定的基準線上(無因裁切不良導致的跳躍)
- 角色特徵大致穩定(臉部/衣服不會每幀變形)
- 動作是原地進行的(不會滑出畫面)
- 對於遊戲使用:選擇一個計數(通常是 16 或 24)或裁剪出一個真實循環
如果角色特徵嚴重飄移或像素過於柔軟,則退回使用 $generate2dsprite 製作生產用圖表,並將影片集僅作為動作參考。
6. 交付
僅報告路徑(除非使用者要求整合到遊戲中):
- 影片:
video/*.mp4 - 密集精靈:
sprite/x16|x24|x48/ - 精靈條 / 網格 / GIF:
sprite/run-strip-N.png、run-grid-N.png、run-preview-N.gif - 元資料:
pipeline-meta.json
除非要求,否則不要修改遊戲程式碼。
預設值
- 持續時間:6s
- 動作:側面原地跑步,面向右
- 匯出計數:8, 16, 24, 48
- 單元格:128²,身體高度約 100,腳部在 y≈118
- 背景:#FF00FF
- 優先使用
image_to_video而非reference_to_video(如有需要,先使用image_edit合成多個參考)
取捨(告知使用者一次)
優點: 更密集的中間幀 → 通常感覺比 4–8 個離散生成姿勢更平滑。
缺點: 像素柔化、角色特徵飄移、色鍵殘邊、多循環 6 秒片段不是一個完美的單一循環、資源更重。
經驗法則: 8→16→24 通常能提升平滑度;48 通常效益遞減;145 個原始影格是為了取樣,並非全部用於執行時期。
資源
- references/prompt-rules.md — 基礎靜態圖 + 影片提示
- references/pipeline.md — 資料夾佈局、ffmpeg、取樣策略
- scripts/video2dsprite.py — 提取、色鍵、標準化、匯出
與其他技能的關係
$generate2dsprite— 主要圖表管道(Codex + Grok,當具備圖像生成功能時)$generate2dmap— 地圖;此處不使用$video2dsprite— Grok Build 獨佔的動作密集化路徑