Video2dsprite(僅限 Grok Build)
將基礎 2D 角色圖片轉換為密集動畫精靈,使用 Grok Build 原生的影片工具。
App-builder / Grok 環境
| 項目 | 值 |
|---|---|
| 技能目錄 | .grok/skills/video2dsprite/ |
| 腳本 | python3 .grok/skills/video2dsprite/scripts/video2dsprite.py … |
| 影片工具 | imagine_image_to_video — 動畫化一個基底 file_path(確認存在) |
| 檢查 | 對靜態圖/影格使用 read_file;報告影片路徑 |
| 依賴 | ffmpeg + Pillow + numpy(app-builder 映像中已預裝) |
| 輸出主目錄 | assets/sprites/video2dsprite/<name>/ 位於 /workspace 下 |
| 預設 | 英雄角色請優先使用 generate2dsprite;此為更密集的動作路徑 |
base still → imagine_image_to_video (in-place motion) → extract frames → chroma key → sample/normalize → strip / grid / GIF
平台閘道(請先閱讀)
| 執行環境 | 是否支援? |
|---|---|
| Grok Build (xAI) | 是 — 需要一個圖片生成器 + 一個圖片轉影片工具 |
| Codex / Claude / 其他代理 | 否 — 它們缺少 Grok 影片工具。請告知使用者此技能僅限 Grok Build,並提供 $generate2dsprite 作為替代 |
根據能力閘控,而非工具名稱的精確匹配。 圖片生成功能呈現為 imagine_text_to_image / imagine_image_to_image;影片呈現為 imagine_image_to_video 或(舊版)generate_video。請使用你工具清單中有的那一組。僅在你完全沒有圖片轉影片工具時才停止並解釋。不要用程式繪製的影格來偽造動作。
此技能是一個可選的更密集動作路徑。它不取代 $generate2dsprite:
當…時使用 $generate2dsprite | 當…時使用 $video2dsprite |
|---|---|
| 清晰的像素工作表、固定網格、辨識度關鍵的角色 | 使用者想要更密集的中間姿勢 / 更流暢的循環感 |
| 攻擊/施法身體表、道具包、引擎圖集 | 嘗試從影片來源的奔跑/行走/待機動作 |
| 大多數遊戲精靈的生產預設 | 使用者明確要求影片 → 影格 → 精靈 |
影片會柔化像素、偏移角色辨識度,並留下色鍵邊緣。務必進行品質檢查;對於英雄角色,除非使用者想要影片效果,否則請優先使用 $generate2dsprite。
參數
從使用者請求中推斷:
subject:角色 / 生物描述,或現有靜態圖的路徑action:run|walk|idle|attack| 自訂動作短語view:通常是side(橫向卷軸)。topdown較困難 — 請警告並保持鏡頭鎖定duration:6(預設)或10秒frame_counts:要匯出的較密集影格組,預設為8,16,24,48cell_size:輸出精靈單元格,預設為128anchor:feet(側面移動的預設值)|centerbg:純色#FF00FF(色鍵所需)name:輸出代號out_dir:工作資料夾(預設為./sprites/video2dsprite/<name>/或專案相關路徑)
代理規則
- 僅限 Grok。 在非 Grok 執行環境中,以簡短說明 +
$generate2dsprite替代方案拒絕。 - 靜態圖 → 影片,絕不單獨使用文字生成影片。 先用
imagine_text_to_image(從提示或參考file_path)將影格 1 建立為乾淨的靜態圖。然後使用該靜態圖的file_path呼叫imagine_image_to_video。 - 原地動作。 提示詞要求奔跑/行走原地進行,面向固定方向。無鏡頭平移、無背景滾動、無場景變化。主體大致保持居中。
- 基底和影片提示中保留純洋紅色背景(
#FF00FF/ 純洋紅)。對於洪水填充式色鍵是必需的。 - 不要用 PIL/Canvas 憑空創造美術。 基底美術來自
imagine_text_to_image或使用者/本機靜態圖。腳本僅進行後處理。 - 除非使用者要求整合,否則不要將實驗性輸出放入遊戲中。
- 遊戲用途優先選擇一個動作循環。 對整個 6 秒多循環片段進行密集取樣以供預覽是可行的;對於引擎工作表,在視覺品質檢查後,可以選擇性地重新取樣單一循環(12–16 影格)。
- 完成時報告影片、清理後的影格、條狀圖和預覽 GIF 的絕對路徑。
工作流程
1. 規劃
選擇最小可用的執行:
- 側視奔跑/行走循環 → 此技能
- 多動作英雄套件 → 每個動作仍使用
$generate2dsprite;僅在使用者要求時才使用影片進行動作 - 特效 / 投射物 / 道具包 →
$generate2dsprite,非影片
建立:
<out_dir>/
base/
video/
frames-raw/
frames-clean/
sprite/ # 預設 8 影格組 + 更密集的 x16/x24/x48
prompt-used.txt
pipeline-meta.json
README.txt
2. 建構基底靜態圖
選項:
- A. 現有精靈: 讀取圖片,必要時合成到純色
#FF00FF上,然後將該沙箱路徑傳遞給imagine_image_to_image/imagine_image_to_video - B. 新角色: 使用
imagine_text_to_image生成,搭配純洋紅色背景、全身、側面視角、居中 - C. 匹配參考: 使用參考
file_path進行imagine_image_to_image,將其移至洋紅色背景上並保留角色辨識度
基底要求:
- 全身可見,充足的洋紅色邊距
- 奔跑/行走為側面視角(側面或 3/4 側面),腳部靠近底部三分之一處
- 當有參考圖時,美術風格與專案其餘部分一致
- 無文字、UI、浮水印或第二個角色
複製回傳的 file_path 並儲存為 <out_dir>/base/<name>-base.png;為影片呼叫保留基底 file_path。
將確切的圖片提示寫入 prompt-used.txt。
3. 使用 imagine_image_to_video 製作動畫
呼叫 Grok imagine_image_to_video:
- 來源路徑:
<基底靜態圖 file_path>(T2I / I2I 回傳的沙箱路徑) duration:6(預設)或10resolution_name:480p,除非使用者要求720pprompt:一個簡短的現在式鏡頭(參見 references/prompt-rules.md)
提示中的強制動作約束:
- 主體原地奔跑/行走(跑步機風格)
- 鏡頭鎖定 — 無平移、縮放或環繞
- 背景保持純色平面洋紅
- 在整個鏡頭中,角色辨識度、服裝、調色板保持穩定
- 僅限單一連續動作
將回傳的影片 file_path 複製到 <out_dir>/video/<name>-<duration>s.mp4。
如果影片工具不可用,則停止(平台閘道)。
4. 萃取 + 色鍵 + 取樣(本機腳本)
執行處理器(ffmpeg + Pillow + numpy):
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py process \
--video <out_dir>/video/<name>-6s.mp4 \
--out-dir <out_dir> \
--name <name> \
--frame-counts 8,16,24,48 \
--cell-size 128 \
--body-height 100 \
--foot-y 118 \
--fps 0
備註:
--fps 0= 萃取每個解碼影格(使用來源幀率)- 從角落進行洋紅色洪水填充 + 去色偏
- 對
--frame-counts中的每個計數進行均勻取樣 - 腳部正規化的單元格、水平條狀圖、網格、每個計數的循環 GIF
可選:僅從現有已清理的影格重新取樣更密集的組合:
python3 .grok/skills/video2dsprite/scripts/video2dsprite.py sample \
--clean-dir <out_dir>/frames-clean \
--out-dir <out_dir> \
--frame-counts 16,24,48 \
--cell-size 128
5. 品質檢查
視覺檢查:
- 預覽 GIF 循環沒有明顯跳動
- 洋紅色已去除(無純粉紅區塊);邊緣殘留可接受,或重新進行色鍵
- 腳部保持在穩定的基準線上(無因不當裁切造成的跳躍)
- 角色辨識度大致穩定(臉部/服裝未在每個影格中變形)
- 動作是原地進行(未滑出畫面)
- 遊戲用途:選擇一個計數(通常是 16 或 24)或擷取一個真實循環
如果角色辨識度嚴重偏移或像素過於模糊,請退回到 $generate2dsprite 以製作生產工作表,並將影片組合僅保留作為動作參考。
6. 交付
僅報告路徑(除非使用者要求連接到遊戲中):
- 影片:
video/*.mp4 - 密集精靈:
sprite/x16|x24|x48/ - 條狀圖 / 網格 / GIF:
sprite/run-strip-N.png、run-grid-N.png、run-preview-N.gif - 元資料:
pipeline-meta.json
除非要求,否則不要修改遊戲程式碼。
預設值
- 持續時間:6 秒
- 動作:側面原地奔跑,面朝右方
- 匯出計數:8、16、24、48
- 單元格:128²,身體高度約 100,腳部在 y≈118
- 背景:#FF00FF
- 優先使用單一資產
imagine_image_to_video而非多參考(如有需要,先用imagine_text_to_image合成多參考)
取捨(向使用者說明一次)
優點: 更密集的中間影格 → 通常感覺比 4–8 個離散生成姿勢更流暢。 缺點: 像素較軟、角色辨識度偏移、色鍵邊緣、多循環 6 秒片段非單一完美循環、資產更重。 經驗法則: 8→16→24 通常能獲得流暢度;48 通常邊際效應遞減;145 個原始影格是供取樣用,並非全部用於執行期。
資源
- references/prompt-rules.md — 基底靜態圖 + 影片提示
- references/pipeline.md — 資料夾佈局、ffmpeg、取樣策略
- scripts/video2dsprite.py — 萃取、色鍵、正規化、匯出
與其他技能的關係
$generate2dsprite— 主要工作表管線(Codex + Grok,當存在圖片生成工具時)$generate2dmap— 地圖;此處未使用$video2dsprite— Grok Build 獨佔的動作密集化路徑$game-asset-core/$game-animation-frames— 循環/翻轉測試/動作規則和引擎就緒預設值;沙箱執行仍使用此技能的腳本(洋紅色基底 + 色鍵),而非任意背景顏色