遊戲素材管線 — 本地AI
機器
- Windows 10, RTX 3090 24 GB, 28 GB RAM (→40 GB), Xeon E5-2696 v4
- ComfyUI 0.44.0 位於
D:\AI\ComfyUI,模型位於D:\AI\models\ - 文件:
D:\AI\SETUP_DOCUMENTATION.md、D:\AI\HANDOFF.md、D:\AI\PROJECTS.md
任務 → 模型對應
| 任務 | 模型 | 工作流程 | 備註 |
|---|---|---|---|
| 快速通用圖像 | Z-Image Turbo (int8/FP8) | image_z_image_turbo_int8.json | 8-9步,CFG 1.0,1024-1344px |
| 動畫插圖 | Nova Anime XL v19 / Prefect Pony XL v6 | nova_anime_xl_v19.json / prefect_pony_xl_v6.json | 28步,CFG 5-6,CLIP跳過 2 |
| 結構引導(姿態/深度/邊緣) | Z-Image Turbo + ControlNet Union | image_z_image_turbo_fun_union_controlnet_int8.json | 輸入影像驅動結構 |
| 精靈圖(像素藝術) | SDXL + Pixel-Art-XL LoRA(尚未安裝) | 待建立 | 最近鄰縮小,調色板限制 |
| 可平鋪紋理 | Z-Image Turbo 或 SDXL + 可平鋪 LoRA | 待建立 | + TextureAlchemy PBR萃取 |
| 3D道具 | Pixal3D / TRELLIS.2(原生) | 3d_pixal3d_trellis2_image_to_model.json | GLB + PBR,1024-1536px |
| 影片片段 | MiniMax H3(Ref2VA) | video_minimax_h3_r2v_safe.json | 5秒 864x480,4步turbo;15秒約23分鐘 |
| 概念藝術 / 天空球 | Z-Image Turbo | t2i 工作流程 | 用於360度天空的等距柱狀投影 LoRA |
精靈圖管線
- 使用 SDXL + Pixel-Art-XL LoRA(或 Z-Image + 像素風格)在 1024px 生成。
- 使用最近鄰演算法縮小至 32/48/64/96/128 px。
- 限制調色板至 16-32 色(Aseprite / Pixelorama)。
- 手動清理(修正離散像素,對齊輪廓)。
- 一致性:鎖定種子碼,使用 ControlNet OpenPose 控制姿態,或訓練角色 LoRA。
- 動畫:使用 ControlNet 生成關鍵幀;手動清理;打包成精靈圖表。
誠實限制: AI 生成的是「類像素藝術」圖像,而非真正的像素格。走路循環需要手動清理。雲端工具(PixelLab、Retro Diffusion、Sprite AI)在動畫方面更即用,但本地方案在隱私、成本與風格一致性上佔優。
紋理管線
- 可平鋪漫射貼圖:SDXL + 可平鋪 LoRA 或 Z-Image Turbo,1024/2048px,俯視提示詞。
- 無縫修復:TextureAlchemy「無縫平鋪製作器」+ 修補接縫。
- PBR萃取:TextureAlchemy(Marigold/Lotus)→ 法線、粗糙度、金屬度、AO、高度、曲率。
- 替代方案:CHORD(Ubisoft,僅研究用途 — 不可商用)。
- 後處理:Texture Equalizer(移除烘焙光照),為 Unity/Unreal 封裝 ORM 通道。
- 使用 SeedVR2(保守、開源)或 ESRGAN(快速)放大至 2K/4K。
誠實限制: 有機/風格化材質效果很好;精確的參數化建築(如磚紋)仍應使用 Substance Designer。CHORD 僅供研究。
3D管線
- 概念圖(Z-Image Turbo)— 乾淨背景,正面視角。可選多視角。
- 圖像轉 3D:ComfyUI 範本「Pixal3D & TRELLIS.2」→ GLB + PBR。
- Boolean 關閉 = Pixal3D(較佳輸入忠實度),開啟 = TRELLIS.2(複雜拓撲)。
- 在 ComfyUI 中後處理(重新網格化、減面、填補孔洞、平滑法線)或 Blender。
- 在 Blender 中進行重拓撲/UV/LOD/碰撞準備;遊戲就緒階段。
- 骨架綁定:SkinTokens(MIT,自動綁定,約 6 GB GGML)或 Mesh2Motion(免費、本地、類似 Mixamo)。
- 匯出 FBX/GLB 至引擎。
誠實限制: 靜態道具經清理後即可使用;角色需要手動綁骨/權重繪製;動畫是最困難的部分。封閉原始碼的雲端服務(Meshy、Tripo、Rodin)在角色方面表現仍較佳。
一致性與自動化
- 工作流程 JSON 存於專案儲存庫中。 提交它們;相同工作流程 + 相同種子碼 = 可重現的輸出。
- 暫存區資料夾紀律: 輸出 →
staging/,經人工審查,再移至引擎專案。 - ComfyUI API: 將工作流程 JSON POST 至
/prompt;輪詢/history或使用 WebSocket。 - LoRA訓練: 使用 Kohya sd-scripts。SDXL 需 12-16 GB,FLUX 需 16-24 GB。10-30 張影像,1024px,1000-2500 步。這是達成連貫美術風格的關鍵。
授權注意事項(個人使用無限制;商用請注意:)
| 類別 | 模型 | 可商用? |
|---|---|---|
| Apache 2.0 / MIT | Z-Image/Turbo、FLUX.2 klein 4B、FLUX.1 schnell、Qwen-Image/2512、ERNIE、HiDream (MIT)、GLM (MIT)、LongCat、Pixal3D、TRELLIS.2 (MIT)、SkinTokens (MIT)、Mesh2Motion | 是 |
| 營收上限 | FLUX 3 Klein (<$500萬 + 過濾器/審查)、SD 3.5 (<$100萬)、Krea 2 (<$100萬)、Stable Fast 3D (<$100萬) | 在門檻以下即可 |
| 非商用 | FLUX.1 dev、FLUX.2 dev/klein 9B、Qwen-Image-2.1、Ideogram 4、HunyuanImage-3.0(屬地限制) | 否 |
| 僅研究用途 | CHORD (Ubisoft PBR)、Marigold/Lotus(請檢查) | 僅供原型 |
另外:Steam 要求已發行遊戲揭露 AI 使用。Civitai LoRA 有其個別授權。美國版權法要求人類原創性。
已安裝 vs. 未安裝
已安裝: Z-Image Turbo、Nova Anime XL、Prefect Pony XL、Pixal3D、TRELLIS.2、MiniMax H3、ControlNet Union、BiRefNet、MoGe、DINOv3。
未安裝(可應要求安裝): SDXL 基底、FLUX、像素藝術 LoRA、SDXL ControlNet、H3 FL2VA、放大模型(ESRGAN/SeedVR2)、紋理 LoRA、Kohya 訓練工具、Krita AI Diffusion、Aseprite/Pixelorama。
參考資料
D:\AI\SETUP_DOCUMENTATION.md— 完整13章節參考D:\AI\HANDOFF.md— 代理快速參考(安裝程序)D:\AI\PROJECTS.md— 專案追蹤D:\AI\README.txt— 使用者快速參考- 提示詞儲存庫:booru-prompt-gallery、sd-akashic、SupaGruen cheat sheet、Dalabad templates、roblaughter style-reference、zsky prompt library