Communitygithub.com

影片與VFX本地優化技能 (RTX 3060 12GB / 32GB RAM / Win 11)

針對RTX 3060 12GB VRAM、Ryzen 9 5900X及32GB RAM的Windows 11系統,選擇、優化並除錯在地的AI影片生成、動態遮罩、法線貼圖、3D攝影機追蹤、色彩管理OCIO/ACES 2.0、音效/Foley AI、OBS Spout2、TouchDesigner/Blender即時串流、影片超解析度及JavaScript卸載等管線。

32GB RAM / Win 11) 是什麼?

這項技能專為資源有限的桌上型電腦(RTX 3060 12GB、Ryzen 9 5900X、32GB RAM、Windows 11)所設計,提供一套嚴謹且優化的本地VFX與AI影片工作流程。它包含硬體限制的硬性規則,例如VRAM上限(12GB GDDR6,不支援原生FP8 Tensor Cores)及系統記憶體限制(32GB,實際可用約22-24GB),並提供具體的模型選擇、量化策略(GGUF、INT8)及記憶體管理技巧(VRAM_Debug、順序卸載)。此技能支援多個平台,包括ComfyUI、TouchDesigner、Blender及OBS,並整合了許多專業級功能,如動態遮罩(MatAnyone 2)、法線貼圖(NormalCrafter)、3D攝影機追蹤(Depth-Anything-3、CoTracker3)、ACES 2.0色彩管理、基於物理的火焰模擬(不可壓縮Navier-Stokes)、PBR重新打光及JavaScript/CPU卸載(Remotion)。其獨特的量化測試(4 Gates)確保火焰/VFX合成在輸出前,必須通過運動耦合、色彩準確度及對比度的嚴格驗證。

相容平台~Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/Leopoldoleoncancino/video-vfx-ai-bible/tree/main/skills/video-vfx-3060-12gb-local

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

影片與VFX本地優化技能 (RTX 3060 12 GB / 32 GB RAM / Win 11)

何時啟用此技能

當使用者要求安裝、選擇模型、建構 ComfyUI/Wan2GP 流程、進行動態遮罩(rotoscoping)、產出法線貼圖、執行 3D 攝影機追蹤、設定 OCIO 色彩管理、生成 Foley/字幕/TTS、連接 TouchDesigner + Blender + OBS、模擬流體/火焰 GPU 加速,或在 Windows 11 上進行本地放大/補幀時,請啟用此技能。

硬體限制(不可違反)

  1. VRAM 上限 (12 GB GDDR6 Ampere sm_86):
    • RTX 3060 沒有原生 FP8 Tensor Cores (sm_86 < 8.9): 禁止在 WanVideoModelLoader 中啟用 fp8_fast 或針對 e4m3fn 使用 torch.compile;請使用 base_precision="bf16"、quantization="disabled"、attention_mode="sageattn"/"sdpa",以及 GGUF (Q3_K_M 8.64 GB / Q4_K_S 10.55 GB / Q5_K_M) 或 INT8 (quanto/mmgp) 權重。
    • 絕對不要同時將兩個大量的擴散模型/VLM 模型保留在 VRAM 中:應透過 VRAM_Debug (unload_all_models=true、empty_cache=true、gc_collect=true) 依序分段執行,並在 comfy-matanyone2/config.py 中設定 "max_mem_frames": 5。
  2. 系統 RAM 上限 (32 GB — Windows 11 實際可用約 22–24 GB):
    • 避免將 UMT5-XXL FP16 (~9.5 GB) 或 Gemma 與 A14B 專家保留在 RAM 中:請使用 WanVideoTextEncodeCached (use_disk_cache=true)、GGUF Q4/Q5 版本(或在 Lotus-2 中使用 flux_empty_embed.pt),並在長時間批次處理前關閉 Premiere、AE、Blender 及 Chrome(將 NVMe Pagefile 設為 >=32 GB)。
  3. 解析度、FPS 策略與研發測試(33f -> 167f,含 4 個量化關卡):
    • 在處理火焰/VFX 疊加於解剖學素材時,先執行關鍵的 33 幀 裁切(job_33f),透過 scripts/vfx_rd_metrics_eval.py 驗證 4 個量化關卡:
      • 關卡 0: 黑色髮絲的 ‖N‖ ∈ [0.99, 1.01]、fringe_delta_l < 0.03(使用 vfx_dual_matte_decontam.py)。
      • 關卡 1: 黑色拳頭的增益 <= 1.15x、SSDO 對比度 >= 3.5:1(使用 NormalCrafter 並啟用 invert_normal_y=True)、白色桌面 CIEDE2000 <= 1.5。
      • 關卡 2: 線性 HDR 峰值 >= 4.0、pastel_yellow_clip_pct <= 1.0%、salmon_wash_pct <= 2.0%(使用 Stephen Hill ACES Filmic RRT+ODT 或 PyOpenColorIO AgX Punchy 搭配 compose_hdr_on_plate_srgb,絕不使用簡單的 m_inset)、雜訊/MTF ±12%。
      • 關卡 3(運動↔火焰耦合): 在 v_hand_world = v_hand_screen - v_cam 與上方羽毛軌跡之間,lag_correlation >= 0.45 且 mean_wake_deflection_px >= 1.2 px(拒絕剛性的無狀態程序化火焰)。
    • 對於一般 I2V/T2V,以 640x360 或 832x480、16 fps 生成(81 幀約 5 秒),使用 SeedVR2 (3B + block_swap) 或 FlashVSR(tiling)放大,並在加入最終顆粒前,使用 Practical-RIFE 將 FPS 加倍。
  4. Windows 11 + ComfyUI Portable 實際問題 (python_embeded -s):
    • MatAnyone2 因 hatchling 錯誤(matanyone2/config/__init__.py 重複)在 pip install 時失敗 ➔ 直接將 matanyone2/ 資料夾複製到 python_embeded\Lib\site-packages\。
    • transformers 5.9.0 因存根問題在 import_utils.py 中引發 KeyError: 'flash_attn' ➔ 使用 .get("flash_attn", [])。
    • python_embeded -s 忽略 --user ➔ 始終使用 --target python_embeded\Lib\site-packages 安裝 OpenEXR、PyOpenColorIO、pymatting。
  5. JS/CPU 卸載與線性通道規則:
    • 如果某個部分是 HUD、動態文字、服裝目錄或輕量 WebGL 3D,請使用 JavaScript (Remotion ProRes 4444 Alpha、Motion Canvas、GSAP、Three.js + Playwright) 在 Ryzen 9 5900X 的 24 個執行緒上渲染,或通過 Web Render TOP (TD 2025.31550+) 即時渲染,以節省擴散的 VRAM。
    • 始終將技術通道(Normal、Depth、Roughness)保持為線性 Non-Color / Raw EXR 16F/32F,遠離 sRGB 伽瑪曲線。禁止對 HDR >1.0 的火焰使用 FrequencyCombineMEC,因為它會裁切至 [0, 1] SDR。

按使用案例快速選擇

  • 易用性 / 多模型 "GPU Poor": Wan2GP (deepbeepmeep/WanGP),搭配 mmgp 引擎 + INT8。
  • 原生音訊影片: LTX-2.3 / LTX-2.5 量化版(GGUF Q3_K_M/Q4_K_M)或 LTX-Desktop。
  • 長 I2V 鏡頭 (>10s 抗漂移): FramePack (lllyasviel/FramePack)。
  • 毛髮/布料動態遮罩與雙層遮罩: SAM 2 / SAM 3 (SegmentC2C) ➔ MatAnyone 2 (max_mem_frames=5) ➔ MatteDesk (ForegroundDecontaminate) / scripts/vfx_dual_matte_decontam.py ➔ ProRes 4444 Straight Alpha。
  • 物件移除 + 陰影 + 反射: EffectErase (FudanCVL/EffectErase) 或 ProPainter(用於電線/剛性標記)。
  • 3D 攝影機追蹤 / 動態匹配 / 點追蹤: 長片 AI 影片 ➔ Depth-Anything-3 (DA3-Streaming) 或 Pi3X (disable_multimodal()) 或 VGGT-1B(匯出 COLMAP);遮擋 ➔ CoTracker3 / AllTracker;次像素動態匹配 ➔ Blender Tracker / COLMAP(內建 GLOMAP;colmap/glomap 已棄用);1 張照片 ➔ perarnia/fSpy。
  • 法線貼圖(即時 <25 ms): DAViDNormals.tox(~10 ms 在 td-native-inference 中 ➔ Relight.tox)、TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag)、Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) 經由 Spout2 或 Depth-to-Normal (scripts/td_depth_to_normal.frag)。
  • 法線貼圖(後期 VFX): NormalCrafter --max-res 512(~6 GB、VizClickNormalCrafter + VizClickNormalTemporalStabilizer)、Lotus SD2.1(~4–8 GB 快速批次)、Lotus-2 FLUX GGUF(~8–11 GB 靜態圖微細節)、StableNormal-turbo + StableDelight(~6–9 GB)、MoGe-2/3、DeepBump。匯出為 Camera Space OpenGL +Y 向上,EXR 16F/32F 線性(FXTD-Studios/radiance / ComfyUI-ACES-IO)。
  • 色彩 OCIO (ACES 2.0 / AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP: sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct / ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull;RUDRA checkpoint 為非商業用途) · Python (aces_hill_filmic_tonemap / ocio_agx_tonemap + compose_hdr_on_plate_srgb 在 scripts/vfx_ssdo_relight_16f.py)。
  • AI 音效、Foley 與字幕: 幀同步 Foley ➔ hkchengrex/MMAudio(~6 GB fp16,權重 CC-BY-NC-4.0);逐字同步字幕 ➔ WhisperX(<8 GB);免費 CPU 降噪 ➔ DeepFilterNet;分離音軌 ➔ python-audio-separator / Demucs;TTS ➔ Chatterbox / F5-TTS / Kokoro(82M)。
  • 臉部 VFX 與 OBS 直播: 修飾/自然眼神 ➔ KlingAIResearch/LivePortrait(~4–8 GB);換臉 ➔ ReActor + CodeFormer(0.7–0.8、128px 警告);GPU 60 FPS 擷取 ➔ obs-spout2-plugin + royshil/obs-mcp(4455)。
  • TouchDesigner + Blender 即時串流(模組 C): TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp、Antigravity 中的 "serverUrl")+ TDMCPSkills(19 個 td-* 技能)或 Embody/Envoy(TDXN YAML);分離 VRAM 模式 1(Spout2 + StreamDiffusionTD)、2(GVHMR ~4.2 GB ➔ Blender mcp-for-blender)和 3(POPs + 3DGS)。
  • 火焰 / 能量 VFX 疊加於解剖學、GPU 不可壓縮流體與 PBR 重新打光(模組 A 階段 2.5 / 工作流程 4 · 路徑 G 與 B):
    1. 通用 16F 匯流排(~60s/33f): vfx_dual_matte_decontam.py(matte_skin vs matte_fabric)+ NormalCrafter 512px + DepthAnything V2/DA3。
    2. 具真實慣性的物理模擬(關卡 3):
      • 直接 GPU 選項(< 1 GB VRAM、< 1 分鐘): scripts/vfx_incompressible_fire_sim.py(不可壓縮 Navier-Stokes 流體,使用 Red-Black SOR 壓力投影、RANSAC Homography / LK 相機補償、BFECC clamped 平流、Vorticity Confinement、平流 Curl 舌頭、拉格朗日火花與連續前/後 Z-Buffer 遮擋)。相容替代方案:taichi-dev/taichi / tum-pbs/PhiFlow。
      • 3D 體積選項(路徑 C): scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(使用 cap_open_mesh_watertight 封閉 MANO 手腕的開放邊緣,以進行連續表面發射 velocity_factor=1.25 + shader 黑體薄片 Density=0.02 + Proxy_Black_Cuff 碰撞器,或匯出 .abc 至 JangaFX EmberGen / LiquiGen [OK-12GB])。禁止從地標上的鬆散球體發射。
    3. 耦合 PBR 重新打光 + 180° 動態模糊 + 色調映射(無鮭魚色洗白): scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True、MIP 金字塔 build_fire_irradiance_pyramid + extract_dynamic_lights_from_fire、apply_velocity_motion_blur shutter=0.5,以及使用 Stephen Hill ACES / PyOpenColorIO AgX Punchy 的 compose_hdr_on_plate_srgb)。
  • Windows 加速: woct0rdho/triton-windows + woct0rdho/SageAttention + TeaCache。

相關技能