影片與VFX本地優化技能 (RTX 3060 12 GB / 32 GB RAM / Win 11)
何時啟用此技能
當使用者要求安裝、選擇模型、建構 ComfyUI/Wan2GP 流程、進行動態遮罩(rotoscoping)、產出法線貼圖、執行 3D 攝影機追蹤、設定 OCIO 色彩管理、生成 Foley/字幕/TTS、連接 TouchDesigner + Blender + OBS、模擬流體/火焰 GPU 加速,或在 Windows 11 上進行本地放大/補幀時,請啟用此技能。
硬體限制(不可違反)
- VRAM 上限 (12 GB GDDR6 Ampere
sm_86):- RTX 3060 沒有原生 FP8 Tensor Cores (
sm_86 < 8.9): 禁止在WanVideoModelLoader中啟用fp8_fast或針對e4m3fn使用torch.compile;請使用base_precision="bf16"、quantization="disabled"、attention_mode="sageattn"/"sdpa",以及 GGUF (Q3_K_M8.64 GB /Q4_K_S10.55 GB /Q5_K_M) 或INT8(quanto/mmgp) 權重。 - 絕對不要同時將兩個大量的擴散模型/VLM 模型保留在 VRAM 中:應透過
VRAM_Debug(unload_all_models=true、empty_cache=true、gc_collect=true) 依序分段執行,並在comfy-matanyone2/config.py中設定"max_mem_frames": 5。
- RTX 3060 沒有原生 FP8 Tensor Cores (
- 系統 RAM 上限 (32 GB — Windows 11 實際可用約 22–24 GB):
- 避免將
UMT5-XXL FP16(~9.5 GB) 或Gemma與 A14B 專家保留在 RAM 中:請使用WanVideoTextEncodeCached(use_disk_cache=true)、GGUF Q4/Q5 版本(或在Lotus-2中使用flux_empty_embed.pt),並在長時間批次處理前關閉 Premiere、AE、Blender 及 Chrome(將 NVMe Pagefile 設為 >=32 GB)。
- 避免將
- 解析度、FPS 策略與研發測試(
33f -> 167f,含 4 個量化關卡):- 在處理火焰/VFX 疊加於解剖學素材時,先執行關鍵的 33 幀 裁切(
job_33f),透過scripts/vfx_rd_metrics_eval.py驗證 4 個量化關卡:- 關卡 0: 黑色髮絲的
‖N‖ ∈ [0.99, 1.01]、fringe_delta_l < 0.03(使用vfx_dual_matte_decontam.py)。 - 關卡 1: 黑色拳頭的增益
<= 1.15x、SSDO 對比度>= 3.5:1(使用NormalCrafter並啟用invert_normal_y=True)、白色桌面CIEDE2000 <= 1.5。 - 關卡 2: 線性 HDR 峰值
>= 4.0、pastel_yellow_clip_pct <= 1.0%、salmon_wash_pct <= 2.0%(使用 Stephen Hill ACES Filmic RRT+ODT 或PyOpenColorIO AgX Punchy搭配compose_hdr_on_plate_srgb,絕不使用簡單的m_inset)、雜訊/MTF±12%。 - 關卡 3(運動↔火焰耦合): 在
v_hand_world = v_hand_screen - v_cam與上方羽毛軌跡之間,lag_correlation >= 0.45且mean_wake_deflection_px >= 1.2 px(拒絕剛性的無狀態程序化火焰)。
- 關卡 0: 黑色髮絲的
- 對於一般 I2V/T2V,以
640x360或832x480、16 fps生成(81 幀約 5 秒),使用 SeedVR2 (3B +block_swap) 或 FlashVSR(tiling)放大,並在加入最終顆粒前,使用 Practical-RIFE 將 FPS 加倍。
- 在處理火焰/VFX 疊加於解剖學素材時,先執行關鍵的 33 幀 裁切(
- Windows 11 + ComfyUI Portable 實際問題 (
python_embeded -s):MatAnyone2因hatchling錯誤(matanyone2/config/__init__.py重複)在pip install時失敗 ➔ 直接將matanyone2/資料夾複製到python_embeded\Lib\site-packages\。transformers 5.9.0因存根問題在import_utils.py中引發KeyError: 'flash_attn'➔ 使用.get("flash_attn", [])。python_embeded -s忽略--user➔ 始終使用--target python_embeded\Lib\site-packages安裝OpenEXR、PyOpenColorIO、pymatting。
- JS/CPU 卸載與線性通道規則:
- 如果某個部分是 HUD、動態文字、服裝目錄或輕量 WebGL 3D,請使用 JavaScript (
RemotionProRes 4444 Alpha、Motion Canvas、GSAP、Three.js+ Playwright) 在 Ryzen 9 5900X 的 24 個執行緒上渲染,或通過Web Render TOP(TD2025.31550+) 即時渲染,以節省擴散的 VRAM。 - 始終將技術通道(
Normal、Depth、Roughness)保持為線性Non-Color / RawEXR 16F/32F,遠離 sRGB 伽瑪曲線。禁止對 HDR>1.0的火焰使用FrequencyCombineMEC,因為它會裁切至[0, 1]SDR。
- 如果某個部分是 HUD、動態文字、服裝目錄或輕量 WebGL 3D,請使用 JavaScript (
按使用案例快速選擇
- 易用性 / 多模型 "GPU Poor":
Wan2GP(deepbeepmeep/WanGP),搭配mmgp引擎 +INT8。 - 原生音訊影片:
LTX-2.3/LTX-2.5量化版(GGUF Q3_K_M/Q4_K_M)或LTX-Desktop。 - 長 I2V 鏡頭 (>10s 抗漂移):
FramePack(lllyasviel/FramePack)。 - 毛髮/布料動態遮罩與雙層遮罩:
SAM 2 / SAM 3(SegmentC2C) ➔MatAnyone 2(max_mem_frames=5) ➔MatteDesk(ForegroundDecontaminate) /scripts/vfx_dual_matte_decontam.py➔ ProRes 4444 Straight Alpha。 - 物件移除 + 陰影 + 反射:
EffectErase(FudanCVL/EffectErase) 或ProPainter(用於電線/剛性標記)。 - 3D 攝影機追蹤 / 動態匹配 / 點追蹤: 長片 AI 影片 ➔
Depth-Anything-3(DA3-Streaming) 或Pi3X(disable_multimodal()) 或VGGT-1B(匯出COLMAP);遮擋 ➔CoTracker3/AllTracker;次像素動態匹配 ➔ Blender Tracker /COLMAP(內建 GLOMAP;colmap/glomap已棄用);1 張照片 ➔perarnia/fSpy。 - 法線貼圖(即時 <25 ms):
DAViDNormals.tox(~10 ms 在td-native-inference中 ➔Relight.tox)、TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag)、Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) 經由 Spout2 或 Depth-to-Normal (scripts/td_depth_to_normal.frag)。 - 法線貼圖(後期 VFX):
NormalCrafter --max-res 512(~6 GB、VizClickNormalCrafter+VizClickNormalTemporalStabilizer)、LotusSD2.1(~4–8 GB 快速批次)、Lotus-2FLUX GGUF(~8–11 GB 靜態圖微細節)、StableNormal-turbo+StableDelight(~6–9 GB)、MoGe-2/3、DeepBump。匯出為 Camera Space OpenGL+Y向上,EXR 16F/32F 線性(FXTD-Studios/radiance/ComfyUI-ACES-IO)。 - 色彩 OCIO (
ACES 2.0/AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP:sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct/ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull;RUDRA checkpoint 為非商業用途) · Python (aces_hill_filmic_tonemap/ocio_agx_tonemap+compose_hdr_on_plate_srgb在scripts/vfx_ssdo_relight_16f.py)。 - AI 音效、Foley 與字幕: 幀同步 Foley ➔
hkchengrex/MMAudio(~6 GB fp16,權重CC-BY-NC-4.0);逐字同步字幕 ➔WhisperX(<8 GB);免費 CPU 降噪 ➔DeepFilterNet;分離音軌 ➔python-audio-separator/Demucs;TTS ➔Chatterbox/F5-TTS/Kokoro(82M)。 - 臉部 VFX 與 OBS 直播: 修飾/自然眼神 ➔
KlingAIResearch/LivePortrait(~4–8 GB);換臉 ➔ReActor+CodeFormer(0.7–0.8、128px 警告);GPU 60 FPS 擷取 ➔obs-spout2-plugin+royshil/obs-mcp(4455)。 - TouchDesigner + Blender 即時串流(模組 C):
TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp、Antigravity 中的"serverUrl")+TDMCPSkills(19 個td-*技能)或Embody/Envoy(TDXN YAML);分離 VRAM 模式 1(Spout2+StreamDiffusionTD)、2(GVHMR~4.2 GB ➔ Blendermcp-for-blender)和 3(POPs + 3DGS)。 - 火焰 / 能量 VFX 疊加於解剖學、GPU 不可壓縮流體與 PBR 重新打光(模組 A 階段 2.5 /
工作流程 4 · 路徑 G 與 B):- 通用
16F匯流排(~60s/33f):vfx_dual_matte_decontam.py(matte_skinvsmatte_fabric)+NormalCrafter 512px+DepthAnything V2/DA3。 - 具真實慣性的物理模擬(關卡 3):
- 直接 GPU 選項(
< 1 GB VRAM、< 1 分鐘):scripts/vfx_incompressible_fire_sim.py(不可壓縮 Navier-Stokes 流體,使用 Red-Black SOR 壓力投影、RANSAC Homography/ LK 相機補償、BFECC clamped 平流、Vorticity Confinement、平流 Curl 舌頭、拉格朗日火花與連續前/後 Z-Buffer 遮擋)。相容替代方案:taichi-dev/taichi/tum-pbs/PhiFlow。 - 3D 體積選項(
路徑 C):scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(使用cap_open_mesh_watertight封閉 MANO 手腕的開放邊緣,以進行連續表面發射velocity_factor=1.25+ shader 黑體薄片Density=0.02+Proxy_Black_Cuff碰撞器,或匯出.abc至 JangaFX EmberGen / LiquiGen[OK-12GB])。禁止從地標上的鬆散球體發射。
- 直接 GPU 選項(
- 耦合 PBR 重新打光 +
180°動態模糊 + 色調映射(無鮭魚色洗白):scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True、MIP 金字塔build_fire_irradiance_pyramid+extract_dynamic_lights_from_fire、apply_velocity_motion_blurshutter=0.5,以及使用 Stephen Hill ACES /PyOpenColorIO AgX Punchy的compose_hdr_on_plate_srgb)。
- 通用
- Windows 加速:
woct0rdho/triton-windows+woct0rdho/SageAttention+TeaCache。