Communitygithub.com

视频与VFX本地优化技能 (RTX 3060 12 GB / 32 GB RAM / Win 11)

选择、优化和调试本地AI视频生成、抠像、法线贴图、3D摄像机追踪、OCIO/ACES 2.0色彩、音频/Foley、OBS Spout2、TouchDesigner/Blender实时工作流、VSR以及精确适配RTX 3060 12 GB VRAM + Ryzen 9 5900X + 32 GB RAM (Windows 11)的JS卸载管线。

32 GB RAM / Win 11) 是什么?

该技能为在RTX 3060 12 GB VRAM + Ryzen 9 5900X + 32 GB RAM (Windows 11)平台上进行高性能VFX工作流提供了一套严格的硬件约束和优化指南。它涵盖了从AI视频生成模型(Wan2GP、LTX、FramePack)的量化选择与部署,到高级VFX管线(包括基于Navier-Stokes的不可压缩火焰模拟、SSDO重光照、双通道抠像、法线贴图提取与3D摄像机追踪)的完整实现。技能特别强调了实时的TouchDesigner与Blender集成、基于Remotion和Three.js的JS卸载策略、以及严格的OCIO/ACES 2.0色彩管理流程。每个建议都附带了精确的VRAM、RAM和计算时间预算,并提供了针对Windows 11 + ComfyUI Portable环境的已知Bug(如mat-anyone2、transformers、python_embeded)的修复方法,确保所有步骤都能严格在给定硬件约束下运行。

兼容平台~Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/Leopoldoleoncancino/video-vfx-ai-bible/tree/main/skills/video-vfx-3060-12gb-local

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

32 GB RAM / Win 11) 是做什么的?

何时应用此技能

当用户要求安装、选择模型、构建ComfyUI/Wan2GP工作流、抠像、提取法线贴图、3D摄像机追踪、配置OCIO色彩、生成Foley/字幕/TTS、连接TouchDesigner + Blender + OBS、模拟流体/火焰GPU或在Windows 11上本地进行放大/运动插帧时,请激活此技能。

硬件硬性规则(严禁违反)

  1. VRAM限制 (12 GB GDDR6 Ampere sm_86):
    • RTX 3060 没有原生FP8 Tensor Cores (sm_86 < 8.9):禁止在WanVideoModelLoader上激活fp8_fast或torch.compile使用e4m3fn;应使用base_precision="bf16"、quantization="disabled"、attention_mode="sageattn"/"sdpa",权重使用GGUF (Q3_K_M 8.64 GB / Q4_K_S 10.55 GB / Q5_K_M) 或**INT8 (quanto/mmgp)**。
    • 切勿同时将两个大的扩散模型/VLM模型保存在VRAM中:应分阶段顺序执行,使用**VRAM_Debug (unload_all_models=true, empty_cache=true, gc_collect=true)**,并在comfy-matanyone2/config.py中设置"max_mem_frames": 5。
  2. 系统RAM限制 (32 GB —— Windows 11中实际可用约22–24 GB):
    • 避免将UMT5-XXL FP16 (~9.5 GB) 或 Gemma 与A14B专家模型同时保留在RAM中:应使用**WanVideoTextEncodeCached (use_disk_cache=true)**、GGUF Q4/Q5版本(或Lotus-2的flux_empty_embed.pt),并在长时间批处理前关闭Premiere、AE、Blender和Chrome(设置NVMe页文件 >=32 GB)。
  3. 分辨率、帧率与研发测试策略 (33f -> 167f,包含4个量化门限):
    • 对于涉及解剖学上的火焰/VFX镜头,首先执行33帧的关键裁剪测试 (job_33f),使用**scripts/vfx_rd_metrics_eval.py** 验证4个量化门限:
      • 门限0: ‖N‖ ∈ [0.99, 1.01],黑色头发上的fringe_delta_l < 0.03(使用vfx_dual_matte_decontam.py)。
      • 门限1: 黑色拳头增益 <= 1.15x,SSDO对比度 >= 3.5:1(使用NormalCrafter时设置invert_normal_y=True),白色桌面**CIEDE2000 <= 1.5**。
      • 门限2: 线性HDR峰值 >= 4.0,pastel_yellow_clip_pct <= 1.0%,salmon_wash_pct <= 2.0%(使用Stephen Hill ACES Filmic RRT+ODT 或 PyOpenColorIO AgX Punchy + compose_hdr_on_plate_srgb,禁止使用简单m_inset),以及噪声/MTF ±12%。
      • 门限3(运动↔火焰耦合): lag_correlation >= 0.45 且 mean_wake_deflection_px >= 1.2 px(在v_hand_world = v_hand_screen - v_cam与顶部羽流轨迹之间,拒绝刚性无状态程序化火焰)。
    • 对于通用的I2V/T2V任务,以640x360或832x480分辨率、16 fps生成(81帧 ≈ 5秒),使用SeedVR2 (3B + block_swap) 或FlashVSR(tiling)进行放大,最后在添加最终噪点前用Practical-RIFE加倍帧率。
  4. Windows 11 + ComfyUI Portable (python_embeded -s) 的真实陷阱:
    • MatAnyone2 的 pip install 会因 hatchling 的Bug而失败(matanyone2/config/__init__.py 重复) ➔ 直接将 matanyone2/ 文件夹复制到 python_embeded\Lib\site-packages\。
    • transformers 5.9.0 会在 import_utils.py 中因stubs引发 KeyError: 'flash_attn' ➔ 使用 .get("flash_attn", [])。
    • python_embeded -s 忽略 --user ➔ 始终使用 --target python_embeded\Lib\site-packages 安装 OpenEXR、PyOpenColorIO、pymatting。
  5. JS/CPU卸载与线性通道规则:
    • 如果某部分是HUD、动态文本、服装目录或轻量WebGL 3D,使用JavaScript (Remotion ProRes 4444 Alpha、Motion Canvas、GSAP、Three.js + Playwright) 在Ryzen 9 5900X的24个线程上渲染,或通过**Web Render TOP** (TD 2025.31550+) 实时渲染,而不是消耗扩散模型的VRAM。
    • 始终将技术通道(Normal、Depth、Roughness)保持为**Non-Color / Raw 线性EXR 16F/32F**,远离sRGB伽马曲线。禁止对 >1.0 的HDR火焰使用 FrequencyCombineMEC,因为它会裁剪到 [0, 1] SDR范围。

按用例快速选择

  • 简易 / 多模型 "GPU Poor": Wan2GP (deepbeepmeep/WanGP),使用 mmgp 引擎 + INT8。
  • 带原生音频的视频: LTX-2.3 / LTX-2.5 量化版(GGUF Q3_K_M/Q4_K_M)或 LTX-Desktop。
  • 长I2V镜头(>10秒抗漂移): FramePack (lllyasviel/FramePack)。
  • 头发/布料抠像 & 双通道抠像: SAM 2 / SAM 3 (SegmentC2C) ➔ MatAnyone 2 (max_mem_frames=5) ➔ MatteDesk (ForegroundDecontaminate) / scripts/vfx_dual_matte_decontam.py ➔ ProRes 4444 Straight Alpha。
  • 物体擦除 + 阴影 + 反射: EffectErase (FudanCVL/EffectErase) 或 ProPainter(用于硬边线缆/标记)。
  • 3D摄像机追踪 / 运动匹配 / 点追踪: 长AI视频 ➔ Depth-Anything-3 (DA3-Streaming) 或 Pi3X (disable_multimodal()) 或 VGGT-1B(导出COLMAP);遮挡 ➔ CoTracker3 / AllTracker;亚像素运动匹配 ➔ Blender Tracker / COLMAP(集成GLOMAP;colmap/glomap 已弃用);单张照片 ➔ perarnia/fSpy。
  • 法线贴图(实时 <25 ms): DAViDNormals.tox (~10 ms in td-native-inference ➔ Relight.tox), TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag), Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) via Spout2 or Depth-to-Normal (scripts/td_depth_to_normal.frag).
  • 法线贴图(VFX后期制作): NormalCrafter --max-res 512 (~6 GB, VizClickNormalCrafter + VizClickNormalTemporalStabilizer), Lotus SD2.1 (~4–8 GB 快批量), Lotus-2 FLUX GGUF (~8–11 GB 静帧微细节), StableNormal-turbo + StableDelight (~6–9 GB), MoGe-2/3, DeepBump。导出为摄像机空间OpenGL +Y向上的线性EXR 16F/32F (FXTD-Studios/radiance / ComfyUI-ACES-IO)。
  • OCIO色彩 (ACES 2.0 / AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP: sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct / ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA checkpoint为非商业用途) · Python (aces_hill_filmic_tonemap / ocio_agx_tonemap + compose_hdr_on_plate_srgb 在 scripts/vfx_ssdo_relight_16f.py)。
  • AI音频、Foley & 字幕: 帧同步Foley ➔ hkchengrex/MMAudio (~6 GB fp16, 权重 CC-BY-NC-4.0); 字同步字幕 ➔ WhisperX (<8 GB); 免费CPU清理 ➔ DeepFilterNet; 音轨分离 ➔ python-audio-separator / Demucs; TTS ➔ Chatterbox / F5-TTS / Kokoro (82M)。
  • 面部VFX & OBS直播: 修饰/自然注视 ➔ KlingAIResearch/LivePortrait (~4–8 GB); 换脸 ➔ ReActor + CodeFormer (0.7–0.8, 警告128px); GPU 60 FPS捕获 ➔ obs-spout2-plugin + royshil/obs-mcp (4455)。
  • TouchDesigner + Blender 实时集成(模块C): TouchDesigner/TDMCP (http://127.0.0.1:13316/mcp, "serverUrl" in Antigravity) + TDMCPSkills (19 td-* 技能) 或 Embody/Envoy (TDXN YAML); 分离VRAM模式1 (Spout2 + StreamDiffusionTD), 2 (GVHMR ~4.2 GB ➔ Blender mcp-for-blender) 和 3 (POPs + 3DGS)。
  • 解剖学上的火焰/能量VFX、不可压缩GPU流体 & PBR重光照(模块A阶段2.5 / 工作流4 · 路径G & B):
    1. 公共总线 16F (~60s/33f): vfx_dual_matte_decontam.py (matte_skin vs matte_fabric) + NormalCrafter 512px + DepthAnything V2/DA3。
    2. 具有真实惯性的物理模拟(门限3):
      • 直接GPU选项(< 1 GB VRAM, < 1 min): scripts/vfx_incompressible_fire_sim.py (不可压缩Navier-Stokes, 红黑SOR压力投影, RANSAC Homography / LK摄像机补偿, BFECC clamped平流, Vorticity Confinement, 平流Curl舌, 拉格朗日火花和连续Z-Buffer前后遮挡)。兼容替代方案:taichi-dev/taichi / tum-pbs/PhiFlow。
      • 3D体积选项(路径C): scripts/wilor_mano_to_blender_abc.py --enable-mantaflow (使用cap_open_mesh_watertight封闭MANO手腕开放边缘以实现连续表面发射 velocity_factor=1.25 + 着色器黑体薄片 Density=0.02 + Proxy_Black_Cuff碰撞器, 或导出.abc至JangaFX EmberGen / LiquiGen [OK-12GB])。切勿从松散的地标球体发射。
    3. 耦合PBR重光照 + 180°运动模糊 + 无鲑鱼调色映射: scripts/vfx_ssdo_relight_16f.py (invert_normal_y=True, MIP金字塔 build_fire_irradiance_pyramid + extract_dynamic_lights_from_fire, apply_velocity_motion_blur shutter=0.5 和 compose_hdr_on_plate_srgb 使用Stephen Hill ACES / PyOpenColorIO AgX Punchy)。
  • Windows加速: woct0rdho/triton-windows + woct0rdho/SageAttention + TeaCache。

相关技能