32 GB RAM / Win 11) 是做什么的?
何时应用此技能
当用户要求安装、选择模型、构建ComfyUI/Wan2GP工作流、抠像、提取法线贴图、3D摄像机追踪、配置OCIO色彩、生成Foley/字幕/TTS、连接TouchDesigner + Blender + OBS、模拟流体/火焰GPU或在Windows 11上本地进行放大/运动插帧时,请激活此技能。
硬件硬性规则(严禁违反)
- VRAM限制 (12 GB GDDR6 Ampere
sm_86):- RTX 3060 没有原生FP8 Tensor Cores (
sm_86 < 8.9):禁止在WanVideoModelLoader上激活fp8_fast或torch.compile使用e4m3fn;应使用base_precision="bf16"、quantization="disabled"、attention_mode="sageattn"/"sdpa",权重使用GGUF (Q3_K_M8.64 GB /Q4_K_S10.55 GB /Q5_K_M) 或**INT8(quanto/mmgp)**。 - 切勿同时将两个大的扩散模型/VLM模型保存在VRAM中:应分阶段顺序执行,使用**
VRAM_Debug(unload_all_models=true,empty_cache=true,gc_collect=true)**,并在comfy-matanyone2/config.py中设置"max_mem_frames": 5。
- RTX 3060 没有原生FP8 Tensor Cores (
- 系统RAM限制 (32 GB —— Windows 11中实际可用约22–24 GB):
- 避免将
UMT5-XXL FP16(~9.5 GB) 或Gemma与A14B专家模型同时保留在RAM中:应使用**WanVideoTextEncodeCached(use_disk_cache=true)**、GGUF Q4/Q5版本(或Lotus-2的flux_empty_embed.pt),并在长时间批处理前关闭Premiere、AE、Blender和Chrome(设置NVMe页文件 >=32 GB)。
- 避免将
- 分辨率、帧率与研发测试策略 (
33f -> 167f,包含4个量化门限):- 对于涉及解剖学上的火焰/VFX镜头,首先执行33帧的关键裁剪测试 (
job_33f),使用**scripts/vfx_rd_metrics_eval.py** 验证4个量化门限:- 门限0:
‖N‖ ∈ [0.99, 1.01],黑色头发上的fringe_delta_l < 0.03(使用vfx_dual_matte_decontam.py)。 - 门限1: 黑色拳头增益
<= 1.15x,SSDO对比度>= 3.5:1(使用NormalCrafter时设置invert_normal_y=True),白色桌面**CIEDE2000 <= 1.5**。 - 门限2: 线性HDR峰值
>= 4.0,pastel_yellow_clip_pct <= 1.0%,salmon_wash_pct <= 2.0%(使用Stephen Hill ACES Filmic RRT+ODT 或PyOpenColorIO AgX Punchy+compose_hdr_on_plate_srgb,禁止使用简单m_inset),以及噪声/MTF±12%。 - 门限3(运动↔火焰耦合):
lag_correlation >= 0.45且mean_wake_deflection_px >= 1.2 px(在v_hand_world = v_hand_screen - v_cam与顶部羽流轨迹之间,拒绝刚性无状态程序化火焰)。
- 门限0:
- 对于通用的I2V/T2V任务,以
640x360或832x480分辨率、16 fps生成(81帧 ≈ 5秒),使用SeedVR2 (3B +block_swap) 或FlashVSR(tiling)进行放大,最后在添加最终噪点前用Practical-RIFE加倍帧率。
- 对于涉及解剖学上的火焰/VFX镜头,首先执行33帧的关键裁剪测试 (
- Windows 11 + ComfyUI Portable (
python_embeded -s) 的真实陷阱:MatAnyone2的pip install会因hatchling的Bug而失败(matanyone2/config/__init__.py重复) ➔ 直接将matanyone2/文件夹复制到python_embeded\Lib\site-packages\。transformers 5.9.0会在import_utils.py中因stubs引发KeyError: 'flash_attn'➔ 使用.get("flash_attn", [])。python_embeded -s忽略--user➔ 始终使用--target python_embeded\Lib\site-packages安装OpenEXR、PyOpenColorIO、pymatting。
- JS/CPU卸载与线性通道规则:
- 如果某部分是HUD、动态文本、服装目录或轻量WebGL 3D,使用JavaScript (
RemotionProRes 4444 Alpha、Motion Canvas、GSAP、Three.js+ Playwright) 在Ryzen 9 5900X的24个线程上渲染,或通过**Web Render TOP** (TD2025.31550+) 实时渲染,而不是消耗扩散模型的VRAM。 - 始终将技术通道(
Normal、Depth、Roughness)保持为**Non-Color / Raw线性EXR 16F/32F**,远离sRGB伽马曲线。禁止对>1.0的HDR火焰使用FrequencyCombineMEC,因为它会裁剪到[0, 1]SDR范围。
- 如果某部分是HUD、动态文本、服装目录或轻量WebGL 3D,使用JavaScript (
按用例快速选择
- 简易 / 多模型 "GPU Poor":
Wan2GP(deepbeepmeep/WanGP),使用mmgp引擎 +INT8。 - 带原生音频的视频:
LTX-2.3/LTX-2.5量化版(GGUF Q3_K_M/Q4_K_M)或LTX-Desktop。 - 长I2V镜头(>10秒抗漂移):
FramePack(lllyasviel/FramePack)。 - 头发/布料抠像 & 双通道抠像:
SAM 2 / SAM 3(SegmentC2C) ➔MatAnyone 2(max_mem_frames=5) ➔MatteDesk(ForegroundDecontaminate) /scripts/vfx_dual_matte_decontam.py➔ ProRes 4444 Straight Alpha。 - 物体擦除 + 阴影 + 反射:
EffectErase(FudanCVL/EffectErase) 或ProPainter(用于硬边线缆/标记)。 - 3D摄像机追踪 / 运动匹配 / 点追踪: 长AI视频 ➔
Depth-Anything-3(DA3-Streaming) 或Pi3X(disable_multimodal()) 或VGGT-1B(导出COLMAP);遮挡 ➔CoTracker3/AllTracker;亚像素运动匹配 ➔ Blender Tracker /COLMAP(集成GLOMAP;colmap/glomap已弃用);单张照片 ➔perarnia/fSpy。 - 法线贴图(实时 <25 ms):
DAViDNormals.tox(~10 ms intd-native-inference➔Relight.tox), TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag), Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) via Spout2 or Depth-to-Normal (scripts/td_depth_to_normal.frag). - 法线贴图(VFX后期制作):
NormalCrafter --max-res 512(~6 GB,VizClickNormalCrafter+VizClickNormalTemporalStabilizer),LotusSD2.1 (~4–8 GB 快批量),Lotus-2FLUX GGUF (~8–11 GB 静帧微细节),StableNormal-turbo+StableDelight(~6–9 GB),MoGe-2/3,DeepBump。导出为摄像机空间OpenGL+Y向上的线性EXR 16F/32F (FXTD-Studios/radiance/ComfyUI-ACES-IO)。 - OCIO色彩 (
ACES 2.0/AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP:sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct/ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA checkpoint为非商业用途) · Python (aces_hill_filmic_tonemap/ocio_agx_tonemap+compose_hdr_on_plate_srgb在scripts/vfx_ssdo_relight_16f.py)。 - AI音频、Foley & 字幕: 帧同步Foley ➔
hkchengrex/MMAudio(~6 GB fp16, 权重CC-BY-NC-4.0); 字同步字幕 ➔WhisperX(<8 GB); 免费CPU清理 ➔DeepFilterNet; 音轨分离 ➔python-audio-separator/Demucs; TTS ➔Chatterbox/F5-TTS/Kokoro(82M)。 - 面部VFX & OBS直播: 修饰/自然注视 ➔
KlingAIResearch/LivePortrait(~4–8 GB); 换脸 ➔ReActor+CodeFormer(0.7–0.8, 警告128px); GPU 60 FPS捕获 ➔obs-spout2-plugin+royshil/obs-mcp(4455)。 - TouchDesigner + Blender 实时集成(模块C):
TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp,"serverUrl"in Antigravity) +TDMCPSkills(19td-*技能) 或Embody/Envoy(TDXN YAML); 分离VRAM模式1 (Spout2+StreamDiffusionTD), 2 (GVHMR~4.2 GB ➔ Blendermcp-for-blender) 和 3 (POPs + 3DGS)。 - 解剖学上的火焰/能量VFX、不可压缩GPU流体 & PBR重光照(模块A阶段2.5 /
工作流4 · 路径G & B):- 公共总线
16F(~60s/33f):vfx_dual_matte_decontam.py(matte_skinvsmatte_fabric) +NormalCrafter 512px+DepthAnything V2/DA3。 - 具有真实惯性的物理模拟(门限3):
- 直接GPU选项(
< 1 GB VRAM,< 1 min):scripts/vfx_incompressible_fire_sim.py(不可压缩Navier-Stokes, 红黑SOR压力投影,RANSAC Homography/ LK摄像机补偿, BFECC clamped平流, Vorticity Confinement, 平流Curl舌, 拉格朗日火花和连续Z-Buffer前后遮挡)。兼容替代方案:taichi-dev/taichi/tum-pbs/PhiFlow。 - 3D体积选项(
路径C):scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(使用cap_open_mesh_watertight封闭MANO手腕开放边缘以实现连续表面发射velocity_factor=1.25+ 着色器黑体薄片Density=0.02+Proxy_Black_Cuff碰撞器, 或导出.abc至JangaFX EmberGen / LiquiGen[OK-12GB])。切勿从松散的地标球体发射。
- 直接GPU选项(
- 耦合PBR重光照 +
180°运动模糊 + 无鲑鱼调色映射:scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True, MIP金字塔build_fire_irradiance_pyramid+extract_dynamic_lights_from_fire,apply_velocity_motion_blurshutter=0.5和compose_hdr_on_plate_srgb使用Stephen Hill ACES /PyOpenColorIO AgX Punchy)。
- 公共总线
- Windows加速:
woct0rdho/triton-windows+woct0rdho/SageAttention+TeaCache。