Video & VFX Local Optimization Skill (RTX 3060 12 GB / 32 GB RAM / Win 11)
Cuándo aplicar este skill
Actívalo siempre que el usuario pida instalar, elegir modelos, construir flujos de ComfyUI/Wan2GP, rotoscopiar, sacar capa de normales, hacer camera tracking 3D, configurar color OCIO, generar Foley/subtítulos/TTS, conectar TouchDesigner + Blender + OBS, simular fluidos/fuego GPU o hacer upscaling/motion local en Windows 11.
Reglas Duras de Hardware (NO romper)
- Límite de VRAM (12 GB GDDR6 Ampere
sm_86):- La RTX 3060 NO tiene FP8 Tensor Cores nativos (
sm_86 < 8.9): prohibido activarfp8_fastotorch.compilesobree4m3fnenWanVideoModelLoader; usabase_precision="bf16",quantization="disabled",attention_mode="sageattn"/"sdpa", pesos GGUF (Q3_K_M8.64 GB /Q4_K_S10.55 GB /Q5_K_M) oINT8(quanto/mmgp). - Nunca mantengas dos modelos de difusión/VLM pesados residentes en VRAM al mismo tiempo: ejecuta por fases secuenciales con
VRAM_Debug(unload_all_models=true,empty_cache=true,gc_collect=true) y ajusta"max_mem_frames": 5encomfy-matanyone2/config.py.
- La RTX 3060 NO tiene FP8 Tensor Cores nativos (
- Límite de RAM del Sistema (32 GB — ~22–24 GB libres reales en Windows 11):
- Evita dejar residente
UMT5-XXL FP16(~9.5 GB) oGemmaen RAM junto a expertos A14B: usaWanVideoTextEncodeCached(use_disk_cache=true), versiones GGUF Q4/Q5 (oflux_empty_embed.ptenLotus-2) y cierra Premiere, AE, Blender pesado y Chrome antes de batches largos (fija Pagefile NVMe >=32 GB).
- Evita dejar residente
- Estrategia de Resolución, FPS & Pruebas R&D (
33f -> 167fcon 4 Gates Cuantitativos):- En planos de fuego/VFX sobre anatomía, ejecuta primero el recorte crítico de 33 frames (
job_33f) validando los 4 Gates cuantitativos conscripts/vfx_rd_metrics_eval.py:- Gate 0:
‖N‖ ∈ [0.99, 1.01],fringe_delta_l < 0.03en hilos negros (vfx_dual_matte_decontam.py). - Gate 1: ganancia en puño negro
<= 1.15x, contraste SSDO>= 3.5:1(invert_normal_y=TrueconNormalCrafter) y escritorio blancoCIEDE2000 <= 1.5. - Gate 2: pico HDR lineal
>= 4.0,pastel_yellow_clip_pct <= 1.0%,salmon_wash_pct <= 2.0%(usando Stephen Hill ACES Filmic RRT+ODT oPyOpenColorIO AgX Punchy+compose_hdr_on_plate_srgb, nuncam_insetsimple) y ruido/MTF±12%. - Gate 3 (Acoplamiento Movimiento↔Fuego):
lag_correlation >= 0.45ymean_wake_deflection_px >= 1.2 pxentrev_hand_world = v_hand_screen - v_camy la estela de la pluma superior (rechazando fuegos procedurales stateless rígidos).
- Gate 0:
- Para I2V/T2V general, genera en
640x360o832x480a16 fps(81 frames ≈ 5s), escala con SeedVR2 (3B +block_swap) o FlashVSR (tiling) y duplica FPS al final con Practical-RIFE antes de añadir el grano final.
- En planos de fuego/VFX sobre anatomía, ejecuta primero el recorte crítico de 33 frames (
- Gotchas Reales de Windows 11 + ComfyUI Portable (
python_embeded -s):MatAnyone2falla enpip installpor bug dehatchling(matanyone2/config/__init__.pyduplicado) ➔ copiar carpetamatanyone2/directo apython_embeded\Lib\site-packages\.transformers 5.9.0lanzaKeyError: 'flash_attn'enimport_utils.pycon stubs ➔ usar.get("flash_attn", []).python_embeded -signora--user➔ instalarOpenEXR,PyOpenColorIO,pymattingsiempre con--target python_embeded\Lib\site-packages.
- Regla Offload JS/CPU & Pases Lineales:
- Si una pieza es HUD, texto cinético, catálogo de indumentaria o 3D ligero WebGL, renderízala con JavaScript (
RemotionProRes 4444 Alpha,Motion Canvas,GSAP,Three.js+ Playwright) en los 24 hilos del Ryzen 9 5900X o en vivo víaWeb Render TOP(TD2025.31550+) en lugar de gastar VRAM de difusión. - Mantén pases técnicos (
Normal,Depth,Roughness) siempre comoNon-Color / RawEXR 16F/32F lineal fuera de curvas gamma sRGB. NO usesFrequencyCombineMECsobre fuego HDR>1.0porque recorta a[0, 1]SDR.
- Si una pieza es HUD, texto cinético, catálogo de indumentaria o 3D ligero WebGL, renderízala con JavaScript (
Selección Rápida por Caso de Uso
- Facilidad / Multi-modelo "GPU Poor":
Wan2GP(deepbeepmeep/WanGP) con motormmgp+INT8. - Video con Audio nativo:
LTX-2.3/LTX-2.5cuantizado (GGUF Q3_K_M/Q4_K_M) oLTX-Desktop. - Planos I2V largos (>10s anti-drift):
FramePack(lllyasviel/FramePack). - Rotoscopia de cabello/tela & Matte Dual:
SAM 2 / SAM 3(SegmentC2C) ➔MatAnyone 2(max_mem_frames=5) ➔MatteDesk(ForegroundDecontaminate) /scripts/vfx_dual_matte_decontam.py➔ ProRes 4444 Straight Alpha. - Borrado de objetos + sombras + reflejos:
EffectErase(FudanCVL/EffectErase) oProPainter(para cables/marcas rígidas). - Camera Tracking 3D / Matchmoving / Point Tracking: Video largo IA ➔
Depth-Anything-3(DA3-Streaming) oPi3X(disable_multimodal()) oVGGT-1B(exportCOLMAP); oclusiones ➔CoTracker3/AllTracker; matchmoving sub-píxel ➔ Blender Tracker /COLMAP(GLOMAP integrado;colmap/glomapdeprecated); 1 foto ➔perarnia/fSpy. - Capa de Normales (Tiempo Real <25 ms):
DAViDNormals.tox(~10 ms entd-native-inference➔Relight.tox), TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag), Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) vía Spout2 o Depth-to-Normal (scripts/td_depth_to_normal.frag). - Capa de Normales (Postproducción VFX):
NormalCrafter --max-res 512(~6 GB,VizClickNormalCrafter+VizClickNormalTemporalStabilizer),LotusSD2.1 (~4–8 GB batch rápido),Lotus-2FLUX GGUF (~8–11 GB micro-detalle en stills),StableNormal-turbo+StableDelight(~6–9 GB),MoGe-2/3,DeepBump. Exportar Camera Space OpenGL+Yarriba en EXR 16F/32F lineal (FXTD-Studios/radiance/ComfyUI-ACES-IO). - Color OCIO (
ACES 2.0/AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP:sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct/ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA checkpoint es no-comercial) · Python (aces_hill_filmic_tonemap/ocio_agx_tonemap+compose_hdr_on_plate_srgbenscripts/vfx_ssdo_relight_16f.py). - Audio IA, Foley & Subtítulos: Foley frame-synced ➔
hkchengrex/MMAudio(~6 GB fp16, pesosCC-BY-NC-4.0); subtítulos word-sync ➔WhisperX(<8 GB); limpieza CPU gratis ➔DeepFilterNet; stems ➔python-audio-separator/Demucs; TTS ➔Chatterbox/F5-TTS/Kokoro(82M). - Face VFX & OBS Live: Retoque/mirada natural ➔
KlingAIResearch/LivePortrait(~4–8 GB); swap ➔ReActor+CodeFormer(0.7–0.8, advertencia 128px); captura GPU 60 FPS ➔obs-spout2-plugin+royshil/obs-mcp(4455). - TouchDesigner + Blender en Vivo (Módulo C):
TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp,"serverUrl"en Antigravity) +TDMCPSkills(19td-*skills) oEmbody/Envoy(TDXN YAML); separa Modos VRAM 1 (Spout2+StreamDiffusionTD), 2 (GVHMR~4.2 GB ➔ Blendermcp-for-blender) y 3 (POPs + 3DGS). - Fuego / Energía VFX sobre Anatomía, Fluido GPU Incompresible & Relighting PBR (Módulo A Fase 2.5 /
Workflow 4 · Ruta G & B):- Bus Común
16F(~60s/33f):vfx_dual_matte_decontam.py(matte_skinvsmatte_fabric) +NormalCrafter 512px+DepthAnything V2/DA3. - Simulación Física con Inercia Real (Gate 3):
- Opción GPU Directa (
< 1 GB VRAM,< 1 min):scripts/vfx_incompressible_fire_sim.py(Navier-Stokes incompresible con proyección de presión Red-Black SOR, compensación de cámaraRANSAC Homography/ LK, advección BFECC clamped, Vorticity Confinement, lenguas Curl advectadas, chispas Lagrangianas y Oclusión Z-Buffer Continua Front/Back). Alternativas compatibles:taichi-dev/taichi/tum-pbs/PhiFlow. - Opción 3D Volumétrica (
Ruta C):scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(cierra el borde abierto de la muñeca MANO concap_open_mesh_watertightpara emisión superficial continuavelocity_factor=1.25+ shader Lámina Fina BlackbodyDensity=0.02+Proxy_Black_Cuffcolisionador, o exportación.abchacia JangaFX EmberGen / LiquiGen[OK-12GB]). Nunca emitir desde esferas sueltas en landmarks.
- Opción GPU Directa (
- Relighting PBR Acoplado + Motion Blur
180°+ Tone Map sin Lavado Salmón:scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True, pirámide MIPbuild_fire_irradiance_pyramid+extract_dynamic_lights_from_fire,apply_velocity_motion_blurshutter=0.5ycompose_hdr_on_plate_srgbcon Stephen Hill ACES /PyOpenColorIO AgX Punchy).
- Bus Común
- Aceleración Windows:
woct0rdho/triton-windows+woct0rdho/SageAttention+TeaCache.