Compétence d'optimisation vidéo et VFX locale (RTX 3060 12 Go / 32 Go RAM / Win 11)
Quand appliquer cette compétence
Activez-la chaque fois que l'utilisateur demande d'installer, choisir des modèles, construire des flux ComfyUI/Wan2GP, rotoscoper, extraire une couche de normales, faire du camera tracking 3D, configurer la colorimétrie OCIO, générer du Foley/sous-titres/TTS, connecter TouchDesigner + Blender + OBS, simuler des fluides/feu GPU ou faire de l'upscaling/motion local sous Windows 11.
Règles strictes matérielles (À ne pas enfreindre)
- Limite de VRAM (12 Go GDDR6 Ampere
sm_86) :- La RTX 3060 n'a pas de Tensor Cores FP8 natifs (
sm_86 < 8.9) : interdit d'activerfp8_fastoutorch.compilesure4m3fndansWanVideoModelLoader; utilisezbase_precision="bf16",quantization="disabled",attention_mode="sageattn"/"sdpa", des poids GGUF (Q3_K_M8.64 Go /Q4_K_S10.55 Go /Q5_K_M) ouINT8(quanto/mmgp). - Ne conservez jamais deux modèles de diffusion/VLM lourds résidents en VRAM en même temps : exécutez par phases séquentielles avec
VRAM_Debug(unload_all_models=true,empty_cache=true,gc_collect=true) et réglez"max_mem_frames": 5danscomfy-matanyone2/config.py.
- La RTX 3060 n'a pas de Tensor Cores FP8 natifs (
- Limite de RAM système (32 Go — ~22–24 Go libres réels sous Windows 11) :
- Évitez de laisser résident
UMT5-XXL FP16(~9.5 Go) ouGemmaen RAM avec des experts A14B : utilisezWanVideoTextEncodeCached(use_disk_cache=true), des versions GGUF Q4/Q5 (ouflux_empty_embed.ptdansLotus-2) et fermez Premiere, AE, Blender lourd et Chrome avant les longs batches (fixez un Pagefile NVMe >=32 Go).
- Évitez de laisser résident
- Stratégie de résolution, FPS & tests R&D (
33f -> 167favec 4 portes quantitatives) :- Pour les plans de feu/VFX sur anatomie, exécutez d'abord le découpage critique de 33 images (
job_33f) en validant les 4 portes quantitatives avecscripts/vfx_rd_metrics_eval.py:- Porte 0 :
‖N‖ ∈ [0.99, 1.01],fringe_delta_l < 0.03sur les mèches noires (vfx_dual_matte_decontam.py). - Porte 1 : gain sur le poing noir
<= 1.15x, contraste SSDO>= 3.5:1(invert_normal_y=TrueavecNormalCrafter) et bureau blancCIEDE2000 <= 1.5. - Porte 2 : pic HDR linéaire
>= 4.0,pastel_yellow_clip_pct <= 1.0%,salmon_wash_pct <= 2.0%(en utilisant Stephen Hill ACES Filmic RRT+ODT ouPyOpenColorIO AgX Punchy+compose_hdr_on_plate_srgb, jamaism_insetsimple) et bruit/MTF±12%. - Porte 3 (Couplage mouvement↔feu) :
lag_correlation >= 0.45etmean_wake_deflection_px >= 1.2 pxentrev_hand_world = v_hand_screen - v_camet la traînée de la plume supérieure (en rejetant les feux procéduraux stateless rigides).
- Porte 0 :
- Pour I2V/T2V général, générez en
640x360ou832x480à16 fps(81 images ≈ 5s), mettez à l'échelle avec SeedVR2 (3B +block_swap) ou FlashVSR (tiling) et doublez les FPS à la fin avec Practical-RIFE avant d'ajouter le grain final.
- Pour les plans de feu/VFX sur anatomie, exécutez d'abord le découpage critique de 33 images (
- Pièges réels de Windows 11 + ComfyUI Portable (
python_embeded -s) :MatAnyone2échoue lors depip installà cause d'un bug dehatchling(matanyone2/config/__init__.pydupliqué) ➔ copiez le dossiermatanyone2/directement danspython_embeded\Lib\site-packages\.transformers 5.9.0lanceKeyError: 'flash_attn'dansimport_utils.pyavec des stubs ➔ utilisez.get("flash_attn", []).python_embeded -signore--user➔ installezOpenEXR,PyOpenColorIO,pymattingtoujours avec--target python_embeded\Lib\site-packages.
- Règle de déchargement JS/CPU & passes linéaires :
- Si un élément est un HUD, du texte cinétique, un catalogue de vêtements ou de la 3D légère WebGL, rendez-le avec JavaScript (
RemotionProRes 4444 Alpha,Motion Canvas,GSAP,Three.js+ Playwright) sur les 24 threads du Ryzen 9 5900X ou en direct viaWeb Render TOP(TD2025.31550+) plutôt que de consommer de la VRAM de diffusion. - Conservez les passes techniques (
Normal,Depth,Roughness) toujours enNon-Color / RawEXR 16F/32F linéaire en dehors des courbes gamma sRGB. N'utilisez PASFrequencyCombineMECsur du feu HDR>1.0car il rogne à[0, 1]SDR.
- Si un élément est un HUD, du texte cinétique, un catalogue de vêtements ou de la 3D légère WebGL, rendez-le avec JavaScript (
Sélection rapide par cas d'usage
- Facilité / Multi-modèle "GPU Pauvre" :
Wan2GP(deepbeepmeep/WanGP) avec moteurmmgp+INT8. - Vidéo avec Audio natif :
LTX-2.3/LTX-2.5quantifié (GGUF Q3_K_M/Q4_K_M) ouLTX-Desktop. - Plans I2V longs (>10s anti-dérive) :
FramePack(lllyasviel/FramePack). - Rotoscopie de cheveux/tissu & Matte Dual :
SAM 2 / SAM 3(SegmentC2C) ➔MatAnyone 2(max_mem_frames=5) ➔MatteDesk(ForegroundDecontaminate) /scripts/vfx_dual_matte_decontam.py➔ ProRes 4444 Straight Alpha. - Effacement d'objets + ombres + reflets :
EffectErase(FudanCVL/EffectErase) ouProPainter(pour câbles/marques rigides). - Camera Tracking 3D / Matchmoving / Point Tracking : Longue vidéo IA ➔
Depth-Anything-3(DA3-Streaming) ouPi3X(disable_multimodal()) ouVGGT-1B(exportCOLMAP) ; occlusions ➔CoTracker3/AllTracker; matchmoving sub-pixel ➔ Blender Tracker /COLMAP(GLOMAP intégré ;colmap/glomapdéprécié) ; 1 photo ➔perarnia/fSpy. - Couche de Normales (Temps réel <25 ms) :
DAViDNormals.tox(~10 ms danstd-native-inference➔Relight.tox), TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag), Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) via Spout2 ou Depth-to-Normal (scripts/td_depth_to_normal.frag). - Couche de Normales (Post-production VFX) :
NormalCrafter --max-res 512(~6 Go,VizClickNormalCrafter+VizClickNormalTemporalStabilizer),LotusSD2.1 (~4–8 Go batch rapide),Lotus-2FLUX GGUF (~8–11 Go micro-détail en stills),StableNormal-turbo+StableDelight(~6–9 Go),MoGe-2/3,DeepBump. Exporter en Camera Space OpenGL+Yvers le haut en EXR 16F/32F linéaire (FXTD-Studios/radiance/ComfyUI-ACES-IO). - Colorimétrie OCIO (
ACES 2.0/AgX) : Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP:sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct/ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; le checkpoint RUDRA est non-commercial) · Python (aces_hill_filmic_tonemap/ocio_agx_tonemap+compose_hdr_on_plate_srgbdansscripts/vfx_ssdo_relight_16f.py). - Audio IA, Foley & Sous-titres : Foley synchronisé sur image ➔
hkchengrex/MMAudio(~6 Go fp16, poidsCC-BY-NC-4.0) ; sous-titres synchronisés mot à mot ➔WhisperX(<8 Go) ; nettoyage CPU gratuit ➔DeepFilterNet; stems ➔python-audio-separator/Demucs; TTS ➔Chatterbox/F5-TTS/Kokoro(82M). - Face VFX & OBS Live : Retouche/regard naturel ➔
KlingAIResearch/LivePortrait(~4–8 Go) ; swap ➔ReActor+CodeFormer(0.7–0.8, avertissement 128px) ; capture GPU 60 FPS ➔obs-spout2-plugin+royshil/obs-mcp(4455). - TouchDesigner + Blender en Direct (Module C) :
TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp,"serverUrl"dans Antigravity) +TDMCPSkills(19 compétencestd-*) ouEmbody/Envoy(YAML TDXN) ; séparez les Modes VRAM 1 (Spout2+StreamDiffusionTD), 2 (GVHMR~4.2 Go ➔ Blendermcp-for-blender) et 3 (POPs + 3DGS). - Feu / Énergie VFX sur Anatomie, Fluide GPU Incompressible & Relighting PBR (Module A Phase 2.5 /
Workflow 4 · Route G & B) :- Bus Commun
16F(~60s/33f) :vfx_dual_matte_decontam.py(matte_skinvsmatte_fabric) +NormalCrafter 512px+DepthAnything V2/DA3. - Simulation Physique avec Inertie Réelle (Porte 3) :
- Option GPU Directe (
< 1 Go VRAM,< 1 min) :scripts/vfx_incompressible_fire_sim.py(Navier-Stokes incompressible avec projection de pression Red-Black SOR, compensation de caméraRANSAC Homography/ LK, advection BFECC clamped, Vorticity Confinement, langues Curl advectées, étincelles Lagrangiennes et Occlusion Z-Buffer Continue Front/Back). Alternatives compatibles :taichi-dev/taichi/tum-pbs/PhiFlow. - Option 3D Volumétrique (
Route C) :scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(ferme le bord ouvert du poignet MANO aveccap_open_mesh_watertightpour une émission surfacique continuevelocity_factor=1.25+ shader Lame Fine BlackbodyDensity=0.02+ collisionneurProxy_Black_Cuff, ou export.abcvers JangaFX EmberGen / LiquiGen[OK-12GB]). N'émettez jamais depuis des sphères lâches sur les landmarks.
- Option GPU Directe (
- Relighting PBR Couplé + Motion Blur
180°+ Tone Map sans Lavande Saumon :scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True, pyramide MIPbuild_fire_irradiance_pyramid+extract_dynamic_lights_from_fire,apply_velocity_motion_blurshutter=0.5etcompose_hdr_on_plate_srgbavec Stephen Hill ACES /PyOpenColorIO AgX Punchy).
- Bus Commun
- Accélération Windows :
woct0rdho/triton-windows+woct0rdho/SageAttention+TeaCache.