Skill zur lokalen Optimierung von Video & VFX (RTX 3060 12 GB / 32 GB RAM / Win 11)
Wann dieses Skill anzuwenden ist
Aktiviere es immer, wenn der Benutzer die Installation, Modellauswahl, den Bau von ComfyUI/Wan2GP-Workflows, Rotoskopie, Normalen-Pass, 3D-Kameratracking, OCIO-Farbkonfiguration, Foley/Untertitel/TTS-Generierung, die Verbindung von TouchDesigner + Blender + OBS, GPU-Fluid-/Feuersimulation oder lokales Upscaling/Motion unter Windows 11 anfordert.
Harte Hardware-Regeln (NICHT brechen)
- VRAM-Limit (12 GB GDDR6 Ampere
sm_86):- Die RTX 3060 hat keine nativen FP8 Tensor Cores (
sm_86 < 8.9) – es ist verboten,fp8_fastodertorch.compileübere4m3fnimWanVideoModelLoaderzu aktivieren; verwende stattdessenbase_precision="bf16",quantization="disabled",attention_mode="sageattn"/"sdpa", Gewichte GGUF (Q3_K_M8,64 GB /Q4_K_S10,55 GB /Q5_K_M) oderINT8(quanto/mmgp). - Halte niemals zwei schwere Diffusions-/VLM-Modelle gleichzeitig im VRAM: Führe sequenzielle Phasen mit
VRAM_Debug(unload_all_models=true,empty_cache=true,gc_collect=true) aus und setze"max_mem_frames": 5incomfy-matanyone2/config.py.
- Die RTX 3060 hat keine nativen FP8 Tensor Cores (
- System-RAM-Limit (32 GB – ~22–24 GB tatsächlich frei unter Windows 11):
- Vermeide es,
UMT5-XXL FP16(~9,5 GB) oderGemmaim RAM zusammen mit A14B-Experten zu halten: VerwendeWanVideoTextEncodeCached(use_disk_cache=true), GGUF Q4/Q5-Versionen (oderflux_empty_embed.ptinLotus-2) und schließe Premiere, AE, schwere Blender-Projekte und Chrome vor langen Batches (lege Pagefile NVMe >=32 GB fest).
- Vermeide es,
- Auflösungs-, FPS- und R&D-Teststrategie (
33f -> 167fmit 4 Quantitativen Gates):- Führe bei Feuer-/VFX-Aufnahmen über Anatomie zuerst den kritischen Schnitt von 33 Frames (
job_33f) durch und validiere die 4 quantitativen Gates mitscripts/vfx_rd_metrics_eval.py:- Gate 0:
‖N‖ ∈ [0,99, 1,01],fringe_delta_l < 0,03in schwarzen Fäden (vfx_dual_matte_decontam.py). - Gate 1: Gewinn in schwarzer Faust
<= 1,15x, SSDO-Kontrast>= 3,5:1(invert_normal_y=TruemitNormalCrafter) und weißer SchreibtischCIEDE2000 <= 1,5. - Gate 2: linearer HDR-Spitzenwert
>= 4,0,pastel_yellow_clip_pct <= 1,0%,salmon_wash_pct <= 2,0%(mit Stephen Hill ACES Filmic RRT+ODT oderPyOpenColorIO AgX Punchy+compose_hdr_on_plate_srgb, niemals einfachesm_inset) und Rauschen/MTF±12%. - Gate 3 (Bewegungs-Feuer-Kopplung):
lag_correlation >= 0,45undmean_wake_deflection_px >= 1,2 pxzwischenv_hand_world = v_hand_screen - v_camund der oberen Schwanenfahne (lehne starre stateless prozedurale Feuer ab).
- Gate 0:
- Für allgemeines I2V/T2V generiere in
640x360oder832x480bei16 fps(81 Frames ≈ 5s), skaliere mit SeedVR2 (3B +block_swap) oder FlashVSR (Tiling) und verdopple FPS am Ende mit Practical-RIFE bevor abschließendes Korn hinzugefügt wird.
- Führe bei Feuer-/VFX-Aufnahmen über Anatomie zuerst den kritischen Schnitt von 33 Frames (
- Echte Fallstricke von Windows 11 + ComfyUI Portable (
python_embeded -s):MatAnyone2schlägt beipip installaufgrund eineshatchling-Bugs fehl (doppeltesmatanyone2/config/__init__.py) → kopiere denmatanyone2/-Ordner direkt nachpython_embeded\Lib\site-packages\.transformers 5.9.0wirftKeyError: 'flash_attn'inimport_utils.pybei Stubs → verwende.get("flash_attn", []).python_embeded -signoriert--user→ installiereOpenEXR,PyOpenColorIO,pymattingimmer mit--target python_embeded\Lib\site-packages.
- Offload-Regel JS/CPU & Lineare Pässe:
- Wenn ein Element HUD, kinetischer Text, Bekleidungskatalog oder leichtes WebGL-3D ist, rendere es mit JavaScript (
RemotionProRes 4444 Alpha,Motion Canvas,GSAP,Three.js+ Playwright) auf den 24 Threads des Ryzen 9 5900X oder live viaWeb Render TOP(TD2025.31550+) anstatt VRAM für Diffusion zu verbrauchen. - Halte technische Pässe (
Normal,Depth,Roughness) immer alsNon-Color / RawEXR 16F/32F linear außerhalb von sRGB-Gammakurven. Verwende KEINFrequencyCombineMECüber HDR-Feuer>1.0, da es auf[0, 1]SDR beschneidet.
- Wenn ein Element HUD, kinetischer Text, Bekleidungskatalog oder leichtes WebGL-3D ist, rendere es mit JavaScript (
Schnellauswahl nach Anwendungsfall
- Einfachheit / Multi-Modell "GPU Poor":
Wan2GP(deepbeepmeep/WanGP) mitmmgp-Engine +INT8. - Video mit nativem Audio:
LTX-2.3/LTX-2.5quantisiert (GGUF Q3_K_M/Q4_K_M) oderLTX-Desktop. - Lange I2V-Aufnahmen (>10s Anti-Drift):
FramePack(lllyasviel/FramePack). - Rotoskopie von Haar/Stoff & Dual Matte:
SAM 2 / SAM 3(SegmentC2C) ➔MatAnyone 2(max_mem_frames=5) ➔MatteDesk(ForegroundDecontaminate) /scripts/vfx_dual_matte_decontam.py➔ ProRes 4444 Straight Alpha. - Objekte + Schatten + Reflexionen entfernen:
EffectErase(FudanCVL/EffectErase) oderProPainter(für Kabel/harte Markierungen). - 3D-Kameratracking / Matchmoving / Punkt-Tracking: Langes KI-Video ➔
Depth-Anything-3(DA3-Streaming) oderPi3X(disable_multimodal()) oderVGGT-1B(ExportCOLMAP); Okklusionen ➔CoTracker3/AllTracker; Subpixel-Matchmoving ➔ Blender Tracker /COLMAP(GLOMAP integriert;colmap/glomapveraltet); 1 Foto ➔perarnia/fSpy. - Normalen-Pass (Echtzeit <25 ms):
DAViDNormals.tox(~10 ms intd-native-inference➔Relight.tox), TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag), Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) via Spout2 oder Depth-to-Normal (scripts/td_depth_to_normal.frag). - Normalen-Pass (VFX-Postproduktion):
NormalCrafter --max-res 512(~6 GB,VizClickNormalCrafter+VizClickNormalTemporalStabilizer),LotusSD2.1 (~4–8 GB schneller Batch),Lotus-2FLUX GGUF (~8–11 GB Mikrodetail in Stills),StableNormal-turbo+StableDelight(~6–9 GB),MoGe-2/3,DeepBump. Export in Camera Space OpenGL+Ynach oben in linearem EXR 16F/32F (FXTD-Studios/radiance/ComfyUI-ACES-IO). - OCIO-Farbmanagement (
ACES 2.0/AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP:sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct/ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA-Checkpoint ist nicht-kommerziell) · Python (aces_hill_filmic_tonemap/ocio_agx_tonemap+compose_hdr_on_plate_srgbinscripts/vfx_ssdo_relight_16f.py). - KI-Audio, Foley & Untertitel: Frame-synchronisiertes Foley ➔
hkchengrex/MMAudio(~6 GB fp16, GewichteCC-BY-NC-4.0); Wort-synchrone Untertitel ➔WhisperX(<8 GB); kostenlose CPU-Bereinigung ➔DeepFilterNet; Stems ➔python-audio-separator/Demucs; TTS ➔Chatterbox/F5-TTS/Kokoro(82M). - Gesichts-VFX & OBS Live: Retusche/natürlicher Blick ➔
KlingAIResearch/LivePortrait(~4–8 GB); Swap ➔ReActor+CodeFormer(0,7–0,8, Warnung 128px); GPU-Aufnahme 60 FPS ➔obs-spout2-plugin+royshil/obs-mcp(4455). - TouchDesigner + Blender Live (Modul C):
TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp,"serverUrl"in Antigravity) +TDMCPSkills(19td-*-Skills) oderEmbody/Envoy(TDXN YAML); trenne die VRAM-Modi 1 (Spout2+StreamDiffusionTD), 2 (GVHMR~4,2 GB ➔ Blendermcp-for-blender) und 3 (POPs + 3DGS). - Feuer-/Energie-VFX über Anatomie, inkompressible GPU-Fluid-Simulation & PBR-Relighting (Modul A Phase 2.5 /
Workflow 4 · Route G & B):- Gemeinsamer
16F-Bus (~60s/33f):vfx_dual_matte_decontam.py(matte_skinvsmatte_fabric) +NormalCrafter 512px+DepthAnything V2/DA3. - Physikalische Simulation mit echter Trägheit (Gate 3):
- Direkte GPU-Option (
< 1 GB VRAM,< 1 min):scripts/vfx_incompressible_fire_sim.py(inkompressible Navier-Stokes mit Druckprojektion Red-Black SOR, KamerakompensationRANSAC Homography/ LK, Advektion BFECC clamped, Vorticity Confinement, advektierte Curl-Zungen, Lagrange-Sparken und kontinuierlichem Front/Back Z-Buffer Occlusion). Kompatible Alternativen:taichi-dev/taichi/tum-pbs/PhiFlow. - 3D-Volumetrische Option (
Route C):scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(schließt die offene Kante des MANO-Handgelenks mitcap_open_mesh_watertightfür kontinuierliche Oberflächenemissionvelocity_factor=1,25+ Shader Dünnschicht-BlackbodyDensity=0,02+Proxy_Black_Cuff-Kollider, oder Export.abczu JangaFX EmberGen / LiquiGen[OK-12GB]). Emittiere niemals von losen Kugeln an Landmarken.
- Direkte GPU-Option (
- Gekoppeltes PBR-Relighting + Motion Blur
180°+ Tone Mapping ohne Lachs-Waschung:scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True, MIP-Pyramidebuild_fire_irradiance_pyramid+extract_dynamic_lights_from_fire,apply_velocity_motion_blurshutter=0,5undcompose_hdr_on_plate_srgbmit Stephen Hill ACES /PyOpenColorIO AgX Punchy).
- Gemeinsamer
- Windows-Beschleunigung:
woct0rdho/triton-windows+woct0rdho/SageAttention+TeaCache.