Communitygithub.com

video-vfx-3060-12gb-local

Wählt aus, optimiert und debuggt lokale Pipelines für KI-Videogenerierung, Rotoskopie, Matting, Normalen-Pass, 3D-Kameratracking, OCIO/ACES 2.0-Farbmanagement, KI-Audio/Foley, OBS Spout2, Live-TouchDesigner/Blender, VSR und JS-Offload – streng abgestimmt auf die Hardware RTX 3060 12 GB VRAM + Ryzen 9 5900X + 32 GB RAM unter Windows 11.

Was ist video-vfx-3060-12gb-local?

Dieses Skill ist ein umfassender Leitfaden und eine Automatisierungsregel für Entwickler, die auf einer Windows 11-Maschine mit RTX 3060 (12 GB VRAM), Ryzen 9 5900X und 32 GB RAM lokale VFX- und KI-Videopipelines betreiben. Es enthält harte Hardware-Grenzwerte (z. B. kein nativer FP8-Tensor-Core auf sm_86), detaillierte Strategien für VRAM- und RAM-Management sowie eine gestaffelte R&D-Prüfung mit 4 quantitativen Gates (Grad 0 bis 3) für Feuer-/VFX-Aufnahmen über Anatomie. Das Skill unterstützt zahlreiche Tools: ComfyUI, Wan2GP, MatAnyone2, NormalCrafter, SAM 2/3, EffectErase, Depth-Anything-3, CoTracker3, OBS Spout2, TouchDesigner, Blender, MMAudio, WhisperX, SeedVR2, FlashVSR, Practical-RIFE, PyOpenColorIO und mehr. Es bietet klare Anweisungen zur Vermeidung typischer Windows-11-Fehler und zur sequenziellen Phasenausführung, um VRAM-Überlastung zu verhindern. Das Skill ist ideal für Künstler und Ingenieure, die professionelle VFX-Workflows lokal rendern möchten, ohne in teure Cloud-Dienste zu investieren.

Funktioniert mit~Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/Leopoldoleoncancino/video-vfx-ai-bible/tree/main/skills/video-vfx-3060-12gb-local

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Skill zur lokalen Optimierung von Video & VFX (RTX 3060 12 GB / 32 GB RAM / Win 11)

Wann dieses Skill anzuwenden ist

Aktiviere es immer, wenn der Benutzer die Installation, Modellauswahl, den Bau von ComfyUI/Wan2GP-Workflows, Rotoskopie, Normalen-Pass, 3D-Kameratracking, OCIO-Farbkonfiguration, Foley/Untertitel/TTS-Generierung, die Verbindung von TouchDesigner + Blender + OBS, GPU-Fluid-/Feuersimulation oder lokales Upscaling/Motion unter Windows 11 anfordert.

Harte Hardware-Regeln (NICHT brechen)

  1. VRAM-Limit (12 GB GDDR6 Ampere sm_86):
    • Die RTX 3060 hat keine nativen FP8 Tensor Cores (sm_86 < 8.9) – es ist verboten, fp8_fast oder torch.compile über e4m3fn im WanVideoModelLoader zu aktivieren; verwende stattdessen base_precision="bf16", quantization="disabled", attention_mode="sageattn"/"sdpa", Gewichte GGUF (Q3_K_M 8,64 GB / Q4_K_S 10,55 GB / Q5_K_M) oder INT8 (quanto/mmgp).
    • Halte niemals zwei schwere Diffusions-/VLM-Modelle gleichzeitig im VRAM: Führe sequenzielle Phasen mit VRAM_Debug (unload_all_models=true, empty_cache=true, gc_collect=true) aus und setze "max_mem_frames": 5 in comfy-matanyone2/config.py.
  2. System-RAM-Limit (32 GB – ~22–24 GB tatsächlich frei unter Windows 11):
    • Vermeide es, UMT5-XXL FP16 (~9,5 GB) oder Gemma im RAM zusammen mit A14B-Experten zu halten: Verwende WanVideoTextEncodeCached (use_disk_cache=true), GGUF Q4/Q5-Versionen (oder flux_empty_embed.pt in Lotus-2) und schließe Premiere, AE, schwere Blender-Projekte und Chrome vor langen Batches (lege Pagefile NVMe >=32 GB fest).
  3. Auflösungs-, FPS- und R&D-Teststrategie (33f -> 167f mit 4 Quantitativen Gates):
    • Führe bei Feuer-/VFX-Aufnahmen über Anatomie zuerst den kritischen Schnitt von 33 Frames (job_33f) durch und validiere die 4 quantitativen Gates mit scripts/vfx_rd_metrics_eval.py:
      • Gate 0: ‖N‖ ∈ [0,99, 1,01], fringe_delta_l < 0,03 in schwarzen Fäden (vfx_dual_matte_decontam.py).
      • Gate 1: Gewinn in schwarzer Faust <= 1,15x, SSDO-Kontrast >= 3,5:1 (invert_normal_y=True mit NormalCrafter) und weißer Schreibtisch CIEDE2000 <= 1,5.
      • Gate 2: linearer HDR-Spitzenwert >= 4,0, pastel_yellow_clip_pct <= 1,0%, salmon_wash_pct <= 2,0% (mit Stephen Hill ACES Filmic RRT+ODT oder PyOpenColorIO AgX Punchy + compose_hdr_on_plate_srgb, niemals einfaches m_inset) und Rauschen/MTF ±12%.
      • Gate 3 (Bewegungs-Feuer-Kopplung): lag_correlation >= 0,45 und mean_wake_deflection_px >= 1,2 px zwischen v_hand_world = v_hand_screen - v_cam und der oberen Schwanenfahne (lehne starre stateless prozedurale Feuer ab).
    • Für allgemeines I2V/T2V generiere in 640x360 oder 832x480 bei 16 fps (81 Frames ≈ 5s), skaliere mit SeedVR2 (3B + block_swap) oder FlashVSR (Tiling) und verdopple FPS am Ende mit Practical-RIFE bevor abschließendes Korn hinzugefügt wird.
  4. Echte Fallstricke von Windows 11 + ComfyUI Portable (python_embeded -s):
    • MatAnyone2 schlägt bei pip install aufgrund eines hatchling-Bugs fehl (doppeltes matanyone2/config/__init__.py) → kopiere den matanyone2/-Ordner direkt nach python_embeded\Lib\site-packages\.
    • transformers 5.9.0 wirft KeyError: 'flash_attn' in import_utils.py bei Stubs → verwende .get("flash_attn", []).
    • python_embeded -s ignoriert --user → installiere OpenEXR, PyOpenColorIO, pymatting immer mit --target python_embeded\Lib\site-packages.
  5. Offload-Regel JS/CPU & Lineare Pässe:
    • Wenn ein Element HUD, kinetischer Text, Bekleidungskatalog oder leichtes WebGL-3D ist, rendere es mit JavaScript (Remotion ProRes 4444 Alpha, Motion Canvas, GSAP, Three.js + Playwright) auf den 24 Threads des Ryzen 9 5900X oder live via Web Render TOP (TD 2025.31550+) anstatt VRAM für Diffusion zu verbrauchen.
    • Halte technische Pässe (Normal, Depth, Roughness) immer als Non-Color / Raw EXR 16F/32F linear außerhalb von sRGB-Gammakurven. Verwende KEIN FrequencyCombineMEC über HDR-Feuer >1.0, da es auf [0, 1] SDR beschneidet.

Schnellauswahl nach Anwendungsfall

  • Einfachheit / Multi-Modell "GPU Poor": Wan2GP (deepbeepmeep/WanGP) mit mmgp-Engine + INT8.
  • Video mit nativem Audio: LTX-2.3 / LTX-2.5 quantisiert (GGUF Q3_K_M/Q4_K_M) oder LTX-Desktop.
  • Lange I2V-Aufnahmen (>10s Anti-Drift): FramePack (lllyasviel/FramePack).
  • Rotoskopie von Haar/Stoff & Dual Matte: SAM 2 / SAM 3 (SegmentC2C) ➔ MatAnyone 2 (max_mem_frames=5) ➔ MatteDesk (ForegroundDecontaminate) / scripts/vfx_dual_matte_decontam.py ➔ ProRes 4444 Straight Alpha.
  • Objekte + Schatten + Reflexionen entfernen: EffectErase (FudanCVL/EffectErase) oder ProPainter (für Kabel/harte Markierungen).
  • 3D-Kameratracking / Matchmoving / Punkt-Tracking: Langes KI-Video ➔ Depth-Anything-3 (DA3-Streaming) oder Pi3X (disable_multimodal()) oder VGGT-1B (Export COLMAP); Okklusionen ➔ CoTracker3 / AllTracker; Subpixel-Matchmoving ➔ Blender Tracker / COLMAP (GLOMAP integriert; colmap/glomap veraltet); 1 Foto ➔ perarnia/fSpy.
  • Normalen-Pass (Echtzeit <25 ms): DAViDNormals.tox (~10 ms in td-native-inference ➔ Relight.tox), TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag), Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) via Spout2 oder Depth-to-Normal (scripts/td_depth_to_normal.frag).
  • Normalen-Pass (VFX-Postproduktion): NormalCrafter --max-res 512 (~6 GB, VizClickNormalCrafter + VizClickNormalTemporalStabilizer), Lotus SD2.1 (~4–8 GB schneller Batch), Lotus-2 FLUX GGUF (~8–11 GB Mikrodetail in Stills), StableNormal-turbo + StableDelight (~6–9 GB), MoGe-2/3, DeepBump. Export in Camera Space OpenGL +Y nach oben in linearem EXR 16F/32F (FXTD-Studios/radiance / ComfyUI-ACES-IO).
  • OCIO-Farbmanagement (ACES 2.0 / AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP: sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct / ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA-Checkpoint ist nicht-kommerziell) · Python (aces_hill_filmic_tonemap / ocio_agx_tonemap + compose_hdr_on_plate_srgb in scripts/vfx_ssdo_relight_16f.py).
  • KI-Audio, Foley & Untertitel: Frame-synchronisiertes Foley ➔ hkchengrex/MMAudio (~6 GB fp16, Gewichte CC-BY-NC-4.0); Wort-synchrone Untertitel ➔ WhisperX (<8 GB); kostenlose CPU-Bereinigung ➔ DeepFilterNet; Stems ➔ python-audio-separator / Demucs; TTS ➔ Chatterbox / F5-TTS / Kokoro (82M).
  • Gesichts-VFX & OBS Live: Retusche/natürlicher Blick ➔ KlingAIResearch/LivePortrait (~4–8 GB); Swap ➔ ReActor + CodeFormer (0,7–0,8, Warnung 128px); GPU-Aufnahme 60 FPS ➔ obs-spout2-plugin + royshil/obs-mcp (4455).
  • TouchDesigner + Blender Live (Modul C): TouchDesigner/TDMCP (http://127.0.0.1:13316/mcp, "serverUrl" in Antigravity) + TDMCPSkills (19 td-*-Skills) oder Embody/Envoy (TDXN YAML); trenne die VRAM-Modi 1 (Spout2 + StreamDiffusionTD), 2 (GVHMR ~4,2 GB ➔ Blender mcp-for-blender) und 3 (POPs + 3DGS).
  • Feuer-/Energie-VFX über Anatomie, inkompressible GPU-Fluid-Simulation & PBR-Relighting (Modul A Phase 2.5 / Workflow 4 · Route G & B):
    1. Gemeinsamer 16F-Bus (~60s/33f): vfx_dual_matte_decontam.py (matte_skin vs matte_fabric) + NormalCrafter 512px + DepthAnything V2/DA3.
    2. Physikalische Simulation mit echter Trägheit (Gate 3):
      • Direkte GPU-Option (< 1 GB VRAM, < 1 min): scripts/vfx_incompressible_fire_sim.py (inkompressible Navier-Stokes mit Druckprojektion Red-Black SOR, Kamerakompensation RANSAC Homography / LK, Advektion BFECC clamped, Vorticity Confinement, advektierte Curl-Zungen, Lagrange-Sparken und kontinuierlichem Front/Back Z-Buffer Occlusion). Kompatible Alternativen: taichi-dev/taichi / tum-pbs/PhiFlow.
      • 3D-Volumetrische Option (Route C): scripts/wilor_mano_to_blender_abc.py --enable-mantaflow (schließt die offene Kante des MANO-Handgelenks mit cap_open_mesh_watertight für kontinuierliche Oberflächenemission velocity_factor=1,25 + Shader Dünnschicht-Blackbody Density=0,02 + Proxy_Black_Cuff-Kollider, oder Export .abc zu JangaFX EmberGen / LiquiGen [OK-12GB]). Emittiere niemals von losen Kugeln an Landmarken.
    3. Gekoppeltes PBR-Relighting + Motion Blur 180° + Tone Mapping ohne Lachs-Waschung: scripts/vfx_ssdo_relight_16f.py (invert_normal_y=True, MIP-Pyramide build_fire_irradiance_pyramid + extract_dynamic_lights_from_fire, apply_velocity_motion_blur shutter=0,5 und compose_hdr_on_plate_srgb mit Stephen Hill ACES / PyOpenColorIO AgX Punchy).
  • Windows-Beschleunigung: woct0rdho/triton-windows + woct0rdho/SageAttention + TeaCache.

Verwandte Skills