Video & VFX 로컬 최적화 스킬 (RTX 3060 12 GB / 32 GB RAM / Win 11)
이 스킬을 적용해야 할 때
사용자가 설치, 모델 선택, ComfyUI/Wan2GP 워크플로우 구축, 로토스코핑, 노멀 맵 추출, 3D 카메라 트래킹, OCIO 컬러 설정, Foley/자막/TTS 생성, TouchDesigner + Blender + OBS 연결, GPU 유체/불 시뮬레이션, Windows 11에서의 로컬 업스케일링/모션 처리를 요청하면 항상 활성화하세요.
하드웨어 엄격 규칙 (위반 금지)
- VRAM 한도 (12 GB GDDR6 Ampere
sm_86):- RTX 3060에는 FP8 Tensor Cores가 없습니다 (
sm_86 < 8.9):WanVideoModelLoader에서fp8_fast또는torch.compile(e4m3fn대상)을 활성화하는 것이 금지됩니다.base_precision="bf16",quantization="disabled",attention_mode="sageattn"/"sdpa", 가중치는 GGUF (Q3_K_M8.64 GB /Q4_K_S10.55 GB /Q5_K_M) 또는 **INT8(quanto/mmgp)**를 사용하세요. - 두 개의 무거운 확산/VLM 모델을 동시에 VRAM에 유지하지 마십시오. **
VRAM_Debug(unload_all_models=true,empty_cache=true,gc_collect=true)**를 사용하여 순차적 단계로 실행하고comfy-matanyone2/config.py에서"max_mem_frames": 5를 조정하세요.
- RTX 3060에는 FP8 Tensor Cores가 없습니다 (
- 시스템 RAM 한도 (32 GB — Windows 11에서 실제 사용 가능 약 22~24 GB):
UMT5-XXL FP16(~9.5 GB) 또는Gemma를 A14B 전문가와 함께 RAM에 상주시키지 마십시오.WanVideoTextEncodeCached(use_disk_cache=true), GGUF Q4/Q5 버전 (또는Lotus-2의flux_empty_embed.pt)을 사용하고 긴 배치 처리 전에 Premiere, AE, 무거운 Blender, Chrome을 닫으십시오 (Pagefile NVMe >=32 GB 설정).
- 해상도, FPS 및 R&D 테스트 전략 (
33f -> 167f, 4단계 정량 게이트):- 해부학적 구조 위의 불/VFX 평면에서는 먼저 33프레임 (
job_33f)의 중요 클립을 실행하고 **scripts/vfx_rd_metrics_eval.py**로 4개의 정량 게이트를 검증하십시오:- 게이트 0: 검은색 머리카락 영역에서
‖N‖ ∈ [0.99, 1.01],fringe_delta_l < 0.03(vfx_dual_matte_decontam.py사용). - 게이트 1: 검은색 주먹 게인
<= 1.15x, SSDO 대비>= 3.5:1(NormalCrafter와 함께invert_normal_y=True사용), 흰색 배경CIEDE2000 <= 1.5. - 게이트 2: 선형 HDR 피크
>= 4.0,pastel_yellow_clip_pct <= 1.0%,salmon_wash_pct <= 2.0%(Stephen Hill ACES Filmic RRT+ODT 또는PyOpenColorIO AgX Punchy+compose_hdr_on_plate_srgb사용, 단순m_inset사용 금지), 노이즈/MTF±12%. - 게이트 3 (모션↔불 결합):
v_hand_world = v_hand_screen - v_cam과 상단 플룸 웨이크 사이의lag_correlation >= 0.45및mean_wake_deflection_px >= 1.2 px(상태 비저장 강체 절차적 불 사용 거부).
- 게이트 0: 검은색 머리카락 영역에서
- 일반 I2V/T2V의 경우
640x360또는832x480에서16 fps(81프레임 ≈ 5초)로 생성하고 SeedVR2 (3B +block_swap) 또는 FlashVSR (타일링)로 업스케일한 후 최종 그레인을 추가하기 전에 Practical-RIFE로 FPS를 두 배로 늘리십시오.
- 해부학적 구조 위의 불/VFX 평면에서는 먼저 33프레임 (
- Windows 11 + ComfyUI Portable (
python_embeded -s)의 실제 문제점:MatAnyone2는hatchling버그 (matanyone2/config/__init__.py중복)로 인해pip install이 실패합니다 ➔matanyone2/폴더를python_embeded\Lib\site-packages\에 직접 복사하십시오.transformers 5.9.0은 스텁이 있는import_utils.py에서KeyError: 'flash_attn'을 발생시킵니다 ➔.get("flash_attn", [])를 사용하십시오.python_embeded -s는--user를 무시합니다 ➔OpenEXR,PyOpenColorIO,pymatting은 항상--target python_embeded\Lib\site-packages로 설치하십시오.
- JS/CPU 오프로드 및 선형 패스 규칙:
- HUD, 운동 그래픽 텍스트, 의류 카탈로그 또는 경량 WebGL 3D 조각은 Ryzen 9 5900X의 24스레드에서 **JavaScript (
RemotionProRes 4444 Alpha,Motion Canvas,GSAP,Three.js+ Playwright)**로 렌더링하거나 라이브로Web Render TOP(TD2025.31550+)를 통해 렌더링하여 확산 VRAM을 절약하십시오. - 기술 패스 (
Normal,Depth,Roughness)는 항상 sRGB 감마 곡선 밖의Non-Color / RawEXR 16F/32F 선형으로 유지하십시오. HDR>1.0불 위에서FrequencyCombineMEC를 사용하지 마십시오. SDR[0, 1]로 클리핑되기 때문입니다.
- HUD, 운동 그래픽 텍스트, 의류 카탈로그 또는 경량 WebGL 3D 조각은 Ryzen 9 5900X의 24스레드에서 **JavaScript (
사용 사례별 빠른 선택
- 간편함 / "GPU Poor" 멀티모델:
Wan2GP(deepbeepmeep/WanGP) (mmgp엔진 +INT8) - 네이티브 오디오 비디오:
LTX-2.3/LTX-2.5양자화 (GGUF Q3_K_M/Q4_K_M) 또는LTX-Desktop. - 긴 I2V 평면 (>10s 안티 드리프트):
FramePack(lllyasviel/FramePack). - 머리카락/천 로토스코핑 및 듀얼 매트:
SAM 2 / SAM 3(SegmentC2C) ➔MatAnyone 2(max_mem_frames=5) ➔MatteDesk(ForegroundDecontaminate) /scripts/vfx_dual_matte_decontam.py➔ ProRes 4444 Straight Alpha. - 객체 + 그림자 + 반사 제거:
EffectErase(FudanCVL/EffectErase) 또는ProPainter(케이블/경직된 마크용). - 3D 카메라 트래킹 / 매치무빙 / 포인트 트래킹: 긴 AI 비디오 ➔
Depth-Anything-3(DA3-Streaming) 또는Pi3X(disable_multimodal()) 또는VGGT-1B(COLMAP 내보내기); 폐색 ➔CoTracker3/AllTracker; 서브픽셀 매치무빙 ➔ Blender Tracker /COLMAP(GLOMAP 통합;colmap/glomapdeprecated); 사진 1장 ➔perarnia/fSpy. - 노멀 맵 (실시간 <25 ms):
DAViDNormals.tox(~10 ms,td-native-inference➔Relight.tox), TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag), Blender View/World Normal AOV (scripts/blender_normal_pass_setup.py) via Spout2 또는 Depth-to-Normal (scripts/td_depth_to_normal.frag). - 노멀 맵 (VFX 후반):
NormalCrafter --max-res 512(~6 GB,VizClickNormalCrafter+VizClickNormalTemporalStabilizer),LotusSD2.1 (~4–8 GB, 빠른 배치),Lotus-2FLUX GGUF (~8–11 GB, 스틸 미세 디테일),StableNormal-turbo+StableDelight(~6–9 GB),MoGe-2/3,DeepBump. Camera Space OpenGL+Y위쪽 방향 EXR 16F/32F 선형으로 내보내기 (FXTD-Studios/radiance/ComfyUI-ACES-IO). - OCIO 컬러 (
ACES 2.0/AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP:sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct/ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA checkpoint는 비상업용) · Python (aces_hill_filmic_tonemap/ocio_agx_tonemap+scripts/vfx_ssdo_relight_16f.py의compose_hdr_on_plate_srgb). - AI 오디오, Foley 및 자막: 프레임 동기화 Foley ➔
hkchengrex/MMAudio(~6 GB fp16, 가중치CC-BY-NC-4.0); 단어 동기화 자막 ➔WhisperX(<8 GB); 무료 CPU 클리닝 ➔DeepFilterNet; 스템 ➔python-audio-separator/Demucs; TTS ➔Chatterbox/F5-TTS/Kokoro(82M). - 페이스 VFX 및 OBS 라이브: 리터치/자연스러운 시선 ➔
KlingAIResearch/LivePortrait(~4–8 GB); 스왑 ➔ReActor+CodeFormer(0.7–0.8, 128px 경고); GPU 캡처 60 FPS ➔obs-spout2-plugin+royshil/obs-mcp(4455). - 라이브 TouchDesigner + Blender (모듈 C):
TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp, Antigravity의"serverUrl") +TDMCPSkills(19개td-*스킬) 또는Embody/Envoy(TDXN YAML); VRAM 모드 분리: 1 (Spout2+StreamDiffusionTD), 2 (GVHMR~4.2 GB ➔ Blendermcp-for-blender), 3 (POPs + 3DGS). - 해부학 구조 위의 불/에너지 VFX, 비압축성 GPU 유체 및 PBR 재조명 (모듈 A 페이즈 2.5 /
Workflow 4 · Ruta G & B):- 공통
16F버스 (~60s/33f):vfx_dual_matte_decontam.py(matte_skinvsmatte_fabric) +NormalCrafter 512px+DepthAnything V2/DA3. - 실제 관성을 가진 물리 시뮬레이션 (게이트 3):
- 직접 GPU 옵션 (
< 1 GB VRAM,< 1 min):scripts/vfx_incompressible_fire_sim.py(비압축성 Navier-Stokes, Red-Black SOR 압력 투영, RANSAC Homography/LK 카메라 보정, BFECC clamped 이송, Vorticity Confinement, advected Curl 혀, Lagrangian 스파크, 연속 전면/후면 Z-Buffer 폐색). 호환 가능한 대안:taichi-dev/taichi/tum-pbs/PhiFlow. - 3D 볼륨 옵션 (
Ruta C):scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(MANO 손목 열린 가장자리를cap_open_mesh_watertight로 닫아 연속 표면 방출velocity_factor=1.25+ 얇은 판 흑체Density=0.02셰이더 +Proxy_Black_Cuff충돌체, 또는.abc내보내기를 JangaFX EmberGen / LiquiGen[OK-12GB]으로). 랜드마크의 분리된 구체에서 방출하지 마십시오.
- 직접 GPU 옵션 (
- 결합된 PBR 재조명 +
180°모션 블러 + 연어색 워시 없는 톤 맵:scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True, MIP 피라미드build_fire_irradiance_pyramid+extract_dynamic_lights_from_fire,apply_velocity_motion_blurshutter=0.5, Stephen Hill ACES /PyOpenColorIO AgX Punchy를 사용한compose_hdr_on_plate_srgb).
- 공통
- Windows 가속:
woct0rdho/triton-windows+woct0rdho/SageAttention+TeaCache.