Video & VFX ローカル最適化スキル (RTX 3060 12 GB / 32 GB RAM / Win 11)
このスキルを適用するタイミング
ユーザーが以下の操作を要求した場合に常にアクティブにします。
- インストール、モデル選択、ComfyUI/Wan2GP のワークフロー構築
- ロトスコープ、ノーマルマップ生成、3D カメラトラッキング
- OCIO カラーマネジメントの設定
- Foley/字幕/TTS の生成
- TouchDesigner + Blender + OBS の連携
- GPU 流体/火災シミュレーション、または Windows 11 でのアップスケーリング/モーション処理
ハードウェアのハードルール(厳守)
- VRAM 制限 (12 GB GDDR6 Ampere
sm_86):- RTX 3060 は FP8 Tensor Cores をネイティブに持たない (
sm_86 < 8.9) ため、WanVideoModelLoaderでfp8_fastやtorch.compileをe4m3fnに対して有効化することは禁止。代わりにbase_precision="bf16"、quantization="disabled"、attention_mode="sageattn"/"sdpa"、重みは GGUF (Q3_K_M8.64 GB /Q4_K_S10.55 GB /Q5_K_M) またはINT8(quanto/mmgp) を使用すること。 - 2 つの大きな拡散/VLM モデルを同時に VRAM に保持してはならない。
VRAM_Debug(unload_all_models=true、empty_cache=true、gc_collect=true) を使用して逐次フェーズで実行し、comfy-matanyone2/config.pyで"max_mem_frames": 5を設定すること。
- RTX 3060 は FP8 Tensor Cores をネイティブに持たない (
- システム RAM 制限 (32 GB — Windows 11 で実質 ~22–24 GB 空き):
UMT5-XXL FP16(~9.5 GB) やGemmaを A14B エキスパートと同時に RAM に常駐させないこと。WanVideoTextEncodeCached(use_disk_cache=true)、GGUF Q4/Q5 バージョン (またはLotus-2ではflux_empty_embed.pt)、長時間バッチの前に Premiere、AE、Blender、Chrome を閉じること(Pagefile NVMe >=32 GB を設定)。
- 解像度、FPS、研究開発テストの戦略 (
33f -> 167f、4 つの定量ゲート):- 火災/解剖学上の VFX ショットでは、まず 33 フレーム (
job_33f) のクリティカルクロップを実行し、scripts/vfx_rd_metrics_eval.pyで 4 つの定量ゲート を検証すること。- ゲート 0:
‖N‖ ∈ [0.99, 1.01]、黒い髪の毛 (vfx_dual_matte_decontam.py) でfringe_delta_l < 0.03。 - ゲート 1: 黒い拳のゲイン
<= 1.15x、SSDO コントラスト>= 3.5:1(NormalCrafterでinvert_normal_y=True)、白い机でCIEDE2000 <= 1.5。 - ゲート 2: 線形 HDR ピーク
>= 4.0、pastel_yellow_clip_pct <= 1.0%、salmon_wash_pct <= 2.0%(Stephen Hill ACES Filmic RRT+ODT またはPyOpenColorIO AgX Punchy+compose_hdr_on_plate_srgbを使用、単純なm_insetは不可)、ノイズ/MTF±12%。 - ゲート 3 (動作↔火災の結合):
lag_correlation >= 0.45、mean_wake_deflection_px >= 1.2 px(v_hand_world = v_hand_screen - v_camと上部プルームの後流の間。ステートレスな剛体プロシージャル火災は拒否)。
- ゲート 0:
- 一般的な I2V/T2V では、
640x360または832x480、16 fps(81 フレーム ≈ 5秒)で生成し、SeedVR2 (3B +block_swap) または FlashVSR(タイル)でアップスケール、最後にファイナルグレインを追加する前に Practical-RIFE で FPS を 2 倍にする。
- 火災/解剖学上の VFX ショットでは、まず 33 フレーム (
- Windows 11 + ComfyUI Portable (
python_embeded -s) の実際の落とし穴:MatAnyone2はhatchlingのバグ (matanyone2/config/__init__.pyが重複) によりpip installで失敗する ➔matanyone2/フォルダを直接python_embeded\Lib\site-packages\にコピーすること。transformers 5.9.0はスタブ付きimport_utils.pyでKeyError: 'flash_attn'をスローする ➔.get("flash_attn", [])を使用すること。python_embeded -sは--userを無視する ➔OpenEXR、PyOpenColorIO、pymattingは常に--target python_embeded\Lib\site-packagesでインストールすること。
- JS/CPU オフロードと線形パスのルール:
- パーツが HUD、キネティックテキスト、カタログ、軽量 WebGL 3D の場合、拡散 VRAM を消費する代わりに、Ryzen 9 5900X の 24 スレッドまたはライブで JavaScript (
RemotionProRes 4444 Alpha、Motion Canvas、GSAP、Three.js+ Playwright) またはWeb Render TOP(TD2025.31550+) を使用してレンダリングすること。 - テクニカルパス (
Normal、Depth、Roughness) は常に sRGB ガンマカーブの外側でNon-Color / RawEXR 16F/32F 線形 として維持すること。HDR 火災>1.0に対してFrequencyCombineMECを使用しない こと。SDR[0, 1]にクリップされるため。
- パーツが HUD、キネティックテキスト、カタログ、軽量 WebGL 3D の場合、拡散 VRAM を消費する代わりに、Ryzen 9 5900X の 24 スレッドまたはライブで JavaScript (
ユースケース別クイック選択
- 容易 / マルチモデル "GPU Poor":
Wan2GP(deepbeepmeep/WanGP) +mmgpエンジン +INT8。 - ネイティブオーディオ付きビデオ:
LTX-2.3/LTX-2.5量子化 (GGUF Q3_K_M/Q4_K_M) またはLTX-Desktop。 - 長尺 I2V (>10s アンチドリフト):
FramePack(lllyasviel/FramePack)。 - 髪/布のロトスコープ & デュアルマット:
SAM 2 / SAM 3(SegmentC2C) ➔MatAnyone 2(max_mem_frames=5) ➔MatteDesk(ForegroundDecontaminate) /scripts/vfx_dual_matte_decontam.py➔ ProRes 4444 ストレートアルファ。 - オブジェクト削除 + 影 + 反射:
EffectErase(FudanCVL/EffectErase) またはProPainter(ケーブル/ハードマーク用)。 - 3D カメラトラッキング / マッチムーブ / ポイントトラッキング: 長尺 AI ビデオ ➔
Depth-Anything-3(DA3-Streaming) またはPi3X(disable_multimodal()) またはVGGT-1B(出力COLMAP); オクルージョン ➔CoTracker3/AllTracker; サブピクセルマッチムーブ ➔ Blender Tracker /COLMAP(GLOMAP 統合;colmap/glomapは非推奨); 1枚の写真 ➔perarnia/fSpy。 - ノーマルマップ (リアルタイム <25 ms):
DAViDNormals.tox(~10 ms intd-native-inference➔Relight.tox)、TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag)、Blender ビュー/ワールドノーマル AOV (scripts/blender_normal_pass_setup.py) via Spout2、または Depth-to-Normal (scripts/td_depth_to_normal.frag)。 - ノーマルマップ (VFX ポストプロダクション):
NormalCrafter --max-res 512(~6 GB、VizClickNormalCrafter+VizClickNormalTemporalStabilizer)、LotusSD2.1 (~4–8 GB 高速バッチ)、Lotus-2FLUX GGUF (~8–11 GB 静止画の微小ディテール)、StableNormal-turbo+StableDelight(~6–9 GB)、MoGe-2/3、DeepBump。Camera Space OpenGL+Y上方向、EXR 16F/32F 線形 (FXTD-Studios/radiance/ComfyUI-ACES-IO) でエクスポート。 - カラー OCIO (
ACES 2.0/AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP:sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct/ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA チェックポイントは非商用) · Python (aces_hill_filmic_tonemap/ocio_agx_tonemap+compose_hdr_on_plate_srgbinscripts/vfx_ssdo_relight_16f.py)。 - AI オーディオ、Foley & 字幕: フレーム同期 Foley ➔
hkchengrex/MMAudio(~6 GB fp16、重みCC-BY-NC-4.0); ワード同期字幕 ➔WhisperX(<8 GB); 無料 CPU クリーニング ➔DeepFilterNet; ステム分離 ➔python-audio-separator/Demucs; TTS ➔Chatterbox/F5-TTS/Kokoro(82M)。 - フェイス VFX & OBS ライブ: リタッチ/自然な視線 ➔
KlingAIResearch/LivePortrait(~4–8 GB); スワップ ➔ReActor+CodeFormer(0.7–0.8、128px 警告); GPU キャプチャ 60 FPS ➔obs-spout2-plugin+royshil/obs-mcp(4455)。 - TouchDesigner + Blender ライブ連携 (モジュール C):
TouchDesigner/TDMCP(http://127.0.0.1:13316/mcp、Antigravity で"serverUrl") +TDMCPSkills(19 のtd-*スキル) またはEmbody/Envoy(TDXN YAML); VRAM モード 1 (Spout2+StreamDiffusionTD)、2 (GVHMR~4.2 GB ➔ Blendermcp-for-blender)、3 (POPs + 3DGS) を分離。 - 解剖学上の火災/エネルギー VFX、非圧縮性 GPU 流体 & PBR リライティング (モジュール A フェーズ 2.5 /
ワークフロー 4 · ルート G & B):- 共通
16Fバス (~60s/33f):vfx_dual_matte_decontam.py(matte_skinvsmatte_fabric) +NormalCrafter 512px+DepthAnything V2/DA3。 - 実際の慣性を伴う物理シミュレーション (ゲート 3):
- GPU 直接オプション (
< 1 GB VRAM、< 1 分):scripts/vfx_incompressible_fire_sim.py(Red-Black SOR 圧力投影を使用した非圧縮性 Navier-Stokes、RANSAC Homography/ LK によるカメラ補正、BFECC クランプ アドベクション、Vorticity Confinement、アドベクトされた Curl タン、ラグランジュスパーク、連続フロント/バック Z バッファオクルージョン)。互換性のある代替手段:taichi-dev/taichi/tum-pbs/PhiFlow。 - 3D ボリュームオプション (
ルート C):scripts/wilor_mano_to_blender_abc.py --enable-mantaflow(MANO 手首の開いたエッジをcap_open_mesh_watertightで閉じ、連続表面放出velocity_factor=1.25+ シェーダー 薄膜 BlackbodyDensity=0.02+Proxy_Black_Cuffコライダー、または.abcエクスポートを JangaFX EmberGen / LiquiGen[OK-12GB]へ)。ランドマークの浮遊球から決して放出しないこと。
- GPU 直接オプション (
- 結合 PBR リライティング +
180°モーションブラー + サーモンウォッシュのないトーンマップ:scripts/vfx_ssdo_relight_16f.py(invert_normal_y=True、MIP ピラミッドbuild_fire_irradiance_pyramid+extract_dynamic_lights_from_fire、apply_velocity_motion_blurshutter=0.5、Stephen Hill ACES /PyOpenColorIO AgX Punchyを使用したcompose_hdr_on_plate_srgb)。
- 共通
- Windows 高速化:
woct0rdho/triton-windows+woct0rdho/SageAttention+TeaCache。