Communitygithub.com

video-vfx-3060-12gb-local

RTX 3060 12GB VRAM + Ryzen 9 5900X + 32GB RAM の Windows 11 環境に厳密に最適化された、ローカル AI ビデオ生成・VFX パイプラインの選択、最適化、デバッグを行います。

video-vfx-3060-12gb-local とは?

このスキルは、RTX 3060 12GB VRAM (Ampere sm_86) と Ryzen 9 5900X、32GB RAM を搭載した Windows 11 環境において、AI ビデオ生成、VFX 処理のためのローカルパイプラインを選択、最適化、デバッグするために設計されています。ハードウェアの厳しい制約 (VRAM 12GB、実 RAM 約22-24GB) を考慮し、GGUF 量子化、メモリ使用量の段階的な制御、解像度・FPS の戦略的選択など、具体的な実装ルールを提供します。また、火災・エネルギー VFX、ノーマルマップ生成、カラーマネジメント (OCIO/ACES 2.0)、オーディオ/Foley、OBS 連携、TouchDesigner/Blender とのライブ連携、JS/CPU オフロードなど、幅広い VFX タスクをカバーします。ComfyUI、Wan2GP、LTX-Video、NormalCrafter など、主要なツールとモデルをサポートし、Windows 11 特有の落とし穴や回避策も詳述されています。これにより、限られたリソースでも高品質な VFX パイプラインを効率的に構築・運用できます。

対応~Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/Leopoldoleoncancino/video-vfx-ai-bible/tree/main/skills/video-vfx-3060-12gb-local

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Video & VFX ローカル最適化スキル (RTX 3060 12 GB / 32 GB RAM / Win 11)

このスキルを適用するタイミング

ユーザーが以下の操作を要求した場合に常にアクティブにします。

  • インストール、モデル選択、ComfyUI/Wan2GP のワークフロー構築
  • ロトスコープ、ノーマルマップ生成、3D カメラトラッキング
  • OCIO カラーマネジメントの設定
  • Foley/字幕/TTS の生成
  • TouchDesigner + Blender + OBS の連携
  • GPU 流体/火災シミュレーション、または Windows 11 でのアップスケーリング/モーション処理

ハードウェアのハードルール(厳守)

  1. VRAM 制限 (12 GB GDDR6 Ampere sm_86):
    • RTX 3060 は FP8 Tensor Cores をネイティブに持たない (sm_86 < 8.9) ため、WanVideoModelLoader で fp8_fast や torch.compile を e4m3fn に対して有効化することは禁止。代わりに base_precision="bf16"、quantization="disabled"、attention_mode="sageattn"/"sdpa"、重みは GGUF (Q3_K_M 8.64 GB / Q4_K_S 10.55 GB / Q5_K_M) または INT8 (quanto/mmgp) を使用すること。
    • 2 つの大きな拡散/VLM モデルを同時に VRAM に保持してはならない。VRAM_Debug (unload_all_models=true、empty_cache=true、gc_collect=true) を使用して逐次フェーズで実行し、comfy-matanyone2/config.py で "max_mem_frames": 5 を設定すること。
  2. システム RAM 制限 (32 GB — Windows 11 で実質 ~22–24 GB 空き):
    • UMT5-XXL FP16 (~9.5 GB) や Gemma を A14B エキスパートと同時に RAM に常駐させないこと。WanVideoTextEncodeCached (use_disk_cache=true)、GGUF Q4/Q5 バージョン (または Lotus-2 では flux_empty_embed.pt)、長時間バッチの前に Premiere、AE、Blender、Chrome を閉じること(Pagefile NVMe >=32 GB を設定)。
  3. 解像度、FPS、研究開発テストの戦略 (33f -> 167f、4 つの定量ゲート):
    • 火災/解剖学上の VFX ショットでは、まず 33 フレーム (job_33f) のクリティカルクロップを実行し、scripts/vfx_rd_metrics_eval.py で 4 つの定量ゲート を検証すること。
      • ゲート 0: ‖N‖ ∈ [0.99, 1.01]、黒い髪の毛 (vfx_dual_matte_decontam.py) で fringe_delta_l < 0.03。
      • ゲート 1: 黒い拳のゲイン <= 1.15x、SSDO コントラスト >= 3.5:1 (NormalCrafter で invert_normal_y=True)、白い机で CIEDE2000 <= 1.5。
      • ゲート 2: 線形 HDR ピーク >= 4.0、pastel_yellow_clip_pct <= 1.0%、salmon_wash_pct <= 2.0%(Stephen Hill ACES Filmic RRT+ODT または PyOpenColorIO AgX Punchy + compose_hdr_on_plate_srgb を使用、単純な m_inset は不可)、ノイズ/MTF ±12%。
      • ゲート 3 (動作↔火災の結合): lag_correlation >= 0.45、mean_wake_deflection_px >= 1.2 px(v_hand_world = v_hand_screen - v_cam と上部プルームの後流の間。ステートレスな剛体プロシージャル火災は拒否)。
    • 一般的な I2V/T2V では、640x360 または 832x480、16 fps(81 フレーム ≈ 5秒)で生成し、SeedVR2 (3B + block_swap) または FlashVSR(タイル)でアップスケール、最後にファイナルグレインを追加する前に Practical-RIFE で FPS を 2 倍にする。
  4. Windows 11 + ComfyUI Portable (python_embeded -s) の実際の落とし穴:
    • MatAnyone2 は hatchling のバグ (matanyone2/config/__init__.py が重複) により pip install で失敗する ➔ matanyone2/ フォルダを直接 python_embeded\Lib\site-packages\ にコピーすること。
    • transformers 5.9.0 はスタブ付き import_utils.py で KeyError: 'flash_attn' をスローする ➔ .get("flash_attn", []) を使用すること。
    • python_embeded -s は --user を無視する ➔ OpenEXR、PyOpenColorIO、pymatting は常に --target python_embeded\Lib\site-packages でインストールすること。
  5. JS/CPU オフロードと線形パスのルール:
    • パーツが HUD、キネティックテキスト、カタログ、軽量 WebGL 3D の場合、拡散 VRAM を消費する代わりに、Ryzen 9 5900X の 24 スレッドまたはライブで JavaScript (Remotion ProRes 4444 Alpha、Motion Canvas、GSAP、Three.js + Playwright) または Web Render TOP (TD 2025.31550+) を使用してレンダリングすること。
    • テクニカルパス (Normal、Depth、Roughness) は常に sRGB ガンマカーブの外側で Non-Color / Raw EXR 16F/32F 線形 として維持すること。HDR 火災 >1.0 に対して FrequencyCombineMEC を使用しない こと。SDR [0, 1] にクリップされるため。

ユースケース別クイック選択

  • 容易 / マルチモデル "GPU Poor": Wan2GP (deepbeepmeep/WanGP) + mmgp エンジン + INT8。
  • ネイティブオーディオ付きビデオ: LTX-2.3 / LTX-2.5 量子化 (GGUF Q3_K_M/Q4_K_M) または LTX-Desktop。
  • 長尺 I2V (>10s アンチドリフト): FramePack (lllyasviel/FramePack)。
  • 髪/布のロトスコープ & デュアルマット: SAM 2 / SAM 3 (SegmentC2C) ➔ MatAnyone 2 (max_mem_frames=5) ➔ MatteDesk (ForegroundDecontaminate) / scripts/vfx_dual_matte_decontam.py ➔ ProRes 4444 ストレートアルファ。
  • オブジェクト削除 + 影 + 反射: EffectErase (FudanCVL/EffectErase) または ProPainter(ケーブル/ハードマーク用)。
  • 3D カメラトラッキング / マッチムーブ / ポイントトラッキング: 長尺 AI ビデオ ➔ Depth-Anything-3 (DA3-Streaming) または Pi3X (disable_multimodal()) または VGGT-1B (出力 COLMAP); オクルージョン ➔ CoTracker3 / AllTracker; サブピクセルマッチムーブ ➔ Blender Tracker / COLMAP (GLOMAP 統合; colmap/glomap は非推奨); 1枚の写真 ➔ perarnia/fSpy。
  • ノーマルマップ (リアルタイム <25 ms): DAViDNormals.tox (~10 ms in td-native-inference ➔ Relight.tox)、TouchDesigner MRT GLSL (scripts/td_mrt_normal_pass.frag)、Blender ビュー/ワールドノーマル AOV (scripts/blender_normal_pass_setup.py) via Spout2、または Depth-to-Normal (scripts/td_depth_to_normal.frag)。
  • ノーマルマップ (VFX ポストプロダクション): NormalCrafter --max-res 512 (~6 GB、VizClickNormalCrafter + VizClickNormalTemporalStabilizer)、Lotus SD2.1 (~4–8 GB 高速バッチ)、Lotus-2 FLUX GGUF (~8–11 GB 静止画の微小ディテール)、StableNormal-turbo + StableDelight (~6–9 GB)、MoGe-2/3、DeepBump。Camera Space OpenGL +Y 上方向、EXR 16F/32F 線形 (FXTD-Studios/radiance / ComfyUI-ACES-IO) でエクスポート。
  • カラー OCIO (ACES 2.0 / AgX): Blender 5 (ACES 2.0/AgX - Punchy) · TouchDesigner (OpenColorIO TOP: sRGB - Texture ➔ Linear) · DaVinci Resolve (ACEScct / ACES 2.0) · ComfyUI (RadianceACES2OutputTransformFull; RUDRA チェックポイントは非商用) · Python (aces_hill_filmic_tonemap / ocio_agx_tonemap + compose_hdr_on_plate_srgb in scripts/vfx_ssdo_relight_16f.py)。
  • AI オーディオ、Foley & 字幕: フレーム同期 Foley ➔ hkchengrex/MMAudio (~6 GB fp16、重み CC-BY-NC-4.0); ワード同期字幕 ➔ WhisperX (<8 GB); 無料 CPU クリーニング ➔ DeepFilterNet; ステム分離 ➔ python-audio-separator / Demucs; TTS ➔ Chatterbox / F5-TTS / Kokoro (82M)。
  • フェイス VFX & OBS ライブ: リタッチ/自然な視線 ➔ KlingAIResearch/LivePortrait (~4–8 GB); スワップ ➔ ReActor + CodeFormer (0.7–0.8、128px 警告); GPU キャプチャ 60 FPS ➔ obs-spout2-plugin + royshil/obs-mcp (4455)。
  • TouchDesigner + Blender ライブ連携 (モジュール C): TouchDesigner/TDMCP (http://127.0.0.1:13316/mcp、Antigravity で "serverUrl") + TDMCPSkills (19 の td-* スキル) または Embody/Envoy (TDXN YAML); VRAM モード 1 (Spout2 + StreamDiffusionTD)、2 (GVHMR ~4.2 GB ➔ Blender mcp-for-blender)、3 (POPs + 3DGS) を分離。
  • 解剖学上の火災/エネルギー VFX、非圧縮性 GPU 流体 & PBR リライティング (モジュール A フェーズ 2.5 / ワークフロー 4 · ルート G & B):
    1. 共通 16F バス (~60s/33f): vfx_dual_matte_decontam.py (matte_skin vs matte_fabric) + NormalCrafter 512px + DepthAnything V2/DA3。
    2. 実際の慣性を伴う物理シミュレーション (ゲート 3):
      • GPU 直接オプション (< 1 GB VRAM、< 1 分): scripts/vfx_incompressible_fire_sim.py (Red-Black SOR 圧力投影を使用した非圧縮性 Navier-Stokes、RANSAC Homography / LK によるカメラ補正、BFECC クランプ アドベクション、Vorticity Confinement、アドベクトされた Curl タン、ラグランジュスパーク、連続フロント/バック Z バッファオクルージョン)。互換性のある代替手段: taichi-dev/taichi / tum-pbs/PhiFlow。
      • 3D ボリュームオプション (ルート C): scripts/wilor_mano_to_blender_abc.py --enable-mantaflow (MANO 手首の開いたエッジを cap_open_mesh_watertight で閉じ、連続表面放出 velocity_factor=1.25 + シェーダー 薄膜 Blackbody Density=0.02 + Proxy_Black_Cuff コライダー、または .abc エクスポートを JangaFX EmberGen / LiquiGen [OK-12GB] へ)。ランドマークの浮遊球から決して放出しないこと。
    3. 結合 PBR リライティング + 180° モーションブラー + サーモンウォッシュのないトーンマップ: scripts/vfx_ssdo_relight_16f.py (invert_normal_y=True、MIP ピラミッド build_fire_irradiance_pyramid + extract_dynamic_lights_from_fire、apply_velocity_motion_blur shutter=0.5、Stephen Hill ACES / PyOpenColorIO AgX Punchy を使用した compose_hdr_on_plate_srgb)。
  • Windows 高速化: woct0rdho/triton-windows + woct0rdho/SageAttention + TeaCache。

関連スキル