cutlab — AI 動画領域編集
Wan2.1-VACE-1.3B 拡散モデルを使用して、動画の各フレームのマスク領域を編集します。テキストプロンプトで希望する結果を記述すると、モデルがマスク領域をインペイントし、残りの部分は変更しません。音声は保持されます。
スキルディレクトリ(この SKILL.md がある場所)を以下 $SKILL_DIR と表記します。
GPU 必須。 CUDA GPU(空き VRAM ≥ 8 GB)が必要です。 実行前に LLM コンテキストを一時停止して VRAM を解放してください。
使用するタイミング
このスキルは、ユーザーが以下を行いたい場合に使用します:
- トーキングヘッド動画の背景を別のシーンに置き換える
- 動画の矩形領域(空、看板、画面など)を編集する
- 被写体を維持しながら環境の詳細を変更する
セットアップ(初回のみ)
cd "$SKILL_DIR" && uv sync
Wan2.1-VACE-1.3B モデルウェイトは初回実行時に HuggingFace からダウンロードされます(~3 GB)。rembg モデルウェイトも初回の背景モード実行時にダウンロードされます。
エージェントのワークフロー
1. ユーザーに確認する
動画を編集する前に、以下を確認する必要があります:
💬 プロンプト(必須)
編集領域がどのように見えるべきかを記述してください。例:
「床から天井までの窓と街並みの見えるモダンなオフィス」
🎭 マスクモード
- background — 背景を自動検出して置き換える [デフォルト]
- region — 矩形領域を編集(x1,y1,x2,y2 を 0.0~1.0 の分数で指定)
📐 region モードの場合: mask_region
形式: "x1,y1,x2,y2" 例: フレーム上部30%を編集する場合 "0.0,0.0,1.0,0.3"
⚙️ 強度(0.0~1.0、デフォルト 0.85)
編集の強さ。低いほど元の映像に忠実。
📁 入力 / 出力ディレクトリ(デフォルト: ./input および ./output)
ユーザーの応答を待ってから続行します。
2. config.json を編集する
ユーザーの選択に基づいて $SKILL_DIR/config.json を書き込むか更新します。
3. 実行する
cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json
4. 結果を報告する
出力ファイルのパス、使用したマスクモード、適用したプロンプトをユーザーに伝えます。
設定リファレンス
| キー | 値 | デフォルト | 説明 |
|---|---|---|---|
input_dir | パス | ./input | 入力動画を含むフォルダ |
output_dir | パス | ./output | 出力先フォルダ |
prompt | 文字列 | (必須) | 編集領域の説明 |
negative_prompt | 文字列 | "worst quality, blurry, distorted" | 避けるべき内容 |
mask | background, region | background | マスク戦略 |
mask_region | "x1,y1,x2,y2" | (region の場合必須) | 分数で指定した矩形 |
strength | float (0, 1] | 0.85 | インペインティングの強度 |
num_inference_steps | 整数 | 30 | 拡散ステップ数 |
guidance_scale | float | 5.0 | プロンプトへの忠実度 |
batch_size | 整数 | 8 | 推論バッチあたりの処理フレーム数(低いほど VRAM 使用量減少) |
max_proc_dim | 整数 | 384 | インペイント前の最大フレーム寸法(低いほど VRAM 使用量減少) |
model | HuggingFace ID | Wan-AI/Wan2.1-VACE-1.3B-diffusers | 使用するモデル |
一般的な実行例
# 背景を自動的に置き換える
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "夕焼けの静かな山の湖"
# 矩形領域を編集(フレーム上部3分の1 = 空の置き換え)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--mask region --mask-region "0.0,0.0,1.0,0.33" \
--prompt "薄い雲が浮かぶ澄んだ青空"
# 弱い編集(元の詳細をより保持)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "居心地の良い在宅オフィス" --strength 0.6
# カスタムディレクトリ
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--input /path/to/videos --output /path/to/edited \
--prompt "未来的な都市景観"
出力
各入力動画は、output_dir に同じファイル名の .mp4 を生成します。元の音声は再マルチプレクスされます。
エラーハンドリング
- VRAM 不足 → 必要な容量と利用可能な容量を表示、VRAM 解放のヒントを表示、終了
- CUDA GPU なし → 明確なエラーメッセージを表示、終了
- input_dir に動画がない → 明確なメッセージを表示、終了
- 無効な mask_region 形式 → 期待される形式とともに明確なエラーを表示、終了
- 個々の動画のエラー → ログに記録、他の動画は処理を続行