cutlab — AI 影片區域編輯
使用 Wan2.1-VACE-1.3B 擴散模型編輯影片每一幀的遮罩區域。在文字提示中描述期望的結果;模型會修復遮罩區域,同時保持其餘部分不變。音訊會被保留。
技能目錄(此 SKILL.md 所在位置)以下稱為 $SKILL_DIR。
需要 GPU。 需要至少 8 GB 可用 VRAM 的 CUDA GPU。 執行前請暫停 LLM 上下文以釋放 VRAM。
使用時機
當使用者想要以下情況時使用此技能:
- 替換談話性影片的背景為不同的場景
- 編輯影片的矩形區域(天空、標誌、螢幕等)
- 在保留主體的同時改變環境細節
設置(僅首次執行)
cd "$SKILL_DIR" && uv sync
Wan2.1-VACE-1.3B 模型權重會在首次執行時從 HuggingFace 下載(約 3 GB)。rembg 模型權重也會在首次執行背景模式時下載。
代理工作流程
1. 詢問使用者
在我編輯影片前,我需要知道:
💬 提示詞(必要)
描述編輯後的區域應看起來如何,例如:
"現代辦公室,有落地窗和城市景觀"
🎭 遮罩模式
- background — 自動偵測並替換背景 [預設]
- region — 編輯矩形區域(x1,y1,x2,y2 作為 0.0–1.0 的分數)
📐 如果模式=region:mask_region
格式:"x1,y1,x2,y2",例如 "0.0,0.0,1.0,0.3" 表示畫面上方 30% 的區域
⚙️ 強度(0.0–1.0,預設 0.85)
編輯應用的強度。數值越低,越忠於原始畫面。
📁 輸入/輸出目錄(預設:./input 和 ./output)
等待使用者回應後再繼續。
2. 編輯 config.json
根據使用者的選擇,寫入或更新 $SKILL_DIR/config.json。
3. 執行
cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json
4. 回報結果
告知使用者輸出的檔案路徑、使用的遮罩模式以及應用的提示詞。
設定參考
| Key | 值 | 預設值 | 說明 |
|---|---|---|---|
input_dir | 路徑 | ./input | 包含輸入影片的資料夾 |
output_dir | 路徑 | ./output | 目標資料夾 |
prompt | 字串 | (必要) | 期望編輯區域的描述 |
negative_prompt | 字串 | "worst quality, blurry, distorted" | 要避免的內容 |
mask | background, region | background | 遮罩策略 |
mask_region | "x1,y1,x2,y2" | (如果 region 則為必要) | 以分數表示的矩形 |
strength | 浮點數 (0, 1] | 0.85 | 修復強度 |
num_inference_steps | 整數 | 30 | 擴散步數 |
guidance_scale | 浮點數 | 5.0 | 提示詞遵循度 |
batch_size | 整數 | 8 | 每次推理批次處理的影格數(較低值可減少 VRAM 使用) |
max_proc_dim | 整數 | 384 | 修復前的最大影格尺寸(較低值可減少 VRAM 使用) |
model | HuggingFace ID | Wan-AI/Wan2.1-VACE-1.3B-diffusers | 要使用的模型 |
常用指令
# 自動替換背景
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "serene mountain lake at sunset"
# 編輯矩形區域(上方三分之一 = 天空替換)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--mask region --mask-region "0.0,0.0,1.0,0.33" \
--prompt "clear blue sky with scattered clouds"
# 較輕的編輯(保留更多原始細節)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "cosy home office" --strength 0.6
# 自訂目錄
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--input /path/to/videos --output /path/to/edited \
--prompt "futuristic cityscape"
輸出
每個輸入影片會在 output_dir 中產生一個同名的 .mp4 檔案。原始音訊會被重新封裝回去。
錯誤處理
- VRAM 不足 → 顯示所需與可用的 GB 數,提供釋放 VRAM 的建議,然後退出
- 沒有 CUDA GPU → 顯示清楚的錯誤訊息,然後退出
- input_dir 中沒有影片 → 顯示清晰的訊息,然後退出
- 無效的 mask_region 格式 → 顯示包含預期格式的清楚錯誤訊息,然後退出
- 個別影片錯誤 → 記錄錯誤;其他影片繼續處理