O que cutlab — Edição de Região de Vídeo com IA faz?
Edita uma região mascarada de cada quadro de um vídeo usando o modelo de difusão Wan2.1-VACE-1.3B. Descreva o resultado desejado em um prompt de texto; o modelo preenche (inpaint) a área mascarada enquanto mantém o resto inalterado. O áudio é preservado.
O diretório do skill (onde este SKILL.md está) é referido como $SKILL_DIR abaixo.
GPU necessária. Requer uma GPU CUDA com ≥ 8 GB de VRAM livre. Pause o contexto do LLM antes de executar para liberar VRAM.
Quando Usar
Use este skill quando o usuário quiser:
- Substituir o fundo de um vídeo com uma pessoa por uma cena diferente
- Editar uma região retangular do vídeo (céu, placa, tela, etc.)
- Alterar detalhes do ambiente preservando o sujeito
Configuração (apenas na primeira execução)
cd "$SKILL_DIR" && uv sync
Os pesos do modelo Wan2.1-VACE-1.3B são baixados do HuggingFace na primeira execução (~3 GB). Os pesos do modelo rembg também são baixados na primeira execução no modo background.
Fluxo de Trabalho do Agente
1. Pergunte ao usuário
Antes de editar o(s) vídeo(s), preciso saber:
💬 Prompt (obrigatório)
Descreva como a região editada deve ficar, ex.:
"escritório moderno com janelas do chão ao teto e vista da cidade"
🎭 Modo de máscara
- background — detectar e substituir o fundo automaticamente [padrão]
- region — editar uma área retangular (x1,y1,x2,y2 como frações 0.0–1.0)
📐 Se modo=region: mask_region
Formato: "x1,y1,x2,y2" ex.: "0.0,0.0,1.0,0.3" para os 30% superiores do quadro
⚙️ Força (0.0–1.0, padrão 0.85)
O quão fortemente aplicar a edição. Menor = mais fiel ao original.
📁 Diretórios de entrada / saída (padrão: ./input e ./output)
Aguarde a resposta do usuário antes de prosseguir.
2. Edite o config.json
Escreva ou atualize $SKILL_DIR/config.json com base nas escolhas do usuário.
3. Execute
cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json
4. Reporte os resultados
Informe ao usuário os caminhos dos arquivos de saída, o modo de máscara utilizado e o prompt aplicado.
Referência de Configuração
| Chave | Valores | Padrão | Descrição |
|---|---|---|---|
input_dir | caminho | ./input | Pasta contendo os vídeos de entrada |
output_dir | caminho | ./output | Pasta de destino |
prompt | string | (obrigatório) | Descrição da região editada desejada |
negative_prompt | string | "pior qualidade, borrado, distorcido" | O que evitar |
mask | background, region | background | Estratégia de mascaramento |
mask_region | "x1,y1,x2,y2" | (obrigatório se region) | Retângulo como frações |
strength | float (0, 1] | 0.85 | Força do inpainting |
num_inference_steps | inteiro | 30 | Etapas de difusão |
guidance_scale | float | 5.0 | Aderência ao prompt |
batch_size | inteiro | 8 | Quadros processados por lote de inferência (menor para menos VRAM) |
max_proc_dim | inteiro | 384 | Dimensão máxima do quadro antes do inpaint (menor para menos VRAM) |
model | ID do HuggingFace | Wan-AI/Wan2.1-VACE-1.3B-diffusers | Modelo a usar |
Chamadas Comuns
# Substituir fundo automaticamente
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "lago sereno na montanha ao pôr do sol"
# Editar uma região retangular (terço superior do quadro = substituição do céu)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--mask region --mask-region "0.0,0.0,1.0,0.33" \
--prompt "céu azul claro com nuvens esparsas"
# Edição mais suave (preserva mais detalhes originais)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "escritório caseiro aconchegante" --strength 0.6
# Diretórios personalizados
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--input /caminho/para/videos --output /caminho/para/editados \
--prompt "paisagem urbana futurista"
Saída
Cada vídeo de entrada produz um .mp4 no output_dir com o mesmo nome de arquivo. O áudio original é remultiplexado.
Tratamento de Erros
- VRAM insuficiente → exibe GB necessários vs disponíveis, dicas para liberar VRAM, encerra
- Sem GPU CUDA → mensagem de erro clara, encerra
- Nenhum vídeo em input_dir → mensagem clara, encerra
- Formato inválido de mask_region → erro claro com formato esperado, encerra
- Erros individuais de vídeo → registrados; outros vídeos continuam sendo processados