Communitygithub.com

cutlab — Edição de Região de Vídeo com IA

Edita uma região de um vídeo usando um prompt de texto através do modelo Wan2.1-VACE de inpainting. Suporta dois modos: fundo (segmentação automática via rembg) ou região (retângulo definido por frações). Requer GPU CUDA com pelo menos 8 GB de VRAM livre.

O que é cutlab — Edição de Região de Vídeo com IA?

Este skill, chamado cutlab, permite editar regiões específicas de vídeos usando um modelo de difusão Wan2.1-VACE-1.3B. O usuário descreve o resultado desejado em um prompt de texto, e o modelo preenche (inpaint) a área mascarada, mantendo o resto do vídeo inalterado e preservando o áudio original. É útil para substituir fundos de vídeos com pessoas, editar regiões retangulares como céu ou letreiros, ou alterar detalhes do ambiente. Suporta dois modos de máscara: 'background' (segmentação automática via rembg) e 'region' (retângulo definido por frações da tela). Requer uma GPU NVIDIA com pelo menos 8 GB de VRAM livre e utiliza HuggingFace para baixar os pesos do modelo (~3 GB). O skill oferece parâmetros ajustáveis como força da edição, escala de orientação, tamanho do lote e resolução máxima, permitindo equilibrar qualidade e uso de memória.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/video-editor

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que cutlab — Edição de Região de Vídeo com IA faz?

Edita uma região mascarada de cada quadro de um vídeo usando o modelo de difusão Wan2.1-VACE-1.3B. Descreva o resultado desejado em um prompt de texto; o modelo preenche (inpaint) a área mascarada enquanto mantém o resto inalterado. O áudio é preservado.

O diretório do skill (onde este SKILL.md está) é referido como $SKILL_DIR abaixo.

GPU necessária. Requer uma GPU CUDA com ≥ 8 GB de VRAM livre. Pause o contexto do LLM antes de executar para liberar VRAM.


Quando Usar

Use este skill quando o usuário quiser:

  • Substituir o fundo de um vídeo com uma pessoa por uma cena diferente
  • Editar uma região retangular do vídeo (céu, placa, tela, etc.)
  • Alterar detalhes do ambiente preservando o sujeito

Configuração (apenas na primeira execução)

cd "$SKILL_DIR" && uv sync

Os pesos do modelo Wan2.1-VACE-1.3B são baixados do HuggingFace na primeira execução (~3 GB). Os pesos do modelo rembg também são baixados na primeira execução no modo background.


Fluxo de Trabalho do Agente

1. Pergunte ao usuário

Antes de editar o(s) vídeo(s), preciso saber:

💬 Prompt (obrigatório)
   Descreva como a região editada deve ficar, ex.:
   "escritório moderno com janelas do chão ao teto e vista da cidade"

🎭 Modo de máscara
  - background — detectar e substituir o fundo automaticamente [padrão]
  - region     — editar uma área retangular (x1,y1,x2,y2 como frações 0.0–1.0)

📐 Se modo=region: mask_region
   Formato: "x1,y1,x2,y2" ex.: "0.0,0.0,1.0,0.3" para os 30% superiores do quadro

⚙️  Força (0.0–1.0, padrão 0.85)
   O quão fortemente aplicar a edição. Menor = mais fiel ao original.

📁 Diretórios de entrada / saída (padrão: ./input e ./output)

Aguarde a resposta do usuário antes de prosseguir.

2. Edite o config.json

Escreva ou atualize $SKILL_DIR/config.json com base nas escolhas do usuário.

3. Execute

cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json

4. Reporte os resultados

Informe ao usuário os caminhos dos arquivos de saída, o modo de máscara utilizado e o prompt aplicado.


Referência de Configuração

ChaveValoresPadrãoDescrição
input_dircaminho./inputPasta contendo os vídeos de entrada
output_dircaminho./outputPasta de destino
promptstring(obrigatório)Descrição da região editada desejada
negative_promptstring"pior qualidade, borrado, distorcido"O que evitar
maskbackground, regionbackgroundEstratégia de mascaramento
mask_region"x1,y1,x2,y2"(obrigatório se region)Retângulo como frações
strengthfloat (0, 1]0.85Força do inpainting
num_inference_stepsinteiro30Etapas de difusão
guidance_scalefloat5.0Aderência ao prompt
batch_sizeinteiro8Quadros processados por lote de inferência (menor para menos VRAM)
max_proc_diminteiro384Dimensão máxima do quadro antes do inpaint (menor para menos VRAM)
modelID do HuggingFaceWan-AI/Wan2.1-VACE-1.3B-diffusersModelo a usar

Chamadas Comuns

# Substituir fundo automaticamente
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "lago sereno na montanha ao pôr do sol"

# Editar uma região retangular (terço superior do quadro = substituição do céu)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --mask region --mask-region "0.0,0.0,1.0,0.33" \
  --prompt "céu azul claro com nuvens esparsas"

# Edição mais suave (preserva mais detalhes originais)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "escritório caseiro aconchegante" --strength 0.6

# Diretórios personalizados
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --input /caminho/para/videos --output /caminho/para/editados \
  --prompt "paisagem urbana futurista"

Saída

Cada vídeo de entrada produz um .mp4 no output_dir com o mesmo nome de arquivo. O áudio original é remultiplexado.


Tratamento de Erros

  • VRAM insuficiente → exibe GB necessários vs disponíveis, dicas para liberar VRAM, encerra
  • Sem GPU CUDA → mensagem de erro clara, encerra
  • Nenhum vídeo em input_dir → mensagem clara, encerra
  • Formato inválido de mask_region → erro claro com formato esperado, encerra
  • Erros individuais de vídeo → registrados; outros vídeos continuam sendo processados

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Auto-describe and caption images using a local vision-language model. Writes a JSON sidecar per image containing a one-sentence description, a suggested Instagram caption with hashtags, and detected content tags.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Habilidades Relacionadas