¿Qué hace cutlab — Edición de Regiones de Video con IA?
Edita una región enmascarada de cada fotograma de un video usando el modelo de difusión Wan2.1-VACE-1.3B. Describe el resultado deseado mediante una indicación de texto; el modelo rellena el área enmascarada mientras mantiene el resto sin cambios. El audio se conserva.
El directorio de la habilidad (donde reside este SKILL.md) se denomina $SKILL_DIR a continuación.
Se requiere GPU. Necesita una GPU CUDA con ≥ 8 GB de VRAM libre. Pausa el contexto del LLM antes de ejecutar para liberar VRAM.
Cuándo Usarlo
Usa esta habilidad cuando el usuario quiera:
- Reemplazar el fondo de un video de una persona hablando con una escena diferente
- Editar una región rectangular de un video (cielo, letrero, pantalla, etc.)
- Cambiar detalles del entorno mientras se preserva el sujeto
Configuración (solo la primera vez)
cd "$SKILL_DIR" && uv sync
Los pesos del modelo Wan2.1-VACE-1.3B se descargan de HuggingFace en la primera ejecución (~3 GB). Los pesos del modelo rembg también se descargan en la primera ejecución en modo fondo.
Flujo de Trabajo del Agente
1. Preguntar al usuario
Antes de editar el(los) video(s), necesito saber:
💬 Indicación (obligatorio)
Describe cómo debería verse la región editada, por ejemplo:
"oficina moderna con ventanales y vista a la ciudad"
🎭 Modo de máscara
- background — detectar y reemplazar el fondo automáticamente [predeterminado]
- region — editar un área rectangular (x1,y1,x2,y2 como fracciones 0.0–1.0)
📐 Si modo=region: mask_region
Formato: "x1,y1,x2,y2" p. ej. "0.0,0.0,1.0,0.3" para el 30% superior del fotograma
⚙️ Intensidad (0.0–1.0, predeterminado 0.85)
Qué tan fuertemente aplicar la edición. Menor = más fiel al original.
📁 Directorios de entrada / salida (predeterminado: ./input y ./output)
Esperar la respuesta del usuario antes de continuar.
2. Editar config.json
Escribir o actualizar $SKILL_DIR/config.json según las elecciones del usuario.
3. Ejecutar
cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json
4. Informar resultados
Indicar al usuario las rutas de los archivos de salida, el modo de máscara utilizado y la indicación aplicada.
Referencia de Configuración
| Clave | Valores | Predeterminado | Descripción |
|---|---|---|---|
input_dir | ruta | ./input | Carpeta que contiene los videos de entrada |
output_dir | ruta | ./output | Carpeta de destino |
prompt | cadena | (obligatorio) | Descripción de la región editada deseada |
negative_prompt | cadena | "worst quality, blurry, distorted" | Lo que se debe evitar |
mask | background, region | background | Estrategia de enmascaramiento |
mask_region | "x1,y1,x2,y2" | (obligatorio si region) | Rectángulo como fracciones |
strength | flotante (0, 1] | 0.85 | Intensidad de inpainting |
num_inference_steps | entero | 30 | Pasos de difusión |
guidance_scale | flotante | 5.0 | Adherencia a la indicación |
batch_size | entero | 8 | Fotogramas procesados por lote de inferencia (menor para menos VRAM) |
max_proc_dim | entero | 384 | Dimensión máxima del fotograma antes de inpainting (menor para menos VRAM) |
model | ID de HuggingFace | Wan-AI/Wan2.1-VACE-1.3B-diffusers | Modelo a usar |
Invocaciones Comunes
# Reemplazar el fondo automáticamente
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "lago de montaña sereno al atardecer"
# Editar una región rectangular (tercio superior del fotograma = reemplazar cielo)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--mask region --mask-region "0.0,0.0,1.0,0.33" \
--prompt "cielo azul despejado con nubes dispersas"
# Edición más ligera (preservar más detalle original)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "acogedora oficina en casa" --strength 0.6
# Directorios personalizados
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--input /ruta/a/videos --output /ruta/a/editados \
--prompt "paisaje urbano futurista"
Salida
Cada video de entrada produce un archivo .mp4 en output_dir con el mismo nombre. El audio original se re-multiplexa.
Manejo de Errores
- VRAM insuficiente → imprime GB requeridos vs disponibles, consejos para liberar VRAM, sale
- Sin GPU CUDA → mensaje de error claro, sale
- Sin videos en input_dir → mensaje limpio, sale
- Formato de mask_region inválido → error claro con el formato esperado, sale
- Errores individuales de video → se registran; otros videos continúan procesándose