Communitygithub.com

cutlab — Edición de Regiones de Video con IA

Edita una región de un video usando una indicación de texto mediante Wan2.1-VACE inpainting. Soporta dos modos: fondo (segmentación automática con rembg) o región (rectángulo definido por fracciones). Requiere una GPU CUDA con al menos 8 GB de VRAM libre.

¿Qué es cutlab — Edición de Regiones de Video con IA?

Esta habilidad permite a un agente de IA (como Claude Code, Cursor, etc.) editar regiones específicas de un video mediante una descripción textual. Utiliza el modelo de difusión Wan2.1-VACE-1.3B para rellenar la zona enmascarada de cada fotograma, manteniendo el resto del video intacto y preservando el audio original. Soporta dos modos de enmascaramiento: 'background', que detecta y reemplaza automáticamente el fondo usando rembg; y 'region', que permite definir un rectángulo mediante coordenadas fraccionarias (x1,y1,x2,y2). La edición es controlable mediante un parámetro de intensidad (strength) de 0.0 a 1.0. Requiere una GPU CUDA con al menos 8 GB de VRAM libre. Es útil para reemplazar fondos en videos de personas, editar áreas rectangulares como cielos o pantallas, o cambiar detalles del entorno mientras se preserva el sujeto principal. La configuración se realiza a través de un archivo config.json y el flujo de trabajo del agente incluye preguntar al usuario los parámetros necesarios antes de ejecutar la edición.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/video-editor

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace cutlab — Edición de Regiones de Video con IA?

Edita una región enmascarada de cada fotograma de un video usando el modelo de difusión Wan2.1-VACE-1.3B. Describe el resultado deseado mediante una indicación de texto; el modelo rellena el área enmascarada mientras mantiene el resto sin cambios. El audio se conserva.

El directorio de la habilidad (donde reside este SKILL.md) se denomina $SKILL_DIR a continuación.

Se requiere GPU. Necesita una GPU CUDA con ≥ 8 GB de VRAM libre. Pausa el contexto del LLM antes de ejecutar para liberar VRAM.


Cuándo Usarlo

Usa esta habilidad cuando el usuario quiera:

  • Reemplazar el fondo de un video de una persona hablando con una escena diferente
  • Editar una región rectangular de un video (cielo, letrero, pantalla, etc.)
  • Cambiar detalles del entorno mientras se preserva el sujeto

Configuración (solo la primera vez)

cd "$SKILL_DIR" && uv sync

Los pesos del modelo Wan2.1-VACE-1.3B se descargan de HuggingFace en la primera ejecución (~3 GB). Los pesos del modelo rembg también se descargan en la primera ejecución en modo fondo.


Flujo de Trabajo del Agente

1. Preguntar al usuario

Antes de editar el(los) video(s), necesito saber:

💬 Indicación (obligatorio)
   Describe cómo debería verse la región editada, por ejemplo:
   "oficina moderna con ventanales y vista a la ciudad"

🎭 Modo de máscara
  - background  — detectar y reemplazar el fondo automáticamente [predeterminado]
  - region      — editar un área rectangular (x1,y1,x2,y2 como fracciones 0.0–1.0)

📐 Si modo=region: mask_region
   Formato: "x1,y1,x2,y2"  p. ej. "0.0,0.0,1.0,0.3" para el 30% superior del fotograma

⚙️  Intensidad (0.0–1.0, predeterminado 0.85)
   Qué tan fuertemente aplicar la edición. Menor = más fiel al original.

📁 Directorios de entrada / salida (predeterminado: ./input y ./output)

Esperar la respuesta del usuario antes de continuar.

2. Editar config.json

Escribir o actualizar $SKILL_DIR/config.json según las elecciones del usuario.

3. Ejecutar

cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json

4. Informar resultados

Indicar al usuario las rutas de los archivos de salida, el modo de máscara utilizado y la indicación aplicada.


Referencia de Configuración

ClaveValoresPredeterminadoDescripción
input_dirruta./inputCarpeta que contiene los videos de entrada
output_dirruta./outputCarpeta de destino
promptcadena(obligatorio)Descripción de la región editada deseada
negative_promptcadena"worst quality, blurry, distorted"Lo que se debe evitar
maskbackground, regionbackgroundEstrategia de enmascaramiento
mask_region"x1,y1,x2,y2"(obligatorio si region)Rectángulo como fracciones
strengthflotante (0, 1]0.85Intensidad de inpainting
num_inference_stepsentero30Pasos de difusión
guidance_scaleflotante5.0Adherencia a la indicación
batch_sizeentero8Fotogramas procesados por lote de inferencia (menor para menos VRAM)
max_proc_dimentero384Dimensión máxima del fotograma antes de inpainting (menor para menos VRAM)
modelID de HuggingFaceWan-AI/Wan2.1-VACE-1.3B-diffusersModelo a usar

Invocaciones Comunes

# Reemplazar el fondo automáticamente
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "lago de montaña sereno al atardecer"

# Editar una región rectangular (tercio superior del fotograma = reemplazar cielo)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --mask region --mask-region "0.0,0.0,1.0,0.33" \
  --prompt "cielo azul despejado con nubes dispersas"

# Edición más ligera (preservar más detalle original)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "acogedora oficina en casa" --strength 0.6

# Directorios personalizados
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --input /ruta/a/videos --output /ruta/a/editados \
  --prompt "paisaje urbano futurista"

Salida

Cada video de entrada produce un archivo .mp4 en output_dir con el mismo nombre. El audio original se re-multiplexa.


Manejo de Errores

  • VRAM insuficiente → imprime GB requeridos vs disponibles, consejos para liberar VRAM, sale
  • Sin GPU CUDA → mensaje de error claro, sale
  • Sin videos en input_dir → mensaje limpio, sale
  • Formato de mask_region inválido → error claro con el formato esperado, sale
  • Errores individuales de video → se registran; otros videos continúan procesándose

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Auto-describe and caption images using a local vision-language model. Writes a JSON sidecar per image containing a one-sentence description, a suggested Instagram caption with hashtags, and detected content tags.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Skills relacionados