cutlab — Édition de région vidéo par IA
Édite une zone masquée de chaque image d'une vidéo en utilisant le modèle de diffusion Wan2.1-VACE-1.3B. Décrivez le résultat souhaité dans une invite textuelle ; le modèle remplit la zone masquée tout en conservant le reste inchangé. L'audio est préservé.
Le répertoire de la compétence (où se trouve ce SKILL.md) est appelé $SKILL_DIR ci-dessous.
GPU requis. Nécessite un GPU CUDA avec ≥ 8 Go de VRAM libre. Mettez en pause le contexte du LLM avant l'exécution pour libérer la VRAM.
Quand l'utiliser
Utilisez cette compétence lorsque l'utilisateur souhaite :
- Remplacer l'arrière-plan d'une vidéo de tête parlante par une scène différente
- Éditer une zone rectangulaire d'une vidéo (ciel, panneau, écran, etc.)
- Modifier les détails de l'environnement tout en préservant le sujet
Configuration (première exécution uniquement)
cd "$SKILL_DIR" && uv sync
Les poids du modèle Wan2.1-VACE-1.3B sont téléchargés depuis HuggingFace lors de la première exécution (~3 Go). Les poids du modèle rembg sont également téléchargés lors de la première exécution en mode arrière-plan.
Flux de travail de l'agent
1. Interroger l'utilisateur
Avant d'éditer la/les vidéo(s), j'ai besoin de savoir :
💬 Prompt (obligatoire)
Décrivez à quoi la zone éditée doit ressembler, par exemple :
"bureau moderne avec baies vitrées et vue sur la ville"
🎭 Mode de masque
- background — détecter et remplacer automatiquement l'arrière-plan [par défaut]
- region — éditer une zone rectangulaire (x1,y1,x2,y2 sous forme de fractions 0.0–1.0)
📐 Si mode=region : mask_region
Format : "x1,y1,x2,y2" ex. "0.0,0.0,1.0,0.3" pour les 30 % supérieurs de l'image
⚙️ Force (0.0–1.0, par défaut 0.85)
À quel point appliquer l'édition. Plus bas = plus fidèle à l'original.
📁 Répertoires d'entrée / sortie (par défaut : ./input et ./output)
Attendez la réponse de l'utilisateur avant de continuer.
2. Modifier config.json
Écrivez ou mettez à jour $SKILL_DIR/config.json en fonction des choix de l'utilisateur.
3. Exécuter
cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json
4. Rapporter les résultats
Indiquez à l'utilisateur les chemins des fichiers de sortie, le mode de masque utilisé et le prompt appliqué.
Référence de configuration
| Clé | Valeurs | Par défaut | Description |
|---|---|---|---|
input_dir | chemin | ./input | Dossier contenant les vidéos d'entrée |
output_dir | chemin | ./output | Dossier de destination |
prompt | chaîne | (obligatoire) | Description de la zone éditée souhaitée |
negative_prompt | chaîne | "worst quality, blurry, distorted" | Ce qu'il faut éviter |
mask | background, region | background | Stratégie de masquage |
mask_region | "x1,y1,x2,y2" | (obligatoire si région) | Rectangle sous forme de fractions |
strength | flottant (0, 1] | 0.85 | Force de l'inpainting |
num_inference_steps | entier | 30 | Étapes de diffusion |
guidance_scale | flottant | 5.0 | Adhérence au prompt |
batch_size | entier | 8 | Images traitées par lot d'inférence (plus bas pour moins de VRAM) |
max_proc_dim | entier | 384 | Dimension maximale de l'image avant inpainting (plus bas pour moins de VRAM) |
model | identifiant HuggingFace | Wan-AI/Wan2.1-VACE-1.3B-diffusers | Modèle à utiliser |
Invocations courantes
# Remplacer automatiquement l'arrière-plan
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "lac de montagne serein au coucher du soleil"
# Éditer une zone rectangulaire (tiers supérieur de l'image = remplacement du ciel)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--mask region --mask-region "0.0,0.0,1.0,0.33" \
--prompt "ciel bleu clair avec quelques nuages"
# Édition plus légère (préserver davantage les détails originaux)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "bureau cosy à domicile" --strength 0.6
# Répertoires personnalisés
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--input /chemin/vers/videos --output /chemin/vers/editees \
--prompt "paysage urbain futuriste"
Sortie
Chaque vidéo d'entrée produit un fichier .mp4 dans le output_dir avec le même nom de fichier. L'audio original est réintégré.
Gestion des erreurs
- VRAM insuffisante → affiche les Go requis vs disponibles, des conseils pour libérer la VRAM, puis quitte
- Pas de GPU CUDA → message d'erreur clair, puis quitte
- Aucune vidéo dans input_dir → message clair, puis quitte
- Format mask_region invalide → message clair avec le format attendu, puis quitte
- Erreurs individuelles sur une vidéo → consignées ; les autres vidéos continuent leur traitement