Communitygithub.com

FilippTrigub/abra

Éditer une région d'une vidéo à l'aide d'une invite textuelle via Wan2.1-VACE inpainting. Prend en charge deux modes : arrière-plan (segmentation auto via rembg) ou région (rectangle défini par fractions). Nécessite un GPU CUDA avec au moins 8 Go de VRAM libre.

Qu'est-ce que abra ?

Cette compétence, nommée **cutlab** (basée sur le dépôt `FilippTrigub/abra`), permet d'éditer une région masquée de chaque image d'une vidéo en utilisant le modèle de diffusion Wan2.1-VACE-1.3B. L'utilisateur décrit le résultat souhaité via une invite textuelle ; le modèle effectue un inpainting (remplissage) de la zone masquée tout en conservant le reste de l'image inchangé, avec préservation de la bande audio. La compétence est particulièrement utile pour remplacer l'arrière-plan d'une vidéo de type « tête parlante », ou pour éditer une région rectangulaire (ciel, panneau, écran) tout en gardant le sujet intact. Elle nécessite un GPU CUDA avec au moins 8 Go de VRAM libre et un contexte LLM mis en pause avant exécution pour libérer la mémoire. Deux modes de masquage sont disponibles : **arrière-plan** (segmentation automatique via rembg) ou **région** (rectangle défini par des fractions 0.0–1.0). La configuration se fait via un fichier `config.json` ou directement par arguments en ligne de commande. Les paramètres incluent la force de l'édition (`strength`), le nombre d'étapes d'inférence, l'échelle de guidage, la taille de batch, et la dimension maximale des images. Le flux de travail pour un agent IA est structuré : il doit d'abord interroger l'utilisateur sur le prompt, le mode de masque, la région (si nécessaire), la force d'édition et les répertoires d'entrée/sortie. Ensuite, il modifie `config.json` en fonction des réponses, exécute le script `scripts/vace.py`, et rapporte les résultats. Chaque vidéo d'entrée produit un fichier `.mp4` dans le répertoire de sortie, avec l'audio original réintégré.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/video-editor

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

cutlab — Édition de région vidéo par IA

Édite une zone masquée de chaque image d'une vidéo en utilisant le modèle de diffusion Wan2.1-VACE-1.3B. Décrivez le résultat souhaité dans une invite textuelle ; le modèle remplit la zone masquée tout en conservant le reste inchangé. L'audio est préservé.

Le répertoire de la compétence (où se trouve ce SKILL.md) est appelé $SKILL_DIR ci-dessous.

GPU requis. Nécessite un GPU CUDA avec ≥ 8 Go de VRAM libre. Mettez en pause le contexte du LLM avant l'exécution pour libérer la VRAM.


Quand l'utiliser

Utilisez cette compétence lorsque l'utilisateur souhaite :

  • Remplacer l'arrière-plan d'une vidéo de tête parlante par une scène différente
  • Éditer une zone rectangulaire d'une vidéo (ciel, panneau, écran, etc.)
  • Modifier les détails de l'environnement tout en préservant le sujet

Configuration (première exécution uniquement)

cd "$SKILL_DIR" && uv sync

Les poids du modèle Wan2.1-VACE-1.3B sont téléchargés depuis HuggingFace lors de la première exécution (~3 Go). Les poids du modèle rembg sont également téléchargés lors de la première exécution en mode arrière-plan.


Flux de travail de l'agent

1. Interroger l'utilisateur

Avant d'éditer la/les vidéo(s), j'ai besoin de savoir :

💬 Prompt (obligatoire)
   Décrivez à quoi la zone éditée doit ressembler, par exemple :
   "bureau moderne avec baies vitrées et vue sur la ville"

🎭 Mode de masque
  - background  — détecter et remplacer automatiquement l'arrière-plan [par défaut]
  - region      — éditer une zone rectangulaire (x1,y1,x2,y2 sous forme de fractions 0.0–1.0)

📐 Si mode=region : mask_region
   Format : "x1,y1,x2,y2" ex. "0.0,0.0,1.0,0.3" pour les 30 % supérieurs de l'image

⚙️  Force (0.0–1.0, par défaut 0.85)
   À quel point appliquer l'édition. Plus bas = plus fidèle à l'original.

📁 Répertoires d'entrée / sortie (par défaut : ./input et ./output)

Attendez la réponse de l'utilisateur avant de continuer.

2. Modifier config.json

Écrivez ou mettez à jour $SKILL_DIR/config.json en fonction des choix de l'utilisateur.

3. Exécuter

cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json

4. Rapporter les résultats

Indiquez à l'utilisateur les chemins des fichiers de sortie, le mode de masque utilisé et le prompt appliqué.


Référence de configuration

CléValeursPar défautDescription
input_dirchemin./inputDossier contenant les vidéos d'entrée
output_dirchemin./outputDossier de destination
promptchaîne(obligatoire)Description de la zone éditée souhaitée
negative_promptchaîne"worst quality, blurry, distorted"Ce qu'il faut éviter
maskbackground, regionbackgroundStratégie de masquage
mask_region"x1,y1,x2,y2"(obligatoire si région)Rectangle sous forme de fractions
strengthflottant (0, 1]0.85Force de l'inpainting
num_inference_stepsentier30Étapes de diffusion
guidance_scaleflottant5.0Adhérence au prompt
batch_sizeentier8Images traitées par lot d'inférence (plus bas pour moins de VRAM)
max_proc_dimentier384Dimension maximale de l'image avant inpainting (plus bas pour moins de VRAM)
modelidentifiant HuggingFaceWan-AI/Wan2.1-VACE-1.3B-diffusersModèle à utiliser

Invocations courantes

# Remplacer automatiquement l'arrière-plan
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "lac de montagne serein au coucher du soleil"

# Éditer une zone rectangulaire (tiers supérieur de l'image = remplacement du ciel)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --mask region --mask-region "0.0,0.0,1.0,0.33" \
  --prompt "ciel bleu clair avec quelques nuages"

# Édition plus légère (préserver davantage les détails originaux)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "bureau cosy à domicile" --strength 0.6

# Répertoires personnalisés
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --input /chemin/vers/videos --output /chemin/vers/editees \
  --prompt "paysage urbain futuriste"

Sortie

Chaque vidéo d'entrée produit un fichier .mp4 dans le output_dir avec le même nom de fichier. L'audio original est réintégré.


Gestion des erreurs

  • VRAM insuffisante → affiche les Go requis vs disponibles, des conseils pour libérer la VRAM, puis quitte
  • Pas de GPU CUDA → message d'erreur clair, puis quitte
  • Aucune vidéo dans input_dir → message clair, puis quitte
  • Format mask_region invalide → message clair avec le format attendu, puis quitte
  • Erreurs individuelles sur une vidéo → consignées ; les autres vidéos continuent leur traitement

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Auto-describe and caption images using a local vision-language model. Writes a JSON sidecar per image containing a one-sentence description, a suggested Instagram caption with hashtags, and detected content tags.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Skills associés