Communitygithub.com

FilippTrigub/abra

Bearbeitet eine Region eines Videos mithilfe eines Text-Prompts durch Wan2.1-VACE-Inpainting. Unterstützt zwei Modi: Hintergrund (automatische Segmentierung per rembg) oder Region (Rechteck definiert durch Koordinaten). Erfordert eine CUDA-GPU mit mindestens 8 GB freiem VRAM.

Was ist abra?

Dieses Skill ermöglicht die Bearbeitung einer maskierten Region in jedem Frame eines Videos mit dem Wan2.1-VACE-1.3B-Diffusionsmodell. Der Benutzer beschreibt das gewünschte Ergebnis in einem Text-Prompt, und das Modell füllt den maskierten Bereich neu aus, während der Rest des Frames unverändert bleibt. Es unterstützt zwei Modi: den Hintergrundmodus, der automatisch das Objekt (z. B. eine Person) segmentiert und den Hintergrund ersetzt, und den Regionsmodus, bei dem ein rechteckiger Bereich über Bruchzahlen definiert wird. Dieses Skill ist besonders nützlich für Szenen wie das Ersetzen des Hintergrunds eines Sprechervideos oder das Bearbeiten von Himmel, Schildern oder Bildschirmen. Es ist optimiert für CUDA-GPUs mit mindestens 8 GB VRAM und erfordert einmalig den Download der Modellgewichte von HuggingFace. Der Workflow umfasst das Konfigurieren einer JSON-Datei und das Ausführen eines Python-Skripts, wobei der Ton im Ausgabevideo erhalten bleibt.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/video-editor

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

cutlab — KI-Videoregionen bearbeiten

Bearbeitet eine maskierte Region jedes Frames eines Videos mit dem Wan2.1-VACE-1.3B-Diffusionsmodell. Beschreibe das gewünschte Ergebnis in einem Text-Prompt; das Modell füllt den maskierten Bereich neu aus, während der Rest unverändert bleibt. Der Ton bleibt erhalten.

Das Skill-Verzeichnis (in dem diese SKILL.md liegt) wird unten als $SKILL_DIR bezeichnet.

GPU erforderlich. Benötigt eine CUDA-GPU mit ≥ 8 GB freiem VRAM. Pausiere den LLM-Kontext vor dem Ausführen, um VRAM freizugeben.


Wann verwenden

Verwende dieses Skill, wenn der Benutzer Folgendes möchte:

  • Den Hintergrund eines Sprechervideos durch eine andere Szene ersetzen
  • Einen rechteckigen Bereich eines Videos bearbeiten (Himmel, Schild, Bildschirm usw.)
  • Umgebungsdetails ändern, während das Subjekt erhalten bleibt

Einrichtung (nur beim ersten Mal)

cd "$SKILL_DIR" && uv sync

Die Modellgewichte von Wan2.1-VACE-1.3B werden beim ersten Start von HuggingFace heruntergeladen (~3 GB). Die rembg-Modellgewichte werden ebenfalls beim ersten Start im Hintergrundmodus heruntergeladen.


Agent-Workflow

1. Frage den Benutzer

Bevor ich das Video / die Videos bearbeite, benötige ich:

💬 Prompt (erforderlich)
   Beschreibe, wie die bearbeitete Region aussehen soll, z. B.:
   "modernes Büro mit bodentiefen Fenstern und Stadtblick"

🎭 Maskenmodus
  - background  — Hintergrund automatisch erkennen und ersetzen [Standard]
  - region      — Rechteckigen Bereich bearbeiten (x1,y1,x2,y2 als Bruchzahlen 0.0–1.0)

📐 Wenn Modus=region: mask_region
   Format: "x1,y1,x2,y2" z. B. "0.0,0.0,1.0,0.3" für die oberen 30 % des Frames

⚙️ Stärke (0.0–1.0, Standard 0.85)
   Wie stark die Bearbeitung angewendet wird. Niedriger = originalgetreuer.

📁 Eingabe- / Ausgabeverzeichnisse (Standard: ./input und ./output)

Warte auf die Antwort des Benutzers, bevor du fortfährst.

2. config.json bearbeiten

Schreibe oder aktualisiere $SKILL_DIR/config.json basierend auf den Benutzerwahlen.

3. Ausführen

cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json

4. Ergebnisse melden

Teile dem Benutzer die Ausgabedateipfade, den verwendeten Maskenmodus und den angewendeten Prompt mit.


Konfigurationsreferenz

SchlüsselWerteStandardBeschreibung
input_dirPfad./inputOrdner mit Eingabevideos
output_dirPfad./outputZielordner
promptZeichenkette(erforderlich)Beschreibung der gewünschten bearbeiteten Region
negative_promptZeichenkette"worst quality, blurry, distorted"Was vermieden werden soll
maskbackground, regionbackgroundMaskierungsstrategie
mask_region"x1,y1,x2,y2"(erforderlich wenn region)Rechteck als Bruchzahlen
strengthFloat (0, 1]0.85Inpainting-Stärke
num_inference_stepsGanzzahl30Diffusionsschritte
guidance_scaleFloat5.0Prompt-Befolgung
batch_sizeGanzzahl8Pro Inferenz-Batch verarbeitete Frames (niedriger für weniger VRAM)
max_proc_dimGanzzahl384Maximale Frame-Dimension vor Inpainting (niedriger für weniger VRAM)
modelHuggingFace-IDWan-AI/Wan2.1-VACE-1.3B-diffusersZu verwendendes Modell

Häufige Aufrufe

# Hintergrund automatisch ersetzen
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "ruhiger Bergsee bei Sonnenuntergang"

# Rechteckigen Bereich bearbeiten (oberes Drittel des Frames = Himmelsersatz)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --mask region --mask-region "0.0,0.0,1.0,0.33" \
  --prompt "klarer blauer Himmel mit vereinzelten Wolken"

# Schwächere Bearbeitung (mehr Originaldetails erhalten)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "gemütliches Home-Office" --strength 0.6

# Benutzerdefinierte Verzeichnisse
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --input /pfad/zu/videos --output /pfad/zu/bearbeitet \
  --prompt "futuristische Skyline"

Ausgabe

Jedes Eingabevideo erzeugt eine .mp4-Datei im output_dir mit demselben Dateinamen. Der Originalton wird wieder hineingemischt.


Fehlerbehandlung

  • Nicht genügend VRAM → gibt erforderliche vs. verfügbare GB aus, Tipps zum Freigeben von VRAM, beendet sich
  • Keine CUDA-GPU → klare Fehlermeldung, beendet sich
  • Keine Videos in input_dir → klare Meldung, beendet sich
  • Ungültiges mask_region-Format → klare Meldung mit erwartetem Format, beendet sich
  • Fehler bei einzelnen Videos → werden protokolliert; andere Videos werden weiterverarbeitet

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Auto-describe and caption images using a local vision-language model. Writes a JSON sidecar per image containing a one-sentence description, a suggested Instagram caption with hashtags, and detected content tags.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

Verwandte Skills