cutlab — KI-Videoregionen bearbeiten
Bearbeitet eine maskierte Region jedes Frames eines Videos mit dem Wan2.1-VACE-1.3B-Diffusionsmodell. Beschreibe das gewünschte Ergebnis in einem Text-Prompt; das Modell füllt den maskierten Bereich neu aus, während der Rest unverändert bleibt. Der Ton bleibt erhalten.
Das Skill-Verzeichnis (in dem diese SKILL.md liegt) wird unten als $SKILL_DIR bezeichnet.
GPU erforderlich. Benötigt eine CUDA-GPU mit ≥ 8 GB freiem VRAM. Pausiere den LLM-Kontext vor dem Ausführen, um VRAM freizugeben.
Wann verwenden
Verwende dieses Skill, wenn der Benutzer Folgendes möchte:
- Den Hintergrund eines Sprechervideos durch eine andere Szene ersetzen
- Einen rechteckigen Bereich eines Videos bearbeiten (Himmel, Schild, Bildschirm usw.)
- Umgebungsdetails ändern, während das Subjekt erhalten bleibt
Einrichtung (nur beim ersten Mal)
cd "$SKILL_DIR" && uv sync
Die Modellgewichte von Wan2.1-VACE-1.3B werden beim ersten Start von HuggingFace heruntergeladen (~3 GB). Die rembg-Modellgewichte werden ebenfalls beim ersten Start im Hintergrundmodus heruntergeladen.
Agent-Workflow
1. Frage den Benutzer
Bevor ich das Video / die Videos bearbeite, benötige ich:
💬 Prompt (erforderlich)
Beschreibe, wie die bearbeitete Region aussehen soll, z. B.:
"modernes Büro mit bodentiefen Fenstern und Stadtblick"
🎭 Maskenmodus
- background — Hintergrund automatisch erkennen und ersetzen [Standard]
- region — Rechteckigen Bereich bearbeiten (x1,y1,x2,y2 als Bruchzahlen 0.0–1.0)
📐 Wenn Modus=region: mask_region
Format: "x1,y1,x2,y2" z. B. "0.0,0.0,1.0,0.3" für die oberen 30 % des Frames
⚙️ Stärke (0.0–1.0, Standard 0.85)
Wie stark die Bearbeitung angewendet wird. Niedriger = originalgetreuer.
📁 Eingabe- / Ausgabeverzeichnisse (Standard: ./input und ./output)
Warte auf die Antwort des Benutzers, bevor du fortfährst.
2. config.json bearbeiten
Schreibe oder aktualisiere $SKILL_DIR/config.json basierend auf den Benutzerwahlen.
3. Ausführen
cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json
4. Ergebnisse melden
Teile dem Benutzer die Ausgabedateipfade, den verwendeten Maskenmodus und den angewendeten Prompt mit.
Konfigurationsreferenz
| Schlüssel | Werte | Standard | Beschreibung |
|---|---|---|---|
input_dir | Pfad | ./input | Ordner mit Eingabevideos |
output_dir | Pfad | ./output | Zielordner |
prompt | Zeichenkette | (erforderlich) | Beschreibung der gewünschten bearbeiteten Region |
negative_prompt | Zeichenkette | "worst quality, blurry, distorted" | Was vermieden werden soll |
mask | background, region | background | Maskierungsstrategie |
mask_region | "x1,y1,x2,y2" | (erforderlich wenn region) | Rechteck als Bruchzahlen |
strength | Float (0, 1] | 0.85 | Inpainting-Stärke |
num_inference_steps | Ganzzahl | 30 | Diffusionsschritte |
guidance_scale | Float | 5.0 | Prompt-Befolgung |
batch_size | Ganzzahl | 8 | Pro Inferenz-Batch verarbeitete Frames (niedriger für weniger VRAM) |
max_proc_dim | Ganzzahl | 384 | Maximale Frame-Dimension vor Inpainting (niedriger für weniger VRAM) |
model | HuggingFace-ID | Wan-AI/Wan2.1-VACE-1.3B-diffusers | Zu verwendendes Modell |
Häufige Aufrufe
# Hintergrund automatisch ersetzen
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "ruhiger Bergsee bei Sonnenuntergang"
# Rechteckigen Bereich bearbeiten (oberes Drittel des Frames = Himmelsersatz)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--mask region --mask-region "0.0,0.0,1.0,0.33" \
--prompt "klarer blauer Himmel mit vereinzelten Wolken"
# Schwächere Bearbeitung (mehr Originaldetails erhalten)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "gemütliches Home-Office" --strength 0.6
# Benutzerdefinierte Verzeichnisse
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--input /pfad/zu/videos --output /pfad/zu/bearbeitet \
--prompt "futuristische Skyline"
Ausgabe
Jedes Eingabevideo erzeugt eine .mp4-Datei im output_dir mit demselben Dateinamen. Der Originalton wird wieder hineingemischt.
Fehlerbehandlung
- Nicht genügend VRAM → gibt erforderliche vs. verfügbare GB aus, Tipps zum Freigeben von VRAM, beendet sich
- Keine CUDA-GPU → klare Fehlermeldung, beendet sich
- Keine Videos in input_dir → klare Meldung, beendet sich
- Ungültiges mask_region-Format → klare Meldung mit erwartetem Format, beendet sich
- Fehler bei einzelnen Videos → werden protokolliert; andere Videos werden weiterverarbeitet