Was macht AI Video Studio?
KI-Video-Komplettlösung: Seedance 2.0 Generierung + CapCut Mate Schnitt + Cloud-Rendering-Export.
Kernfunktionen
- KI-generierte Videoclips – Erzeugt 5/8/11-Sekunden-Videos über Text-/Bildeingabe mit Seedance 2.0
- Automatischer Schnitt und Zusammenstellung – Mehrere Clips zusammenfügen, Untertitel einblenden, Übergänge, Hintergrundmusik
- Cloud-Rendering-Export – Erzeugt endgültiges MP4
Szenariobasierte Videos mit einem Befehl (NEU – huobao 4-stufige Pipeline)
Der Unterbefehl drama kapselt die vollständige Kette „Drehbuch → Charaktere/Szenen → Storyboard → Rendering“, ausgeführt von Sonnet + Opus Advisor, der automatisch narrative Templates auswählt (Problem-Wendung-Lösung / Szenenmontage / Dramatisierte Geschichte / Hybrid). Methodik siehe reference/huobao/ (CC BY-NC-SA 4.0).
Produktwerbe-Video (ein Befehl)
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py drama \
--mode product \
--idea "Intelligente Thermoskanne, der Tag eines Berufspendlers" \
--scenario "Morgens Laufen/U-Bahn/Büro/Überstunden" \
--highlights "12 Stunden Isolierung, Flugzeug-Edelstahl, Ein-Knopf-Temperaturregelung" \
--shots 6 --duration 5 --ratio 9:16 --lang zh --run
Kurzdrama (ein Befehl)
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py drama \
--mode shortdrama \
--idea "Zufälliges Treffen mit dem Ex im Café, ein Satz klärt ein drei Jahre altes Missverständnis" \
--shots 6 --duration 8 --ratio 9:16 --lang zh --run
Parameter
| Parameter | Beschreibung |
|---|---|
--mode | product szenariobasierte Produktwerbung / shortdrama Kurzdrama |
--idea | Kerngedanke oder Produkt in einem Satz |
--scenario | Nutzungs-/Geschichtsszenario (optional), Advisor komponiert darum herum |
--highlights | Liste der Verkaufsargumente im product-Modus (Advisor integriert sie natürlich, keine harte Werbung) |
--shots | Anzahl der Einstellungen, Standard 6 |
--duration | Länge pro Einstellung 5/8/11 Sekunden, Standard 5 |
--ratio | Seitenverhältnis, für Hochformat-Kurzvideos empfehlenswert 9:16 |
--advisor-calls | Maximale Anzahl Opus-Konsultationen, Standard 3 |
--run | Wenn gesetzt, wird Seedance-Generierung + ffmpeg-Rendering sofort ausgeführt, sonst nur JSON-Entwurf |
Ausgabe: JSON-Entwurf (enthält characters / scenes / shots / narrative_template / logline) gespeichert unter $MEDIA_DIR/drama-<mode>-<ts>.json; mit --run wird die Pipeline fortgesetzt und das endgültige MP4 erzeugt.
Vollständiger Workflow (untere Ebene)
Vier Lieferprofile und externe Renderer
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py profiles
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py profiles paibao_private
Eingebaute Profile: automotive_export, paibao_private, haitun_public, personal_ip. Storyboards können explizit renderer: video_use|hyperframes|remotion verwenden, um echtes Filmmaterial, HTML/GSAP-Animationen oder React-Parametervorlagen einzubinden; Profile wählen nicht automatisch Renderer, die von EDL/Projektverzeichnissen abhängen.
video_use benötigt edl und erfordert, dass output und edl.json im selben edit/-Verzeichnis liegen; hyperframes benötigt project_dir; remotion benötigt project_dir, entry_point und composition_id. Node-Projekte müssen mit package-lock.json die lokale CLI sperren und zuerst npm ci ausführen; während des Renderings wird nicht online nach Paketen gesucht. Externe Renderer dürfen nur explizit über die lokale pipeline CLI ausgeführt werden, der Server-/LLM-Pfad ist standardmäßig deaktiviert.
paibao_private verbietet für alle Renderer das Einbrennen von Storyboard-Untertiteln: Zuerst Ausgabe einer untertitel-freien Schnittvorlage, dann übergibt sie an paibao-course-publisher für ASS, Frame-Extraktion, Hashing und Veröffentlichungs-Gate.
Ein-Befehl-Generierung: Vom Storyboard zum fertigen Video
Erstelle eine JSON-Storyboard-Datei und rufe dann die Pipeline auf:
# Storyboard erstellen
cat > /tmp/storyboard.json << 'EOF'
{
"title": "Produktwerbung",
"ratio": "16:9",
"shots": [
{"prompt": "A modern smartphone floating in space with golden particles around it, cinematic lighting", "duration": 5, "caption": "Neues Design – Zukunft gestalten"},
{"prompt": "Hands holding a smartphone with holographic UI elements emerging from screen", "duration": 5, "caption": "Intelligenz direkt greifbar"},
{"prompt": "Slow motion water splash revealing a smartphone, dramatic lighting", "duration": 5, "caption": "Neue Dimension der Wasserdichtigkeit"}
],
"bgm_url": null
}
EOF
# Vollständige Pipeline ausführen
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py pipeline /tmp/storyboard.json
Ausgabe: Pfad der endgültigen Videodatei (z.B. /root/.openclaw/media/studio-xxx.mp4)
Storyboard-Felder
| Feld | Typ | Beschreibung |
|---|---|---|
title | string | Projektname |
ratio | string | Seitenverhältnis: 16:9, 9:16, 1:1 |
shots[].prompt | string | Seedance-Generierungsprompt (Englisch empfohlen, bessere Ergebnisse) |
shots[].duration | int | Länge pro Einstellung: 5, 8, 11 Sekunden |
shots[].caption | string | Untertiteltext (leer lassen für keinen Untertitel) |
shots[].ref_image | string? | Optionale Referenzbild-URL |
bgm_url | string? | Optionale Hintergrundmusik-URL |
Schrittweise Nutzung (flexible Kombination)
Schritt 1: Einzelnen Videoclip generieren
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py generate \
--prompt "Eine orange Katze gähnt im Sonnenlicht" \
--ratio 16:9 \
--duration 5
Ausgabe: Pfad der Videodatei
Schritt 2: Mehrere Clips zusammenstellen
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py compose \
--videos /root/.openclaw/media/clip1.mp4,/root/.openclaw/media/clip2.mp4 \
--captions "Erste Szene,Zweite Szene" \
--ratio 16:9
Ausgabe: Entwurfs-URL + Export-Videopfad
Schritt 3: Nur CapCut Mate zum Bearbeiten vorhandener Videos verwenden
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py compose \
--videos https://example.com/v1.mp4,https://example.com/v2.mp4 \
--captions "Anfang,Ende" \
--bgm https://example.com/music.mp3 \
--ratio 9:16
FFmpeg-Direktmodus (empfohlen, Standard)
Der Pipeline-Befehl verwendet standardmäßig ffmpeg, um das MP4 serverseitig direkt auszugeben, ohne Abhängigkeit vom CapCut-Client.
Nur rendern (Seedance überspringen, vorhandene Clips verwenden)
python3 ~/.openclaw/workspace/skills/ai-video-studio/scripts/studio.py render --videos clip1.mp4,clip2.mp4 --captions "Erste Szene,Zweite Szene" --bgm https://example.com/music.mp3 --ratio 16:9 --title meinprojekt
Ausgabe: Pfad der endgültigen MP4-Datei
FFmpeg-Rendering-Fähigkeiten
- Mehrere Clips zusammenfügen (automatische Auflösungsnormalisierung)
- SRT-Untertitel einbrennen (weißer Text mit schwarzem Rand, unten zentriert)
- BGM-Mischung (Originalton 100% + BGM 30%)
- H.264 + AAC Kodierung, schnelles Rendering
Pipeline-Standard ffmpeg
Im Storyboard-JSON verwendet der Renderer standardmäßig ffmpeg; setzen Sie capcut, um in den CapCut-Entwurfsmodus zu wechseln.
Hinweise
- Seedance-Videogenerierung dauert normalerweise 3-10 Minuten pro Clip; mehrere Clips parallel senden
- Cloud-Rendering benötigt CapCut-API-Key (über Umgebungsvariable
CAPCUT_API_KEY) - Ohne Cloud-Rendering-Key können trotzdem Entwurfsdateien generiert und manuell mit dem CapCut-Client exportiert werden
- Ausgabeverzeichnis für Videos:
/root/.openclaw/media/ - Chinesische Prompts für Seedance empfohlen, bessere Ergebnisse
Umgebungsvariablen
| Variable | Verwendung | Standardwert |
|---|---|---|
SEEDANCE_API_KEY | Doubao Seedance API | Eingebauter Fallback |
CAPCUT_MATE_URL | CapCut Mate Dienst-URL | http://127.0.0.1:30000 |
CAPCUT_API_KEY | Jianying Cloud-Rendering-Key (optional) | Keine |