Video Toolkit
Erstelle professionelle Erklärvideos aus einem Text-Briefing. Das Toolkit verwendet Open-Source-KI-Modelle auf Cloud-GPUs (Modal oder RunPod) für Sprachaufnahmen, Bildgenerierung, Musik und Animationen von sprechenden Köpfen. Remotion (React) übernimmt die Komposition und das Rendering.
WICHTIG: Toolkit-Pfad
Das Toolkit befindet sich unter einem festen Pfad. cd IMMER zuerst hierhin, bevor du ein Tool ausführst.
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
Führe NIEMALS Tool-Befehle aus einem Projektverzeichnis aus. Tools lösen Pfade relativ zum Toolkit-Root auf.
Einrichtung
Schritt 1: Aktuellen Zustand prüfen
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Wenn alles [x] anzeigt, fahre mit dem „Schnelltest“ unten fort. Andernfalls setze die Einrichtung fort.
Schritt 2: Python-Abhängigkeiten installieren
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
Hinweis: --break-system-packages wird auf Debian/Ubuntu mit verwaltetem Python (PEP 668) benötigt. In Containern sicher.
Schritt 3: Cloud-GPU-Endpunkte konfigurieren
Das Toolkit benötigt Cloud-GPU-Endpunkt-URLs in der .env-Datei. Prüfe, ob .env existiert und Modal-Endpunkte enthält:
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Wenn Modal-Endpunkte konfiguriert sind, bist du bereit. Falls nicht, frage den Benutzer nach Modal-Endpunkt-URLs oder richte Modal ein:
pip3 install --break-system-packages modal
python3 -m modal setup # Öffnet Browser zur Authentifizierung
# Jedes Tool bereitstellen – die Endpunkt-URL aus der Ausgabe kopieren
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # Erfordert: modal secret create huggingface-token HF_TOKEN=hf_...
LTX-2 Voraussetzung: Vor dem Bereitstellen von LTX-2 ein HuggingFace-Secret erstellen und die Gemma 3 Lizenz akzeptieren:
modal secret create huggingface-token HF_TOKEN=hf_your_read_access_token
Füge jede URL in die .env-Datei ein:
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
Optional, aber empfohlen – Cloudflare R2 für zuverlässigen Dateitransfer:
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
Schritt 4: Überprüfen und Schnelltest
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Alle Tools sollten [x] anzeigen. Führe dann einen Schnelltest aus, um die GPU-Pipeline zu bestätigen:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Hallo, das ist ein Test." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
Wenn eine gültige .mp3-Datei erstellt wird, ist die Einrichtung abgeschlossen. Bei Fehlern prüfe:
.enventhält die korrekteMODAL_QWEN3_TTS_ENDPOINT_URL- Führe
python3 tools/verify_setup.py --jsonaus und überprüfemodal_toolsauf fehlende Endpunkte
Kosten: Modal bietet 30 $/Monat kostenlose Rechenzeit. Ein typisches 60-Sekunden-Video kostet 1-3 $.
Ein Video erstellen
Schritt 1: Projekt anlegen
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/PROJECT_NAME
cd projects/PROJECT_NAME
npm install
Vorlagen: product-demo (Marketing/Erklärvideo), sprint-review, sprint-review-v2 (zusammensetzbare Szenen).
Schritt 2: Konfiguration schreiben
Bearbeite projects/PROJECT_NAME/src/config/demo-config.ts:
export const demoConfig: ProductDemoConfig = {
product: {
name: 'Mein Produkt',
tagline: 'Was es in einer Zeile tut',
website: 'example.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
Szenentypen: title, problem, solution, demo, feature, stats, cta.
Dauer-Regel: Schätze durationSeconds als ceil(Wortanzahl / 2.5) + 2. Du wirst dies nach der Audio-Generierung in Schritt 4 anpassen.
Schritt 3: Voiceover-Skript schreiben
Erstelle projects/PROJECT_NAME/VOICEOVER-SCRIPT.md:
## Szene 1: Titel (9s, ~17 Wörter)
Erstelle Videos mit KI. Das Produkt-Toolkit macht es einfach.
## Szene 2: Problem (14s, ~30 Wörter)
Die Problemstellung kommt hier hin. Halte es prägnant und nachvollziehbar.
Wortbudget pro Szene: (durationSeconds - 2) * 2.5 Wörter. Die -2 berücksichtigt 1s Audio-Verzögerung + 1s Puffer.
Schritt 4: Assets generieren
WICHTIG: Alle folgenden Befehle MÜSSEN vom Toolkit-Root ausgeführt werden, nicht aus dem Projektverzeichnis.
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. Hintergrundmusik
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/PROJECT_NAME/public/audio/bg-music.mp3 \
--cloud modal
Presets: corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. Voiceover (pro Szene)
Erstelle EINE .mp3-Datei PRO SZENE. Erstelle KEINE einzige Voiceover-Datei.
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Szene 01
python3 tools/qwen3_tts.py \
--text "Der Voiceover-Text für Szene eins." \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
# Szene 02
python3 tools/qwen3_tts.py \
--text "Der Voiceover-Text für Szene zwei." \
--speaker Ryan --tone warm \
--output projects/PROJECT_NAME/public/audio/scenes/02.mp3 \
--cloud modal
# ... für jede Szene wiederholen
Sprecher: Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
Töne: neutral, warm, professional, excited, calm, serious, storyteller, tutorial
Für Sprachklonen (benötigt eine Referenzaufnahme):
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "Text zum Sprechen" \
--ref-audio assets/voices/reference.m4a \
--ref-text "Exaktes Transkript der Referenzaudio" \
--output projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--cloud modal
4c. Szenenbilder
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Dunkler Tech-Hintergrund mit blauem geometrischem Raster, filmische Beleuchtung" \
--width 1920 --height 1080 \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
Bild-Presets (verwende --preset anstelle von --prompt --width --height):
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/PROJECT_NAME/public/images/title-bg.png \
--cloud modal
4d. Videoclips – B-Roll & animierte Hintergründe (optional)
Generiere KI-Videoclips für B-Roll-Einblendungen, animierte Folienhintergründe oder Intro/Outro-Sequenzen:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# B-Roll Clip aus Text
python3 tools/ltx2.py \
--prompt "Luftaufnahme einer Drohne über einer europäischen Stadt zur goldenen Stunde, filmische Weitwinkelperspektive" \
--output projects/PROJECT_NAME/public/videos/broll-europe.mp4 \
--cloud modal
# Eine Folie/einen Screenshot animieren (Bild-zu-Video)
python3 tools/ltx2.py \
--prompt "Sanfte Partikeleffekte, leichte Verschiebungen des Umgebungslichts, sehr leichte Kameradrift" \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--output projects/PROJECT_NAME/public/videos/animated-title.mp4 \
--cloud modal
# Abstrakter Intro/Outro-Hintergrund
python3 tools/ltx2.py \
--prompt "Dunkler, stimmungsvoller abstrakter Hintergrund mit fließenden blauen Lichtstreifen, Bokeh-Partikel, filmisch" \
--output projects/PROJECT_NAME/public/videos/intro-bg.mp4 \
--cloud modal
In Remotion-Kompositionen mit <OffthreadVideo> verwenden:
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
LTX-2 Regeln:
- Max ~8 Sekunden pro Clip (193 Bilder bei 24fps). Standard ist ~5s (121 Bilder).
- Breite/Höhe muss durch 64 teilbar sein. Standard: 768x512.
- ~0.20-0.25 $ pro Clip, ~2.5 min Generierungszeit.
- Kaltstart ~60-90s. Nachfolgende Clips auf warmer GPU sind schneller.
- Generiertes Audio ist nur Umgebungsaudio – verwende Voiceover/Musik-Tools für Sprache und Musik.
- ~30% der Generierungen können Artefakte aus Trainingsdaten aufweisen (Logos/Text). Wiederhole mit
--seedzur Variation.
4e. Sprechender Kopf (optional)
Generiere ein Präsentator-Porträt und animiere dann szenenweise Clips:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. Porträt generieren
python3 tools/flux2.py \
--prompt "Professionelles Präsentator-Porträt, sauberer Stil, dunkler Hintergrund, Kamera zugewandt, Oberkörper" \
--width 1024 --height 576 \
--output projects/PROJECT_NAME/public/images/presenter.png \
--cloud modal
# 2. Szenenweise Sprecherclips generieren (ein Clip pro Szene, NICHT ein langes Video)
python3 tools/sadtalker.py \
--image projects/PROJECT_NAME/public/images/presenter.png \
--audio projects/PROJECT_NAME/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/PROJECT_NAME/public/narrator-01.mp4 \
--cloud modal
# Für jede Szene wiederholen, die einen Sprecher benötigt
SadTalker Regeln – genau befolgen:
- IMMER
--preprocess fullverwenden (Standardcropgibt ein Quadrat aus, falsches Seitenverhältnis) - IMMER
--stillverwenden (reduziert Kopfbewegungen, sieht professionell aus) - IMMER szenenweise Clips generieren (6-15s), NIEMALS ein langes Video
- Verarbeitung: ~3-4 Min pro 10s Audio auf Modal A10G
--expression-scale 0.8hält die Mimik subtil (Bereich 0.0-1.5)
4e. Bildbearbeitung (optional)
Erstelle Szenenvarianten aus vorhandenen Bildern:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/PROJECT_NAME/public/images/title-bg.png \
--prompt "Mache es dunkler mit roten Tönen, bedrohlicher" \
--output projects/PROJECT_NAME/public/images/problem-bg.png \
--cloud modal
4f. Hochskalieren (optional)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/PROJECT_NAME/public/images/some-image.png \
--output projects/PROJECT_NAME/public/images/some-image-4x.png \
--scale 4 --cloud modal
Schritt 5: Timing synchronisieren
Führe dies IMMER nach der Voiceover-Generierung durch. Die Audiodauer weicht von den Schätzungen ab.
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/PROJECT_NAME/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
Aktualisiere die durationSeconds jeder Szene in demo-config.ts auf: ceil(tatsächliche_audio_dauer + 2).
Beispiel: Wenn 01.mp3 6.8s ist, setze Szene 1 durationSeconds auf 9 (ceil(6.8 + 2) = 9).
Schritt 6: Standbilder überprüfen
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
Prüfe: Textabschneidungen, Animations-Timing, Sprecher-Bild-im-Bild-Positionierung, Hintergrundkontrast.
Schritt 7: Rendern
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/PROJECT_NAME
npm run render
Ausgabe: out/ProductDemo.mp4
Kompositionsmuster
Szenenweises Audio
Verwende szenenweises Audio mit einer 1-Sekunden-Verzögerung (from={30} = 30 Bilder = 1s bei 30fps):
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
Szenenweiser Sprecher PiP
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
IMMER <OffthreadVideo> verwenden, NIEMALS <video>. Remotion benötigt seine eigene Komponente für bildgenaues Rendering.
Übergänge
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
NIEMALS aus lib/transitions barrel importieren – importiere benutzerdefinierte Übergänge direkt aus lib/transitions/presentations/.
Fehlerbehebung
| Problem | Lösung |
|---|---|
| Tool-Befehl schlägt fehl mit „No module named..." | Führe pip3 install --break-system-packages -r tools/requirements.txt vom Toolkit-Root aus |
| „MODAL_*_ENDPOINT_URL not configured" | Überprüfe, ob .env die Endpunkt-URL enthält. Führe python3 tools/verify_setup.py aus |
| SadTalker-Ausgabe ist quadratisch/beschnitten | Du hast --preprocess full vergessen. Führe es mit diesem Flag erneut aus |
| Audio zu kurz/lang für Szene | Wiederhole Schritt 5 (Timing synchronisieren) und aktualisiere die Konfiguration |
npm run render schlägt fehl | Stelle sicher, dass du im Projektverzeichnis bist, nicht im Toolkit-Root. Führe zuerst npm install aus |
| „Cannot find module" in Remotion | Überprüfe die Importpfade. Stelle sicher, dass alle Abhängigkeiten installiert sind |
| GPU-Tool hängt oder läuft lang | Kaltstart ca. 60-90s. Nachfolgende Aufrufe auf warmer GPU sind schneller. Auf Modal-Kontingent prüfen |
Referenz: Werkzeuge
| Tool | Verwendung | Cloud-Anbieter |
|---|---|---|
qwen3_tts.py | Text-zu-Sprache (Audio pro Szene) | Modal |
flux2.py | Bildgenerierung (Szenenhintergründe, Präsentator-Porträt) | Modal |
music_gen.py | KI-Hintergrundmusik | Modal |
sadtalker.py | Sprechender Kopf Animation aus Audio + Bild | Modal |
ltx2.py | Text-zu-Video und Bild-zu-Video (B-Roll, animierte Hintergründe) | Modal |
image_edit.py | Bildbearbeitung (Prompt-basierte Änderungen) | Modal |
upscale.py | Bild hochskalieren (2x, 4x) | Modal |
verify_setup.py | Einrichtung und Abhängigkeiten prüfen | – |