Video Toolkit
Créez des vidéos explicatives professionnelles à partir d'un brief textuel. Le kit utilise des modèles d'IA open source sur des GPU cloud (Modal ou RunPod) pour la voix off, la génération d'images, la musique et l'animation de têtes parlantes. Remotion (React) gère la composition et le rendu.
CRITIQUE : Chemin du kit
Le kit se trouve à un chemin fixe. Allez TOUJOURS dans ce répertoire (cd) avant d'exécuter une commande d'outil.
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
N'exécutez JAMAIS de commandes d'outil depuis l'intérieur d'un répertoire de projet. Les outils résolvent les chemins relatifs à la racine du kit.
Configuration
Étape 1 : Vérifier l'état actuel
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Si tout affiche [x], passez à "Test rapide" ci-dessous. Sinon, continuez la configuration.
Étape 2 : Installer les dépendances Python
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
Note : --break-system-packages est nécessaire sur Debian/Ubuntu avec Python géré (PEP 668). Sans danger à l'intérieur de conteneurs.
Étape 3 : Configurer les points de terminaison GPU cloud
Le kit a besoin des URL des points de terminaison GPU cloud dans .env. Vérifiez si .env existe et contient les points de terminaison Modal :
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Si les points de terminaison Modal sont configurés, vous êtes prêt. Sinon, demandez à l'utilisateur de fournir les URLs des points de terminaison Modal ou configurez Modal :
pip3 install --break-system-packages modal
python3 -m modal setup # Ouvre le navigateur pour l'authentification
# Déployer chaque outil — capturez l'URL du point de terminaison depuis la sortie
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # Nécessite : modal secret create huggingface-token HF_TOKEN=hf_...
Prérequis LTX-2 : Avant de déployer LTX-2, créez un secret HuggingFace et acceptez la licence Gemma 3 :
modal secret create huggingface-token HF_TOKEN=hf_votre_token_de_lecture
Ajoutez chaque URL à .env :
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
Optionnel mais recommandé — Cloudflare R2 pour un transfert de fichiers fiable :
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
Étape 4 : Vérification et test rapide
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Tous les outils devraient afficher [x]. Ensuite, exécutez un test rapide pour confirmer que le pipeline GPU fonctionne :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Bonjour, ceci est un test." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
Si vous obtenez un fichier .mp3 valide, la configuration est terminée. En cas d'échec, vérifiez :
.envcontient la bonneMODAL_QWEN3_TTS_ENDPOINT_URL- Exécutez
python3 tools/verify_setup.py --jsonet vérifiezmodal_toolspour savoir quels points de terminaison manquent
Coût : Modal inclut 30 $/mois de calcul gratuit. Une vidéo typique de 60 s coûte 1 à 3 $.
Créer une vidéo
Étape 1 : Créer un projet
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/NOM_DU_PROJET
cd projects/NOM_DU_PROJET
npm install
Modèles : product-demo (marketing/explicatif), sprint-review, sprint-review-v2 (scènes composables).
Étape 2 : Écrire la configuration
Modifiez projects/NOM_DU_PROJET/src/config/demo-config.ts :
export const demoConfig: ProductDemoConfig = {
product: {
name: 'Mon produit',
tagline: 'Ce qu'il fait en une ligne',
website: 'example.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
Types de scènes : title, problem, solution, demo, feature, stats, cta.
Règle de durée : Estimez durationSeconds comme ceil(nombre_de_mots / 2.5) + 2. Vous ajusterez cela après avoir généré l'audio à l'étape 4.
Étape 3 : Écrire le script de voix off
Créez projects/NOM_DU_PROJET/VOICEOVER-SCRIPT.md :
## Scène 1 : Titre (9s, ~17 mots)
Créez des vidéos avec l'IA. Le kit d'outils du produit nommé rend cela facile.
## Scène 2 : Problème (14s, ~30 mots)
L'énoncé du problème va ici. Gardez-le percutant et pertinent.
Budget de mots par scène : (durationSeconds - 2) * 2.5 mots. Le -2 tient compte du délai audio de 1 s + du padding de 1 s.
Étape 4 : Générer les actifs
CRITIQUE : Toutes les commandes ci-dessous DOIVENT être exécutées depuis la racine du kit, pas depuis le répertoire du projet.
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. Musique de fond
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/NOM_DU_PROJET/public/audio/bg-music.mp3 \
--cloud modal
Préréglages : corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. Voix off (par scène)
Généré UN fichier .mp3 PAR SCÈNE. Ne générez PAS un seul fichier de voix off.
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Scène 01
python3 tools/qwen3_tts.py \
--text "Le texte de voix off pour la scène une." \
--speaker Ryan --tone warm \
--output projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--cloud modal
# Scène 02
python3 tools/qwen3_tts.py \
--text "Le texte de voix off pour la scène deux." \
--speaker Ryan --tone warm \
--output projects/NOM_DU_PROJET/public/audio/scenes/02.mp3 \
--cloud modal
# ... répétez pour chaque scène
Intervenants : Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
Tons : neutral, warm, professional, excited, calm, serious, storyteller, tutorial
Pour le clonage vocal (nécessite un enregistrement de référence) :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "Texte à prononcer" \
--ref-audio assets/voices/reference.m4a \
--ref-text "Transcription exacte de l'audio de référence" \
--output projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--cloud modal
4c. Images de scène
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Fond tech sombre avec grille géométrique bleue, éclairage cinématographique" \
--width 1920 --height 1080 \
--output projects/NOM_DU_PROJET/public/images/title-bg.png \
--cloud modal
Préréglages d'image (utilisez --preset au lieu de --prompt --width --height) :
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/NOM_DU_PROJET/public/images/title-bg.png \
--cloud modal
4d. Clips vidéo — B-Roll & arrière-plans animés (optionnel)
Générez des clips vidéo IA pour les cutaways B-roll, les arrière-plans de diapositives animés, ou les séquences d'intro/outro :
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Clip B-roll à partir de texte
python3 tools/ltx2.py \
--prompt "Plan drone aérien au-dessus d'une ville européenne à l'heure dorée, grand angle cinématographique" \
--output projects/NOM_DU_PROJET/public/videos/broll-europe.mp4 \
--cloud modal
# Animer une diapositive/capture d'écran (image vers vidéo)
python3 tools/ltx2.py \
--prompt "Effets de particules douces, légers changements de lumière ambiante, très léger mouvement de caméra" \
--input projects/NOM_DU_PROJET/public/images/title-bg.png \
--output projects/NOM_DU_PROJET/public/videos/animated-title.mp4 \
--cloud modal
# Fond d'intro/outro abstrait
python3 tools/ltx2.py \
--prompt "Fond abstrait sombre et mystérieux avec des traînées de lumière bleue, particules bokeh, cinématographique" \
--output projects/NOM_DU_PROJET/public/videos/intro-bg.mp4 \
--cloud modal
Utilisez dans les compositions Remotion avec <OffthreadVideo> :
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
Règles LTX-2 :
- Max ~8 secondes par clip (193 images à 24 ips). Par défaut ~5 s (121 images).
- La largeur/hauteur doit être divisible par 64. Par défaut : 768x512.
- ~0,20-0,25 $ par clip, ~2,5 min de génération.
- Démarrage à froid ~60-90 s. Les clips suivants sur GPU chaud sont plus rapides.
- L'audio généré est ambiant uniquement — utilisez les outils de voix off/musique pour la parole et la musique.
- ~30% des générations peuvent avoir des artefacts de données d'entraînement (logos/texte). Réexécutez avec
--seedpour varier.
4e. Narrateur tête parlante (optionnel)
Générez un portrait du présentateur, puis animez des clips par scène :
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. Générer le portrait
python3 tools/flux2.py \
--prompt "Portrait de présentateur professionnel, style épuré, fond sombre, face caméra, buste" \
--width 1024 --height 576 \
--output projects/NOM_DU_PROJET/public/images/presenter.png \
--cloud modal
# 2. Générer des clips narrateur par scène (un par scène, PAS une longue vidéo)
python3 tools/sadtalker.py \
--image projects/NOM_DU_PROJET/public/images/presenter.png \
--audio projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/NOM_DU_PROJET/public/narrator-01.mp4 \
--cloud modal
# Répétez pour chaque scène qui nécessite un narrateur
Règles SadTalker — suivez-les exactement :
- Utilisez TOUJOURS
--preprocess full(lecroppar défaut produit un carré, mauvais rapport d'aspect) - Utilisez TOUJOURS
--still(réduit les mouvements de tête, aspect professionnel) - Générez TOUJOURS des clips par scène (6-15 s chacun), JAMAIS une longue vidéo
- Traitement : ~3-4 min pour 10 s d'audio sur Modal A10G
--expression-scale 0.8garde les expressions subtiles (plage 0.0-1.5)
4e. Édition d'image (optionnel)
Créez des variantes de scène à partir d'images existantes :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/NOM_DU_PROJET/public/images/title-bg.png \
--prompt "Rendre plus sombre avec des tons rouges, plus menaçant" \
--output projects/NOM_DU_PROJET/public/images/problem-bg.png \
--cloud modal
4f. Mise à l'échelle (optionnel)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/NOM_DU_PROJET/public/images/some-image.png \
--output projects/NOM_DU_PROJET/public/images/some-image-4x.png \
--scale 4 --cloud modal
Étape 5 : Synchronisation temporelle
FAITES TOUJOURS cela après avoir généré la voix off. La durée audio diffère des estimations.
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/NOM_DU_PROJET/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
Mettez à jour durationSeconds de chaque scène dans demo-config.ts avec : ceil(durée_audio_réelle + 2).
Exemple : si 01.mp3 fait 6,8 s, définissez durationSeconds de la scène 1 à 9 (ceil(6,8 + 2) = 9).
Étape 6 : Vérifier les images fixes
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOM_DU_PROJET
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
Vérifiez : troncature de texte, timing d'animation, positionnement PiP du narrateur, contraste de fond.
Étape 7 : Rendu
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOM_DU_PROJET
npm run render
Sortie : out/ProductDemo.mp4
Modèles de composition
Audio par scène
Utilisez l'audio par scène avec un délai de 1 seconde (from={30} = 30 images = 1 s à 30 ips) :
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
Narrateur PiP par scène
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
Utilisez TOUJOURS <OffthreadVideo>, JAMAIS <video>. Remotion nécessite son propre composant pour un rendu précis par image.
Transitions
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
N'importez JAMAIS depuis le baril lib/transitions — importez les transitions personnalisées directement depuis lib/transitions/presentations/.
Récupération d'erreur
| Problème | Solution |
|---|---|
| La commande d'outil échoue avec "No module named..." | Exécutez pip3 install --break-system-packages -r tools/requirements.txt depuis la racine du kit |
| "MODAL_*_ENDPOINT_URL not configured" | Vérifiez que .env contient l'URL du point de terminaison. Exécutez python3 tools/verify_setup.py |
| La sortie SadTalker est carrée/recadrée | Vous avez oublié --preprocess full. Réexécutez avec ce drapeau |
| Audio trop court/long pour la scène | Réexécutez l'étape 5 (synchronisation temporelle) et mettez à jour la configuration |
npm run render échoue | Assurez-vous d'être dans le répertoire du projet, pas à la racine du kit. Exécutez npm install d'abord |
| "Cannot find module" dans Remotion | Vérifiez les importations : importez les transitions personnalisées depuis lib/transitions/presentations/ directement, pas depuis le baril lib/transitions |
| La génération d'image contient des artefacts/logo | Réexécutez avec un --seed différent (par défaut 42). Essayez --seed 1234 |
| Les points de terminaison Modal sont lents (démarrage à froid) | Les fonctions Modal se mettent en veille après 5 min d'inactivité. Exécutez d'abord un appel de réchauffement avec un court test |
| R2 non configuré mais nécessaire | Les outils Modal échouent si le téléchargement de fichier dépasse ~5 Mo. Configurez R2 ou réduisez la taille/résolution de l'image |
Dépannage Modal
# Voir les journaux d'une fonction Modal
modal logs qwen3-tts
# Redémarrer une application Modal (vider le cache)
modal deploy docker/modal-qwen3-tts/app.py --redeploy
# Tester la connectivité du point de terminaison
curl -X POST $MODAL_QWEN3_TTS_ENDPOINT_URL -H "Content-Type: application/json" -d '{"text":"test"}'
# Voir l'état de tous les outils
python3 tools/verify_setup.py --json
Astuce : Si une fonction Modal est bloquée, attendez 5 min qu'elle expire ou redéployez avec --redeploy.
Flux de travail recommandé pour l'agent
- Demandez à l'utilisateur le sujet/script de la vidéo
- Exécutez
verify_setup.pypour confirmer que tout est opérationnel - Créez un nouveau projet à partir d'un modèle (
cp -r templates/product-demo projects/MAVIDEO) - Demandez ou générez le script de voix off texte
- Générez la musique de fond
- Générez les fichiers audio de voix off par scène (un par scène)
- Générez les images de fond par scène
- Mettez à jour les durées des scènes en fonction de la durée audio réelle (étape 5)
- (Optionnel) Générez le portrait du présentateur et les clips vidéo du narrateur
- Examinez les images fixes du rendu (étape 6)
- Lancez le rendu final (étape 7)
- Montrez le fichier de sortie
out/ProductDemo.mp4à l'utilisateur