Video Toolkit
Créez des vidéos explicatives professionnelles à partir d'un brief textuel. La trousse à outils utilise des modèles d'IA open source sur des GPU cloud (Modal ou RunPod) pour la voix off, la génération d'images, la musique et l'animation de têtes parlantes. Remotion (React) gère la composition et le rendu.
CRITIQUE : Chemin de la trousse à outils
La trousse à outils se trouve à un chemin fixe. ALLEZ TOUJOURS dans cd ici avant d'exécuter toute commande d'outil.
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
N'exécutez JAMAIS les commandes d'outil depuis l'intérieur d'un répertoire de projet. Les outils résolvent les chemins par rapport à la racine de la trousse à outils.
Configuration
Étape 1 : Vérifier l'état actuel
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Si tout affiche [x], passez à "Test rapide" ci-dessous. Sinon, continuez la configuration.
Étape 2 : Installer les dépendances Python
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
Remarque : --break-system-packages est nécessaire sur Debian/Ubuntu avec Python géré (PEP 668). Sans danger à l'intérieur des conteneurs.
Étape 3 : Configurer les points de terminaison GPU cloud
La trousse à outils a besoin des URL des points de terminaison GPU cloud dans .env. Vérifiez si .env existe et a les points de terminaison Modal :
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Si les points de terminaison Modal sont configurés, vous êtes prêt. Sinon, demandez à l'utilisateur de fournir les URL des points de terminaison Modal ou configurez Modal :
pip3 install --break-system-packages modal
python3 -m modal setup # Ouvre le navigateur pour l'authentification
# Déployez chaque outil — capturez l'URL du point de terminaison à partir de la sortie
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # Nécessite : modal secret create huggingface-token HF_TOKEN=hf_...
Prérequis LTX-2 : Avant de déployer LTX-2, créez un secret HuggingFace et acceptez la licence Gemma 3 :
modal secret create huggingface-token HF_TOKEN=hf_your_read_access_token
Ajoutez chaque URL à .env :
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
Facultatif mais recommandé — Cloudflare R2 pour un transfert de fichiers fiable :
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
Étape 4 : Vérifier et test rapide
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Tous les outils doivent afficher [x]. Ensuite, exécutez un test rapide pour confirmer que le pipeline GPU fonctionne :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Bonjour, ceci est un test." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
Si vous obtenez un fichier .mp3 valide, la configuration est terminée. En cas d'échec, vérifiez :
.enva le bonMODAL_QWEN3_TTS_ENDPOINT_URL- Exécutez
python3 tools/verify_setup.py --jsonet vérifiezmodal_toolspour les points de terminaison manquants
Coût : Modal comprend 30 $/mois de calcul gratuit. Une vidéo typique de 60 s coûte 1 à 3 $.
Création d'une vidéo
Étape 1 : Créer un projet
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/NOM_DU_PROJET
cd projects/NOM_DU_PROJET
npm install
Modèles : product-demo (marketing/explicatif), sprint-review, sprint-review-v2 (scènes composables).
Étape 2 : Écrire la configuration
Modifiez projects/NOM_DU_PROJET/src/config/demo-config.ts :
export const demoConfig: ProductDemoConfig = {
product: {
name: 'Mon produit',
tagline: 'Ce qu'il fait en une ligne',
website: 'example.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
Types de scènes : title, problem, solution, demo, feature, stats, cta.
Règle de durée : Estimez durationSeconds comme ceil(word_count / 2.5) + 2. Vous ajusterez cela après avoir généré l'audio à l'étape 4.
Étape 3 : Écrire le script de voix off
Créez projects/NOM_DU_PROJET/VOICEOVER-SCRIPT.md :
## Scène 1 : Titre (9s, ~17 mots)
Créez des vidéos avec l'IA. La trousse à outils du nom du produit facilite les choses.
## Scène 2 : Problème (14s, ~30 mots)
L'énoncé du problème va ici. Gardez-le percutant et pertinent.
Budget de mots par scène : (durationSeconds - 2) * 2.5 mots. Le -2 tient compte du délai audio de 1 s + du remplissage de 1 s.
Étape 4 : Générer les ressources
CRITIQUE : Toutes les commandes ci-dessous DOIVENT être exécutées depuis la racine de la trousse à outils, pas depuis le répertoire du projet.
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. Musique de fond
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/NOM_DU_PROJET/public/audio/bg-music.mp3 \
--cloud modal
Préréglages : corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. Voix off (par scène)
Générez un fichier .mp3 PAR SCÈNE. Ne générez PAS un seul fichier de voix off.
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Scène 01
python3 tools/qwen3_tts.py \
--text "Le texte de la voix off pour la scène un." \
--speaker Ryan --tone warm \
--output projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--cloud modal
# Scène 02
python3 tools/qwen3_tts.py \
--text "Le texte de la voix off pour la scène deux." \
--speaker Ryan --tone warm \
--output projects/NOM_DU_PROJET/public/audio/scenes/02.mp3 \
--cloud modal
# ... répétez pour chaque scène
Locuteurs : Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
Tonalités : neutral, warm, professional, excited, calm, serious, storyteller, tutorial
Pour le clonage vocal (nécessite un enregistrement de référence) :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "Texte à prononcer" \
--ref-audio assets/voices/reference.m4a \
--ref-text "Transcription exacte de l'audio de référence" \
--output projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--cloud modal
4c. Images de scène
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Fond tech sombre avec grille géométrique bleue, éclairage cinématographique" \
--width 1920 --height 1080 \
--output projects/NOM_DU_PROJET/public/images/title-bg.png \
--cloud modal
Préréglages d'image (utilisez --preset au lieu de --prompt --width --height) :
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/NOM_DU_PROJET/public/images/title-bg.png \
--cloud modal
4d. Clips vidéo — B-Roll & arrière-plans animés (facultatif)
Générez des clips vidéo IA pour les coupures b-roll, les arrière-plans de diapositives animés ou les séquences d'intro/outro :
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Clip b-roll à partir de texte
python3 tools/ltx2.py \
--prompt "Plan aérien drone au-dessus d'une ville européenne à l'heure dorée, grand angle cinématographique" \
--output projects/NOM_DU_PROJET/public/videos/broll-europe.mp4 \
--cloud modal
# Animer une diapositive/capture d'écran (image vers vidéo)
python3 tools/ltx2.py \
--prompt "Effets de particules douces, légers changements de lumière ambiante, très léger mouvement de caméra" \
--input projects/NOM_DU_PROJET/public/images/title-bg.png \
--output projects/NOM_DU_PROJET/public/videos/animated-title.mp4 \
--cloud modal
# Arrière-plan abstrait d'intro/outro
python3 tools/ltx2.py \
--prompt "Arrière-plan abstrait sombre et mystérieux avec des traînées de lumière bleue fluides, particules de bokeh, cinématographique" \
--output projects/NOM_DU_PROJET/public/videos/intro-bg.mp4 \
--cloud modal
Utilisez dans les compositions Remotion avec <OffthreadVideo> :
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
Règles LTX-2 :
- Max ~8 secondes par clip (193 images à 24 ips). La valeur par défaut est d'environ 5 s (121 images).
- La largeur/hauteur doit être divisible par 64. Par défaut : 768x512.
- ~0,20-0,25 $ par clip, ~2,5 min de temps de génération.
- Démarrage à froid ~60-90s. Les clips suivants sur GPU chaud sont plus rapides.
- L'audio généré est uniquement ambiant — utilisez les outils de voix off/musique pour la parole et la musique.
- ~30% des générations peuvent avoir des artefacts de données d'entraînement (logos/texte). Réexécutez avec
--seedpour varier.
4e. Narrateur à tête parlante (facultatif)
Générez un portrait du présentateur, puis animez des clips par scène :
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. Générer le portrait
python3 tools/flux2.py \
--prompt "Portrait professionnel de présentateur, style propre, fond sombre, face caméra, buste" \
--width 1024 --height 576 \
--output projects/NOM_DU_PROJET/public/images/presenter.png \
--cloud modal
# 2. Générer des clips narrateur par scène (un par scène, PAS une seule longue vidéo)
python3 tools/sadtalker.py \
--image projects/NOM_DU_PROJET/public/images/presenter.png \
--audio projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/NOM_DU_PROJET/public/narrator-01.mp4 \
--cloud modal
# Répétez pour chaque scène qui nécessite un narrateur
Règles SadTalker — suivez-les exactement :
- TOUJOURS utiliser
--preprocess full(par défautcropdonne un carré, mauvais rapport hauteur/largeur) - TOUJOURS utiliser
--still(réduit les mouvements de tête, semble professionnel) - TOUJOURS générer des clips par scène (6-15 s chacun), JAMAIS une seule vidéo longue
- Traitement : ~3-4 min pour 10 s d'audio sur Modal A10G
--expression-scale 0.8garde les expressions subtiles (plage 0,0-1,5)
4e. Édition d'images (facultatif)
Créez des variantes de scène à partir d'images existantes :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/NOM_DU_PROJET/public/images/title-bg.png \
--prompt "Rendez-le plus sombre avec des tons rouges, plus menaçant" \
--output projects/NOM_DU_PROJET/public/images/problem-bg.png \
--cloud modal
4f. Mise à l'échelle (facultatif)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/NOM_DU_PROJET/public/images/some-image.png \
--output projects/NOM_DU_PROJET/public/images/some-image-4x.png \
--scale 4 --cloud modal
Étape 5 : Synchroniser le timing
FAITES TOUJOURS cela après avoir généré la voix off. La durée audio diffère des estimations.
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/NOM_DU_PROJET/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
Mettez à jour durationSeconds de chaque scène dans demo-config.ts pour : ceil(durée_audio_réelle + 2).
Exemple : si 01.mp3 dure 6,8 s, définissez durationSeconds de la scène 1 sur 9 (ceil(6,8 + 2) = 9).
Étape 6 : Réviser les images fixes
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOM_DU_PROJET
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
Vérifiez : troncature de texte, timing d'animation, positionnement PiP du narrateur, contraste de fond.
Étape 7 : Rendu
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOM_DU_PROJET
npm run render
Sortie : out/ProductDemo.mp4
Modèles de composition
Audio par scène
Utilisez l'audio par scène avec un délai de 1 seconde (from={30} = 30 images = 1 s à 30 ips) :
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
PiP du narrateur par scène
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
TOUJOURS utiliser <OffthreadVideo>, JAMAIS <video>. Remotion nécessite son propre composant pour un rendu image par image précis.
Transitions
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
N'importez JAMAIS depuis le dossier lib/transitions — importez les transitions personnalisées directement depuis lib/transitions/presentations/.
Récupération d'erreurs
| Problème | Solution |
|---|---|
| La commande de l'outil échoue avec "No module named..." | Exécutez pip3 install --break-system-packages -r tools/requirements.txt depuis la racine de la trousse à outils |
| "MODAL_*_ENDPOINT_URL non configuré" | Vérifiez que .env a l'URL du point de terminaison. Exécutez python3 tools/verify_setup.py |
| La sortie de SadTalker est carrée/recadrée | Vous avez oublié --preprocess full. Réexécutez avec cet indicateur |
| L'audio trop court/trop long pour la scène | Réexécutez l'étape 5 (synchronisation du timing) et mettez à jour la configuration |
npm run render échoue | Assurez-vous d'être dans le répertoire du projet, pas à la racine de la trousse à outils. Exécutez d'abord npm install |
| "Cannot find module" dans Remotion | Vérifiez les importations. Assurez-vous que npm install a été exécuté dans le répertoire du projet |
| La génération d'image ne correspond pas à la scène | Modifiez le prompt et réexécutez. Utilisez --preset pour des styles cohérents |
| La voix off semble robotique | Essayez un autre locuteur (Vivian, Serena) ou une autre tonalité (storyteller, tutorial) |
| Le déploiement Modal échoue | Vérifiez modal token set ou réexécutez python3 -m modal setup |
| LTX-2 échec silencieux | Assurez-vous que le secret HuggingFace est créé et que la licence Gemma 3 est acceptée dans le navigateur |
Commandes rapides
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Vérifier l'état
echo "=== Vérifier l'état de la trousse à outils ==="
python3 tools/verify_setup.py
# Générer la musique
echo "=== Générer la musique de fond ==="
python3 tools/music_gen.py --preset corporate-bg --duration 90 --output projects/NOM_DU_PROJET/public/audio/bg-music.mp3 --cloud modal
# Générer la voix off (par scène)
echo "=== Générer la voix off, scène 1 ==="
python3 tools/qwen3_tts.py --text "Texte de la scène 1 ici." --speaker Ryan --tone warm --output projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 --cloud modal
# Générer l'image
echo "=== Générer l'image de fond ==="
python3 tools/flux2.py --preset title-bg --output projects/NOM_DU_PROJET/public/images/title-bg.png --cloud modal
# Synchroniser le timing
echo "=== Synchroniser le timing de la voix off ==="
for f in projects/NOM_DU_PROJET/public/audio/scenes/*.mp3; do echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"; done
# Rendu
echo "=== Rendre la vidéo ==="
cd projects/NOM_DU_PROJET && npm run render
Remarque sur les noms des modèles : Cette trousse à outils utilise qwen3_tts (synthèse vocale), flux2 (génération d'images), ltx2 (génération vidéo). Consultez la documentation des modèles pour les mises à jour de compatibilité.