Video Toolkit
Créez des vidéos explicatives professionnelles à partir d'un brief textuel. Le kit d'outils utilise des modèles d'IA open source sur des GPU cloud (Modal ou RunPod) pour la voix off, la génération d'images, la musique et l'animation de têtes parlantes. Remotion (React) gère la composition et le rendu.
CRITIQUE : Chemin du kit d'outils
Le kit d'outils se trouve à un chemin fixe. TOUJOURS faire cd ici avant d'exécuter une commande d'outil.
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
NE JAMAIS exécuter de commandes d'outils depuis l'intérieur d'un répertoire de projet. Les outils résolvent les chemins de manière relative à la racine du kit d'outils.
Configuration
Étape 1 : Vérifier l'état actuel
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Si tout affiche [x], passez à « Test rapide » ci-dessous. Sinon, continuez la configuration.
Étape 2 : Installer les dépendances Python
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
Remarque : --break-system-packages est nécessaire sur Debian/Ubuntu avec Python géré (PEP 668). Sans danger dans les conteneurs.
Étape 3 : Configurer les points de terminaison GPU cloud
Le kit d'outils a besoin des URL de points de terminaison GPU cloud dans .env. Vérifiez si .env existe et contient les points de terminaison Modal :
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Si les points de terminaison Modal sont configurés, vous êtes prêt. Sinon, demandez à l'utilisateur de fournir les URL des points de terminaison Modal ou configurez Modal :
pip3 install --break-system-packages modal
python3 -m modal setup # Ouvre le navigateur pour l'authentification
# Déployez chaque outil — capturez l'URL du point de terminaison à partir de la sortie
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # Nécessite : modal secret create huggingface-token HF_TOKEN=hf_...
Prérequis LTX-2 : Avant de déployer LTX-2, créez un secret HuggingFace et acceptez la licence Gemma 3 :
modal secret create huggingface-token HF_TOKEN=hf_votre_token_de_lecture
Ajoutez chaque URL au fichier .env :
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
Optionnel mais recommandé — Cloudflare R2 pour un transfert de fichiers fiable :
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
Étape 4 : Vérification et test rapide
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Tous les outils doivent afficher [x]. Ensuite, exécutez un test rapide pour confirmer que le pipeline GPU fonctionne :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Bonjour, ceci est un test." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
Si vous obtenez un fichier .mp3 valide, la configuration est terminée. En cas d'échec, vérifiez :
- Le fichier
.envcontient le bonMODAL_QWEN3_TTS_ENDPOINT_URL - Exécutez
python3 tools/verify_setup.py --jsonet vérifiezmodal_toolspour savoir quels points de terminaison manquent
Coût : Modal inclut 30 $/mois de calcul gratuit. Une vidéo typique de 60 s coûte entre 1 et 3 $.
Créer une vidéo
Étape 1 : Créer le projet
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/NOM_DU_PROJET
cd projects/NOM_DU_PROJET
npm install
Modèles : product-demo (marketing/explicatif), sprint-review, sprint-review-v2 (scènes composables).
Étape 2 : Écrire la configuration
Modifiez projects/NOM_DU_PROJET/src/config/demo-config.ts :
export const demoConfig: ProductDemoConfig = {
product: {
name: 'Mon Produit',
tagline: 'Ce qu'il fait en une ligne',
website: 'exemple.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
Types de scènes : title, problem, solution, demo, feature, stats, cta.
Règle de durée : Estimez durationSeconds comme ceil(nombre_mots / 2.5) + 2. Vous ajusterez cela après avoir généré l'audio à l'étape 4.
Étape 3 : Rédiger le script de voix off
Créez projects/NOM_DU_PROJET/VOICEOVER-SCRIPT.md :
## Scène 1 : Titre (9s, ~17 mots)
Créez des vidéos avec l'IA. Le kit d'outils facilite la tâche.
## Scène 2 : Problème (14s, ~30 mots)
L'énoncé du problème va ici. Soyez percutant et accessible.
Budget de mots par scène : (durationSeconds - 2) * 2.5 mots. Le -2 tient compte d'un délai audio de 1 s + d'un tampon de 1 s.
Étape 4 : Générer les actifs
CRITIQUE : Toutes les commandes ci-dessous DOIVENT être exécutées depuis la racine du kit d'outils, pas depuis le répertoire du projet.
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. Musique de fond
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/NOM_DU_PROJET/public/audio/bg-music.mp3 \
--cloud modal
Préréglages : corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. Voix off (par scène)
Générez UN fichier .mp3 PAR SCÈNE. Ne générez PAS un seul fichier de voix off.
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Scène 01
python3 tools/qwen3_tts.py \
--text "Le texte de la voix off pour la scène une." \
--speaker Ryan --tone warm \
--output projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--cloud modal
# Scène 02
python3 tools/qwen3_tts.py \
--text "Le texte de la voix off pour la scène deux." \
--speaker Ryan --tone warm \
--output projects/NOM_DU_PROJET/public/audio/scenes/02.mp3 \
--cloud modal
# ... répétez pour chaque scène
Intervenants : Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
Tons : neutral, warm, professional, excited, calm, serious, storyteller, tutorial
Pour le clonage vocal (nécessite un enregistrement de référence) :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "Texte à prononcer" \
--ref-audio assets/voices/reference.m4a \
--ref-text "Transcription exacte de l'audio de référence" \
--output projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--cloud modal
4c. Images de scène
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Arrière-plan technologique sombre avec grille géométrique bleue, éclairage cinématographique" \
--width 1920 --height 1080 \
--output projects/NOM_DU_PROJET/public/images/title-bg.png \
--cloud modal
Préréglages d'image (utilisez --preset au lieu de --prompt --width --height) :
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/NOM_DU_PROJET/public/images/title-bg.png \
--cloud modal
4d. Clips vidéo — B-Roll et arrière-plans animés (optionnel)
Générez des clips vidéo IA pour des coupures B-roll, des arrière-plans de diapositives animés ou des séquences d'intro/outro :
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Clip B-roll à partir de texte
python3 tools/ltx2.py \
--prompt "Plan aérien par drone au-dessus d'une ville européenne à l'heure dorée, grand angle cinématographique" \
--output projects/NOM_DU_PROJET/public/videos/broll-europe.mp4 \
--cloud modal
# Animer une diapositive/capture d'écran (image vers vidéo)
python3 tools/ltx2.py \
--prompt "Effets de particules doux, légers décalages de lumière ambiante, très léger mouvement de caméra" \
--input projects/NOM_DU_PROJET/public/images/title-bg.png \
--output projects/NOM_DU_PROJET/public/videos/animated-title.mp4 \
--cloud modal
# Arrière-plan d'intro/outro abstrait
python3 tools/ltx2.py \
--prompt "Arrière-plan abstrait sombre et atmosphérique avec des traînées de lumière bleue qui coulent, particules de bokeh, cinématographique" \
--output projects/NOM_DU_PROJET/public/videos/intro-bg.mp4 \
--cloud modal
Utilisation dans les compositions Remotion avec <OffthreadVideo> :
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
Règles LTX-2 :
- Maximum ~8 secondes par clip (193 images à 24 ips). La valeur par défaut est ~5s (121 images).
- La largeur/hauteur doit être divisible par 64. Valeur par défaut : 768x512.
- ~0,20-0,25 $ par clip, ~2,5 min de temps de génération.
- Démarrage à froid ~60-90 s. Les clips suivants sur GPU chaud sont plus rapides.
- L'audio généré est uniquement ambiant — utilisez les outils de voix off/musique pour la parole et la musique.
- ~30 % des générations peuvent présenter des artefacts de données d'entraînement (logos/texte). Relancez avec
--seedpour varier.
4e. Narrateur tête parlante (optionnel)
Générez un portrait du présentateur, puis animez des clips par scène :
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. Générer le portrait
python3 tools/flux2.py \
--prompt "Portrait de présentateur professionnel, style sobre, arrière-plan sombre, face à la caméra, buste" \
--width 1024 --height 576 \
--output projects/NOM_DU_PROJET/public/images/presenter.png \
--cloud modal
# 2. Générer des clips narrateur par scène (un par scène, PAS une seule longue vidéo)
python3 tools/sadtalker.py \
--image projects/NOM_DU_PROJET/public/images/presenter.png \
--audio projects/NOM_DU_PROJET/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/NOM_DU_PROJET/public/narrator-01.mp4 \
--cloud modal
# Répétez pour chaque scène nécessitant un narrateur
Règles SadTalker — suivez-les exactement :
- TOUJOURS utiliser
--preprocess full(par défautcropproduit une image carrée, mauvais rapport hauteur/largeur) - TOUJOURS utiliser
--still(réduit les mouvements de tête, rendu professionnel) - TOUJOURS générer des clips par scène (6-15 s chacun), JAMAIS une seule longue vidéo
- Traitement : ~3-4 min pour 10 s d'audio sur Modal A10G
--expression-scale 0.8garde les expressions subtiles (plage 0.0-1.5)
4f. Édition d'image (optionnel)
Créez des variantes de scène à partir d'images existantes :
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/NOM_DU_PROJET/public/images/title-bg.png \
--prompt "Rendre plus sombre avec des tons rouges, plus menaçant" \
--output projects/NOM_DU_PROJET/public/images/problem-bg.png \
--cloud modal
4g. Mise à l'échelle (optionnel)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/NOM_DU_PROJET/public/images/some-image.png \
--output projects/NOM_DU_PROJET/public/images/some-image-4x.png \
--scale 4 --cloud modal
Étape 5 : Synchronisation temporelle
TOUJOURS faire cela après avoir généré la voix off. La durée audio diffère des estimations.
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/NOM_DU_PROJET/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
Mettez à jour durationSeconds de chaque scène dans demo-config.ts à : ceil(durée_audio_réelle + 2).
Exemple : si 01.mp3 dure 6,8 s, définissez durationSeconds de la scène 1 sur 9 (ceil(6,8 + 2) = 9).
Étape 6 : Vérifier les images fixes
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOM_DU_PROJET
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
Vérifiez : troncature de texte, timing des animations, positionnement PiP du narrateur, contraste de l'arrière-plan.
Étape 7 : Rendu
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOM_DU_PROJET
npm run render
Sortie : out/ProductDemo.mp4
Modèles de composition
Audio par scène
Utilisez l'audio par scène avec un délai d'1 seconde (from={30} = 30 images = 1 s à 30 ips) :
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
PiP narrateur par scène
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
TOUJOURS utiliser <OffthreadVideo>, JAMAIS <video>. Remotion nécessite son propre composant pour un rendu image par image précis.
Transitions
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
NE JAMAIS importer depuis le barrel lib/transitions — importez les transitions personnalisées depuis lib/transitions/presentations/ directement.
Récupération d'erreur
| Problème | Solution |
|---|---|
| La commande de l'outil échoue avec « No module named... » | Exécutez pip3 install --break-system-packages -r tools/requirements.txt depuis la racine du kit d'outils |
| « MODAL_*_ENDPOINT_URL not configured » | Vérifiez que .env contient l'URL du point de terminaison. Exécutez python3 tools/verify_setup.py |
| La sortie de SadTalker est carrée/recadrée | Vous avez oublié --preprocess full. Relancez avec cet indicateur |
| Audio trop court/long pour la scène | Relancez l'étape 5 (synchronisation temporelle) et mettez à jour la configuration |
npm run render échoue | Assurez-vous d'être dans le répertoire du projet, pas la racine du kit d'outils. Exécutez npm install d'abord |
| « Cannot find module » dans Remotion | Vérifiez les importations — en particulier les transitions. Importez depuis presentations/ directement |
| Les images LTX-2 contiennent des artefacts | Relancez avec --seed-12345 (un nombre entier) pour obtenir des résultats différents |
| Le déploiement Modal donne une erreur 401 | Exécutez python3 -m modal token set --token-id ... --token-secret ... ou reconnectez-vous avec modal setup |
Workflow recommandé
- D'abord le script : Rédigez
VOICEOVER-SCRIPT.mdavec les budgets de mots pour chaque scène - D'abord la musique, ensuite la voix : Générez la musique de fond, puis les fichiers audio de voix off par scène
- Images après l'audio : Utilisez le thème et le ton de la voix off pour guider les prompts de génération d'images (par exemple, un ton « dramatique » devrait produire des images plus sombres et contrastées)
- Ajustement final des durées : Synchronisez toujours les durées après l'audio (étape 5) avant de vérifier les images fixes ou le rendu
- Rendu sur GPU froid : Le premier rendu Remotion après l'installation peut prendre un certain temps pour la compilation Webpack ; les rendus suivants utilisent le cache