Compétence de génération vidéo
Générer des vidéos avec l'IA (Google Veo 3.1, OpenAI Sora).
Capacités :
- 🎬 Texte-vers-vidéo : Créer des vidéos à partir de descriptions textuelles
- 🖼️ Image-vers-vidéo : Animer des images comme première image
- 🔊 Génération audio : Dialogues, effets sonores, ambiances (Veo 3+)
- 🎭 Images de référence : Guider le contenu vidéo avec jusqu'à 3 images de référence (Veo 3.1)
Prérequis
Par défaut : Vertex AI (10 requêtes/minute) ⭐
Vertex AI est le backend par défaut avec des limites de débit 1400 fois plus élevées :
# 1. Définir votre projet
export GOOGLE_CLOUD_PROJECT=your-project-id
# 2. S'authentifier (ouvre le navigateur)
gcloud auth application-default login
# 3. Activer l'API (une fois)
gcloud services enable aiplatform.googleapis.com
Ajoutez à votre fichier .env :
GOOGLE_CLOUD_PROJECT=your-project-id
GOOGLE_CLOUD_LOCATION=us-central1
Solution de repli : AI Studio (10 requêtes/jour)
À utiliser uniquement si vous n'avez pas de projet GCP :
GOOGLE_API_KEY- Obtenez-la depuis https://aistudio.google.com/apikey
Pour Sora (OpenAI)
OPENAI_API_KEY- Pour OpenAI Sora
Modèles disponibles
Modèles Google Veo
| Modèle | Description | Idéal pour |
|---|---|---|
veo-3.1 | Qualité la plus élevée (par défaut) | Vidéos professionnelles, dialogues, images de référence |
veo-3.1-fast | Traitement plus rapide | Itérations rapides, génération par lots |
Les deux modèles incluent :
- Résolution 720p/1080p
- Durée de 4, 6 ou 8 secondes
- Audio natif (dialogues, SFX, ambiance)
- Image-vers-vidéo (animer des images)
- Images de référence (jusqu'à 3)
- Extension vidéo
- Génération par lots/parallèle
OpenAI Sora
- Idéal pour : Vidéos créatives, qualité cinématographique, mouvements complexes
- Résolutions : 480p, 720p, 1080p
- Durées : 5s, 10s, 15s, 20s
- Fonctionnalités : Texte-vers-vidéo, image-vers-vidéo
Flux de travail
Étape 1 : Recueillir les besoins (OBLIGATOIRE)
⚠️ Utilisez un questionnement interactif — posez UNE question à la fois.
Déroulement des questions
⚠️ Utilisez l'outil AskUserQuestion pour chaque question ci-dessous. N'imprimez pas simplement les questions dans votre réponse — utilisez l'outil pour créer des invites interactives avec les options affichées.
Q1 : Image
"Je vais générer cette vidéo pour vous ! D'abord — avez-vous une image à animer ?
- Oui (fournissez le chemin — je l'utiliserai comme première image)
- Non, générer à partir de zéro"
Attendez la réponse.
Q2 : Audio
"Quelle préférence audio ?
- Avec audio (par défaut) — Veo 3.1 génère dialogues, SFX, ambiance
- Vidéo silencieuse — pas d'audio"
Attendez la réponse.
Q3 : Modèle
"Quel modèle souhaitez-vous ?
veo-3.1— Dernier, qualité la plus élevée avec audio (par défaut)veo-3.1-fast— Traitement plus rapide avec audioveo-3/veo-3-fast— Génération précédente avec audiosora— OpenAI, jusqu'à 20 secondes, pas d'audio"
Attendez la réponse.
Q4 : Durée
"Quelle durée ?
- 4 secondes
- 6 secondes
- 8 secondes (par défaut)"
Attendez la réponse.
Q5 : Format
"Quel rapport hauteur/largeur et résolution ?
- 16:9 paysage, 720p
- 16:9 paysage, 1080p
- 9:16 portrait, 720p
- 9:16 portrait, 1080p
- Ou spécifiez"
Attendez la réponse.
Référence rapide
| Question | Détermine |
|---|---|
| Image | Image-vers-vidéo vs texte-vers-vidéo |
| Audio | Avec/sans génération audio |
| Modèle | Compromis qualité/vitesse |
| Durée | Longueur du clip |
| Format | Rapport hauteur/largeur et résolution |
Étape 2 : Élaborer l'invite
Transformez la demande de l'utilisateur en une invite vidéo efficace :
- Décrivez la scène : Définissez le contexte visuel
- Spécifiez l'action : Ce qui bouge, change, se produit
- Ajoutez le travail de caméra : "ralenti panoramique", "plan de suivi", "plan travelling"
- Ajoutez des indices audio (Veo 3+) : Utilisez des guillemets pour les dialogues, décrivez les sons
- Définissez l'ambiance : Éclairage, atmosphère, moment de la journée
Exemple avec dialogue (Veo 3.1) :
- Utilisateur : "une personne découvre un trésor"
- Améliorée : "Gros plan sur le visage d'un chasseur de trésors alors que la lumière d'une torche vacille. Il murmure 'Ça doit être là...' tout en brossant la poussière d'un coffre ancien. Bruit de charnières qui grincent lorsqu'il l'ouvre, révélant une lumière dorée sur son visage émerveillé. Cinématographique, ombres dramatiques."
Exemple sans dialogue :
- Utilisateur : "un chien courant sur une plage"
- Améliorée : "Plan cinématographique au ralenti d'un golden retriever courant joyeusement le long d'une plage au coucher du soleil, vagues qui clapotent, éclairage chaud de l'heure dorée, faible profondeur de champ"
Étape 3 : Sélectionner le modèle
Par défaut : veo-3.1 (qualité la plus élevée, avec audio)
| Cas d'utilisation | Modèle recommandé | Raison |
|---|---|---|
| Meilleure qualité | veo-3.1 (par défaut) | Qualité la plus élevée, audio |
| Itération rapide | veo-3.1-fast | Traitement plus rapide |
| Génération par lots | veo-3.1-fast | La vitesse compte pour plusieurs clips |
| Vidéos plus longues (>8s) | sora | Prend en charge jusqu'à 20s |
Étape 4 : Générer la vidéo
Exécutez le script approprié depuis ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/ :
Pour Google Veo 3.1 (par défaut, avec audio) :
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "votre invite améliorée avec 'dialogue entre guillemets'" \
--model "veo-3.1" \
--duration 8 \
--aspect-ratio "16:9" \
--resolution "720p"
Pour Google Veo 3.1 avec entrée image :
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "Le chat ouvre lentement les yeux et bâille" \
--image "/chemin/vers/chat.jpg" \
--model "veo-3.1" \
--duration 8
Pour une génération plus rapide :
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "votre invite" \
--model "veo-3.1-fast"
Pour OpenAI Sora (vidéos plus longues) :
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/sora.py \
--prompt "votre invite améliorée" \
--duration 20 \
--resolution "1080p"
Lister les modèles disponibles :
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py --list-models
Extension vidéo (Pour la continuité des longs métrages)
Le drapeau --extend crée une VRAIE continuité visuelle en continuant à partir de l'endroit où une vidéo Veo précédente s'est terminée. C'est la meilleure approche pour les vidéos de longue durée.
Extension de base :
# D'abord, générer le clip initial
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--prompt "Une personne marche dans une forêt au lever du soleil" \
--duration 8
# L'étendre avec un nouveau contenu (ajoute ~7 secondes)
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--extend veo_veo-3.1_20260104_120000.mp4 \
--prompt "Continuer à marcher, découvrir un ruisseau caché"
Extensions multiples (pour des vidéos plus longues) :
# Étendre 5 fois (ajoute ~35 secondes de continuation)
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--extend initial_clip.mp4 \
--prompt "Continuez à explorer la forêt, rencontrez la faune" \
--extend-times 5
Extension vs Assemblage :
| Approche | Résultat | Cas d'utilisation |
|---|---|---|
| Extension | Vraie continuité, mêmes personnages/scène | Plans continus longs |
| Assemblage | Clips séparés avec transitions | Changements de scène, montages |
Limites de l'extension :
- La vidéo d'entrée doit être générée par Veo (max 141 secondes)
- Chaque extension ajoute ~7 secondes
- Maximum de 20 extensions au total (~2,5 minutes)
- La résolution de sortie est 720p
Génération par lots (Parallèle)
Générez plusieurs vidéos simultanément pour des flux de travail multi-scènes plus rapides. Au lieu d'attendre 15+ minutes pour 5 vidéos séquentielles, générez-les toutes en parallèle (~3 minutes au total).
Créez un fichier scenes.json :
[
{"prompt": "Scène 1 : Plan héroïque cinématographique d'écouteurs sans fil sur une surface sombre", "duration": 6, "output": "scene1_hero.mp4"},
{"prompt": "Scène 2 : Visualisation des ondes sonores, personne écoutant de la musique", "duration": 8, "output": "scene2_sound.mp4"},
{"prompt": "Scène 3 : Gros plan de l'écouteur dans l'oreille, personne faisant de l'exercice", "duration": 8, "output": "scene3_comfort.mp4"},
{"prompt": "Scène 4 : Montage lifestyle, divers contextes", "duration": 8, "output": "scene4_lifestyle.mp4"},
{"prompt": "Scène 5 : Produit avec logo sur fond neutre", "duration": 4, "output": "scene5_cta.mp4"}
]
Générez toutes les scènes en parallèle :
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--batch scenes.json
Avec un nombre de workers personnalisé :
python3 ${CLAUDE_PLUGIN_ROOT}/skills/video-generation/scripts/veo.py \
--batch scenes.json \
--max-workers 3
Options de configuration du lot par vidéo :
| Option | Description | Par défaut |
|---|---|---|
prompt | Description de la vidéo (obligatoire) | - |
model | veo-3.1, veo-3.1-fast, etc. | veo-3.1 |
duration | 4, 6 ou 8 secondes | 8 |
aspect_ratio | "16:9" ou "9:16" | "16:9" |
resolution | "720p" ou "1080p" | "720p" |
image | Chemin de l'image pour image-vers-vidéo | - |
negative_prompt | Ce qu'il faut éviter | - |
output | Nom de fichier de sortie personnalisé | généré automatiquement |
Comparaison de vitesse :
| Scènes | Séquentiel | Parallèle (5 workers) | Accélération |
|---|---|---|---|
| 3 | ~9 min | ~3 min | 3x |
| 5 | ~15 min | ~3 min | 5x |
| 10 | ~30 min | ~6 min | 5x |
Étape 5 : Fournir le résultat
- Fournissez le fichier/URL de la vidéo générée
- Partagez l'invite améliorée utilisée
- Mentionnez les paramètres de génération (durée, résolution)
- Proposez de :
- Générer des variations
- Essayer un style/une durée différent
- Utiliser une API différente
- Étendre la vidéo
Gestion des erreurs
Clé API manquante : Informez l'utilisateur de la clé nécessaire :
- OpenAI : https://platform.openai.com/api-keys
- Google : https://aistudio.google.com/apikey
Violation de la politique de contenu : Reformulez l'invite de manière appropriée.
Échec de la génération : Réessayez avec une invite simplifiée ou une API différente.
Quota dépassé : Suggérez d'attendre ou d'essayer l'autre fournisseur.
Conseils d'ingénierie des invites
Pour l'audio (Veo 3.1)
- Dialogues : Utilisez des guillemets pour la parole :
"Bonjour !" dit-elle avec enthousiasme - Effets sonores : Décrivez explicitement :
crissements de pneus, rugissement du moteur - Ambiance : Décrivez le paysage sonore :
gazouillis d'oiseaux, circulation lointaine - Exemple :
Un homme chuchote "Tu as entendu ça ?" alors que des pas résonnent dans le couloir sombre
Pour la qualité cinématographique
- Incluez des indications de caméra : "dolly lent", "plan de suivi", "grue"
- Spécifiez l'éclairage : "heure dorée", "ombres dramatiques", "lumière diffuse douce"
- Ajoutez des références cinématographiques : "style Blade Runner", "esthétique Wes Anderson"
Pour un mouvement réaliste
- Décrivez la physique : "mouvement naturel", "physique réaliste"
- Incluez des détails environnementaux : "vent dans les cheveux", "bruissement des feuilles"
- Spécifiez la vitesse : "au ralenti", "temps réel", "accéléré"
Pour l'image-vers-vidéo
- Décrivez ce qui doit changer/bouger à partir de l'image de départ
- Soyez précis sur l'action : "le chat ouvre lentement les yeux"
- Incluez le mouvement environnemental : "les feuilles passent en soufflant"
Invites négatives
- Décrivez ce qu'il NE faut PAS inclure :
--negative-prompt "caricatural, basse qualité, flou" - N'utilisez pas "non" ou "ne...pas" - il suffit de décrire les éléments indésirables
Comparaison des API
| Fonctionnalité | Veo 3.1 (Par défaut) | Veo 3.1 Fast | Sora |
|---|---|---|---|
| Fournisseur | OpenAI | ||
| Clé API | GOOGLE_API_KEY | GOOGLE_API_KEY | OPENAI_API_KEY |
| Durée max | 8 secondes | 8 secondes | 20 secondes |
| Résolution | 720p, 1080p | 720p, 1080p | Jusqu'à 1080p |
| Rapports hauteur/largeur | 16:9, 9:16 | 16:9, 9:16 | 16:9, 9:16, 1:1 |
| Audio (dialogues, SFX) | ✅ Oui | ✅ Oui | ❌ Non |
| Image-vers-vidéo | ✅ Oui | ✅ Oui | ✅ Oui |
| Images de référence | ✅ Jusqu'à 3 | ✅ Jusqu'à 3 | ❌ Non |
| Extension vidéo | ✅ Oui | ✅ Oui | ❌ Non |
| Génération par lots | ✅ Oui | ✅ Oui | ❌ Non |
| Vitesse | Meilleure qualité | ~2x plus rapide | Plus lente |
| Idéal pour | Professionnel | Flux de travail par lots | Vidéos plus longues |