Génération de vidéos par IA
Texte vers vidéo / Image vers vidéo / Animation de première image pour avatar numérique. Encapsule
shared/scripts/ai_video.py, fournisseurs enfichables, soumission asynchrone → interrogation → téléchargement. L'utilisateur fournit sa propre clé API (configuration dans.env).
Prérequis : Configuration de la clé API
Règle absolue pour la vérification du chemin de configuration : D'abord
cdvers la racine du projet Easel donnée à la fin du fichierAGENTS.md, confirmer que le répertoire courant contient.envetskills/shared/scripts/, puis exécuter le registre, la vérification (check) ou les commandes de génération. Ne pas utiliser./shared/scripts/...de l'espace de travail, ni se baser sur l'absence de variables dansenv/printenvpour conclure à une non-configuration.
Choisir d'abord un fournisseur et renseigner la clé correspondante dans .env, puis exécuter check pour une validation hors ligne :
python skills/shared/scripts/ai_video.py check --provider dashscope
| Fournisseur | Service | Configuration requise dans .env |
|---|---|---|
dashscope | Alibaba Tongyi Wan | DASHSCOPE_API_KEY (optionnel DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL ; compatible avec l'ancien DASHSCOPE_MODEL) |
ark | Volcano Engine Seedance | ARK_API_KEY (optionnel ARK_MODEL/ARK_BASE_URL) |
kling | Kuaishou Kling | KLING_ACCESS_KEY + KLING_SECRET_KEY (authentification JWT) |
openai-compatible | Endpoint générique /videos | VIDEO_API_KEY + VIDEO_BASE_URL (optionnel VIDEO_MODEL) |
xhs-maas | MaaS réseau interne Xiaohongshu (happyhorse texte/image vers vidéo) | XHS_MAAS_API_KEY (optionnel XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). Style asynchrone DashScope + en-tête api-key, connexion directe au réseau interne |
agnes | Agnes (agnes-video-2.5-flash) | AGNES_API_KEY (optionnel AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). Compatible OpenAI Videos pour la création + endpoint d'interrogation personnalisé ; audio natif par défaut (son décrit dans le prompt) ; accès via proxy pour le réseau externe |
On peut aussi définir VIDEO_PROVIDER pour éviter de spécifier --provider à chaque fois.
Avant d'exécuter, lancer model_registry.py configured --group video --env-file .env : s'il n'y a qu'un seul fournisseur disponible, le sélectionner explicitement ; s'il y en a plusieurs et que l'utilisateur n'a pas précisé lequel, lister les fournisseurs/modèles et demander lequel utiliser pour cette fois, ne pas choisir par défaut de manière arbitraire.
Entrée
Règle impérative de confirmation du format d'image : Lorsque l'utilisateur ou la tâche en amont n'a pas précisé le format horizontale/vertical (ou 16:9/9:16/ratio spécifique), il est obligatoire de demander et d'attendre la confirmation avant tout appel de génération ou de facturation. Ne pas déduire silencieusement à partir de la plateforme, du profil ou des valeurs par défaut du script. Si déjà précisé, ne pas redemander.
- Texte vers vidéo : description de la scène/du cadrage/du style (prompt)
- Image vers vidéo : une image d'entrée (chemin local ou URL) + description facultative du mouvement
- Options facultatives : durée
--duration, format--ratio(16:9 / 9:16 / 1:1), modèle--model, audio natif--audio auto|on|off
Sortie
Fichier vidéo généré ; doit utiliser -o pour spécifier le chemin dans outputs/nom_du_sujet/. Les tâches asynchrones sont automatiquement interrogées jusqu'à leur achèvement avant le téléchargement.
Étapes d'exécution
- Confirmer la configuration et les capacités : D'abord exécuter
check, puis exécutercapabilities --provider <p> --model <m>. Pour les séries courtes, ne pas deviner si le modèle prend en charge l'audio natif en se basant sur le nom de la marque ; les nouveaux modèles doivent utiliserVIDEO_CAPABILITIES_JSONpour enregistrer les capacités et les champs de requête, sans modifier le flux d'appel.probe-dialogue(pour les séries courtes) : Envoyer réellement 1 génération + ASR, pour tester si le modèle peut fidèlement reproduire mot pour mot un dialogue spécifié, déterminerdialogue_faithfulet mettre en cache — les séries courtes décident ensuite d'utiliser le dialogue natif ou la "génération sans dialogue + postsynchronisation". Utilisation :probe-dialogue --provider <p> --model <m>.
- Rédiger le prompt : Les prompts sont critiques pour les vidéos IA. Suivre les règles de rédaction des prompts pour vidéo IA pour décrire le cadrage, le mouvement de caméra, le style et la durée. Pour les vidéos courtes verticales, utiliser
--ratio 9:16. - Texte vers vidéo :
python skills/shared/scripts/ai_video.py text2video --provider dashscope \ --prompt "Coucher de soleil en bord de mer, plan lent, tons chauds, ambiance cinématographique" --ratio 9:16 --duration 5 \ --audio auto \ -o outputs/nom_du_sujet/clip.mp4 - Image vers vidéo / Animation d'image / Première image d'avatar numérique :
python skills/shared/scripts/ai_video.py image2video --provider kling \ --image outputs/nom_du_sujet/cover.png --prompt "La personne sourit et fait signe de la main, les cheveux bougent légèrement" \ -o outputs/nom_du_sujet/clip.mp4 - Post-traitement : Les clips générés peuvent être transmis à
video_ops.py(assemblage/ajout de sous-titres/ajout de BGM/rotation paysage/portrait),auto-subtitle(sous-titres),tts-voiceover(voix off) pour former un produit fini, ou directement dans le flux de bout en boutauto-short-video.
Prise en compte du profil
- Avec profil : Extraire les tendances de style visuel du fichier
style.mdet les injecter dans le prompt ; le fichierplatforms.mdest utilisé uniquement pour donner des suggestions de format, mais ne peut pas remplacer la confirmation de l'utilisateur. - Sans profil : D'abord confirmer le format horizontal/vertical, puis générer selon le format confirmé.
Remarques
- Les API de génération vidéo sont toutes asynchrones et prennent beaucoup de temps (dizaines de secondes à plusieurs minutes) + facturation à l'usage, confirmer d'abord avec l'utilisateur.
- Les noms de modèles/champs de chaque fournisseur varient selon les versions ; on peut utiliser
--modelou les variables d'environnement pour les surcharger. En cas d'erreur, se référer à la documentation officielle la plus récente. --audio autone fait que mapper les champs connus selon le profil de capacités ; la déclaration de capacité ne garantit pas la qualité. Après téléchargement, effectuer impérativement une vérification avec ffprobe/ASR/audit visuel. Lorsque la passerelle a du son par défaut mais que le champ de commutation est inconnu, ne pas deviner et injecter de paramètre.