Génération Vidéo
Soumet un travail de génération vidéo par appel et renvoie un jobId. La gestion des travaux (attente / statut) appartient à track_progress ; cette compétence ne place pas les vidéos automatiquement sur la timeline.
Quand l'utiliser
Chaque fois que l'utilisateur souhaite générer un clip vidéo — texte-vers-vidéo, image-vers-vidéo, transition première-dernière image, génération basée sur une référence, storyboard multi-plan, ou édition/extension générative d'une vidéo existante (produisant de nouvelles séquences générées à partir d'un clip source ; pas de découpage de timeline).
Modèles
| Modèle | Référence | Points forts |
|---|---|---|
fal + falModel | references/fal.md | Catalogue Fal explicite ; voir le schéma de l'outil pour les limites par modèle |
seedance2 | references/seedance2.md | Par défaut lorsqu'il est configuré. Références multimodales, première/dernière, édition/extension/pont, 2–15s, 480p/720p/1080p/4k, contrôles audio/seed/caméra/filigrane/dernière-image/tâche. |
kling | references/kling.md | Caméra/performance technique ; Omni multi-plan ; images ≤7 (≤4 avec une feature refVideos) ; std/pro ; 3–15s. |
hailuo | references/hailuo.md | MiniMax 海螺. T2V / I2V / première+dernière ; 6s ou 10s ; 512P (Hailuo-02), 720p→768P, 1080P (6s) ; pas de multi-réf / multi-plan. |
grok-imagine-video | references/grok-imagine-video.md | xAI Grok Imagine. Texte-vers-vidéo uniquement ; 1–15s ; 480p/720p/1080p ; piste audio incluse. |
ofox | references/ofox.md | Passerelle multi-modèle OFox (Seedance/Wan et plus derrière une clé). Texte/image-vers-vidéo, première+dernière image, jusqu'à 9 références images ; 2–30s avec limites API par modèle ; 480p/720p/1080p par modèle. |
IMPORTANT : Avant de générer, lisez la référence du modèle choisi pour ses capacités, ses canaux d'entrée, ses modes, la structure des prompts et son comportement spécifique. N'inventez jamais de paramètres que la référence interdit.
Sélection du modèle
Respectez les fournisseurs configurés à partir de l'invite de capacités (n'appelez qu'un modèle dont la clé est active).
- L'utilisateur a nommé un fournisseur ("用海螺", "MiniMax", "Kling", "Seedance") → ce
model, s'il est configuré. - Si Fal.ai est sélectionné ou demandé, utilisez
model: "fal"ainsi que lefalModeldemandé ou la valeur par défaut de Fal enregistrée dans les capacités. Demandez si aucun Fal model n'est sélectionné. Lisez les contraintes du catalogue Fal dans le schéma de l'outil ; les limites du fournisseur natif ci-dessous ne s'appliquent pas. - Sinon, par défaut
seedance2lorsque Seedance est configuré. - Sinon, si seul Kling est actif →
kling. Sinon, si seul MiniMax est actif →hailuo. Sinon, si seul xAI est actif →grok-imagine-video. Sinon, si seul OFox est actif →ofox. - Déroger à la valeur par défaut lorsque :
- Besoin de personnalisation / intelligence multi-plan →
kling(confirmer si l'utilisateur ne l'a pas nommé). - Besoin de références multi-modales riches (références vidéo/audio, édition/extension) →
seedance2. - Besoin d'un court moment unique et que seul MiniMax est disponible, ou que l'utilisateur souhaite Hailuo →
hailuoavec durée 6 ou 10.
- Besoin de personnalisation / intelligence multi-plan →
Si le modèle requis n'est pas configuré, dites-le et proposez : un autre fournisseur vidéo configuré, téléchargement, ou Motion Graphic — ne faites pas comme si l'API existait.
Informez brièvement l'utilisateur de ce que vous allez générer avant de soumettre.
Paramètres de l'outil
| Paramètre | Valeurs | Défaut |
|---|---|---|
model | seedance2, kling, hailuo, grok-imagine-video, ofox, fal | seedance2 lorsqu'il est disponible |
durationSeconds | spécifique au modèle | seedance/kling ~5 ; hailuo 6 ou 10 (1080p → 6 uniquement) ; grok 1–15 ; ofox 2–30 (limites API par modèle) |
ratio | voir la doc du modèle | 16:9 (seedance/kling/grok/ofox) ; ignoré sur hailuo |
resolution | 480p, 512p, 720p, 1080p, 4k | spécifique au fournisseur ; hailuo ajoute 512p pour Hailuo-02 ; grok : 480p/720p/1080p |
refVideoMode | feature, base | kling uniquement, avec refVideos |
promptOptimizer / fastPretreatment | booléen | hailuo uniquement |
generateAudio, seed, cameraFixed, watermark | contrôles | seedance uniquement |
returnLastFrame, executionExpiresAfter, priority | contrôles | seedance uniquement ; la dernière image demandée devient un autre asset image |
name | nom d'asset descriptif | requis pour une bonne UX de la médiathèque |
firstFrame | référence d'asset image du projet | optionnel |
lastFrame | référence d'asset image du projet | seedance / kling / hailuo (nécessite firstFrame ; pas avec multi-réf sur seedance) |
refImages / refVideos / refAudios | références d'assets | seedance complet ; kling : images + 1 vidéo feature (pas d'audio) ; hailuo : aucun (frames / S2V subject) |
mode / shotType / multiPrompts | Kling multi-plan | kling uniquement |
Paramètres spécifiques au modèle — voir la référence du modèle.
Résolution d'entrée
firstFrame / lastFrame / refImages / refVideos / refAudios prennent tous une référence d'asset du projet. Préférez un UUID complet ou un préfixe court provenant de read_project ; les asset://<id> et les URLs d'assets du même projet renvoyées par read_project sont également acceptées. Par type d'emplacement : les emplacements d'images et refImages → image ; refVideos → vidéo ; refAudios → audio.
Les URLs externes et le base64 ne sont pas acceptés. Si la source est une URL publique, téléchargez-la d'abord dans le projet (download_media pour vidéo/audio, submit_image pour les images) et transmettez l'ID d'asset résultant.
Workflow
Boucle en quatre étapes. Pour chaque nouvelle génération, recommencez à l'étape 1 si l'intention de l'utilisateur a changé.
Étape 1 — Aligner le périmètre avec l'utilisateur
Avant d'écrire un prompt, alignez-vous sur trois dimensions :
-
Durée et segments — longueur totale, nombre de plans, et s'ils vivent dans un seul clip ou plusieurs.
Si l'utilisateur a déjà indiqué une direction ("做一段", "in one video", "分别生成", "split into N shots", etc.), suivez-la — ne remettez pas en cause.
Sinon, présentez les deux voies et laissez l'utilisateur choisir :
- Multi-plan dans un seul clip (voir la référence du modèle) — inférence unique, sujet / éclairage / style physiquement cohérents entre les sous-plans ; convient à un récit cohérent dans la limite de durée par clip.
- Plusieurs clips — chaque clip est indépendamment contrôlable et re-généré, mais l'identité et la continuité de style doivent être portées par des ancres ; convient aux durées dépassant la limite ou aux coupures scéniques nettes.
Proposez le compromis ; ne choisissez pas pour l'utilisateur.
-
Contenu — ce que chaque clip dépeint. Résumez ce que vous avez compris, segment par segment. Lorsque le contenu est vague (par exemple "génère une vidéo d'une fille qui danse"), l'utilisateur n'a généralement pas spécifié un ou plusieurs des éléments suivants :
- Sujet : qui / quel est le sujet principal (apparence, tenue, traits distinctifs) ?
- Action : que fait-il/elle ? (Pour les plans de dialogue / émotion, quelle micro-expression ?)
- Scène : où — décor, moment de la journée, détails environnementaux ?
- Ambiance lumineuse / couleur : quelle atmosphère ?
- Caméra : préférence de taille de plan / angle / mouvement ?
- Style : style visuel ou référence (cinématographique / anime / documentaire / ...).
Concentrez-vous sur les éléments qui importent pour cette demande spécifique et qui ne peuvent pas être déduits en toute sécurité — ne transformez pas cela en exercice de remplissage de blancs. Résumez les parties comprises à l'utilisateur avant de continuer.
-
Ancres de cohérence — uniquement lorsque plusieurs plans réutilisent un personnage, un objet ou une scène : identifiez quelle ancre (image ou vidéo de référence) fixer entre les plans. Pour les règles de sourcing, voir § Cohérence visuelle entre les plans ci-dessous.
Pour chaque dimension, vérifiez les mots de l'utilisateur :
- Clair — continuez.
- Ambigu ou manquant — DEMANDEZ à l'utilisateur. Ne devinez pas, ne prenez pas votre propre interprétation par défaut. Une confirmation par échange est moins coûteuse qu'une génération gaspillée.
Ce qu'il ne faut PAS faire
- Ne pas "dire puis soumettre" — annoncer "Je vais faire ceci en 2 clips" et soumettre immédiatement n'est pas un alignement, c'est une décision unilatérale avec annonce.
- Ne pas diviser par défaut une demande de vidéo unique en plusieurs clips. Un seul clip peut contenir plusieurs sous-plans (voir la référence du modèle), avec un sujet / éclairage / style physiquement cohérents entre eux. Présentez le compromis, puis laissez l'utilisateur choisir.
- Ne pas sauter la question parce que vous pensez que la réponse est évidente.
Contournements stricts (le mot explicite de l'utilisateur l'emporte)
- "one clip / single clip / 一条 / 一个镜头 / in 1 clip" → ne jamais diviser, même si la description est objectivement longue.
- "N shots / N 段 / N 个镜头" → générer exactement N.
- "use this image / 用这张图" → utiliser comme référence, ne pas substituer.
Étape 2 — Rédiger le prompt
Voir la référence du modèle choisi pour la structure du prompt et les combinaisons de paramètres (par exemple, la structure à 8 éléments et les modes de Seedance ; les conseils de prompt de Kling). Avant de soumettre, vérifiez :
nameest un nom d'asset descriptif — suffisamment descriptif pour que l'utilisateur (et vous lors des tours suivants) reconnaisse cet asset dans la médiathèque du projet. Évitez les vagues comme "Sans titre" ou "clip 1".- La combinaison de paramètres correspond à l'intention de l'utilisateur — voir la section Modes dans la référence du modèle.
- L'audio de la vidéo générée n'est pas un paramètre d'outil (côté fournisseur). Hailuo n'a pas de ratio/multi-réf ; n'inventez pas ces paramètres.
- En cas d'échec de validation, lisez l'erreur et corrigez les entrées — ne réessayez pas aveuglément les mêmes arguments invalides.
Étape 3 — Soumettre un, attendre, confirmer
Soumettez un travail de génération à la fois. Sauf si l'utilisateur a explicitement demandé plusieurs clips en parallèle, ne soumettez pas le clip suivant tant que le clip en cours n'est pas terminé et que l'utilisateur ne l'a pas examiné. La soumission parallèle cache les problèmes : si le premier plan a une dérive ou un mauvais cadrage, l'utilisateur préférera le refaire une fois plutôt que d'avoir plusieurs plans mal alignés à jeter.
submit_video.ratiocontrôle uniquement l'asset généré ; il ne modifie pas le canevas de la timeline du projet. Si l'utilisateur a demandé un rapport hauteur/largeur de sortie final (par exemple "9:16 vertical" ou "16:9 paysage"), définissez le canevas de la timeline sur le même ratio avecmanage_timelinesaction=update (par exemple ratio:"9:16") avant de placer l'asset terminé. Si l'utilisateur a demandé l'absence de barres noires / plein écran, transmettezfit:"cover"lors de la définition du canevas ou de la mise à jour/ajout de l'élément visuel.- N'utilisez pas cette compétence pour la gestion des travaux — utilisez l'outil
track_progresspour le statut/l'attente. - Après avoir soumis, terminez votre tour (dites à l'utilisateur que le travail a été créé), sauf si une tâche de suivi est déjà en file d'attente.
- Lorsque le travail se termine, présentez le résultat à l'utilisateur pour examen avant de passer au plan suivant.
- Gestion des échecs spécifiques au modèle — voir la référence du modèle.
Étape 4 — Itérer
Lorsque l'utilisateur souhaite un clip suivant, une révision ou une continuation :
- S'il s'agit du plan suivant dans une séquence multi-plan — réutilisez l'ancre établie (voir § Cohérence visuelle entre les plans ci-dessous pour les principes, la référence du modèle pour les détails des indicateurs).
- Si le retour de l'utilisateur est ambigu ("ça ne semble pas juste") — demandez quoi changer spécifiquement avant de régénérer.
- Si le même ajustement de prompt textuel a échoué deux fois — arrêtez d'ajuster le texte. Passez aux images de référence, ou passez en mode édition là où le modèle le supporte (voir la référence du modèle).
- Chaque nouvelle génération redémarre la boucle à l'étape 1 — réalignez si le périmètre a changé.
Cohérence visuelle entre les plans
Le texte seul ne peut pas maintenir de manière fiable l'identité visuelle entre les plans ; les références visuelles contraignent la sortie bien plus précisément que les mots.
Ancres : la pierre angulaire de la cohérence
Une ancre est une image ou une vidéo de référence fixée à travers chaque plan qui partage le même personnage, objet ou style. Toute séquence multi-plan avec des éléments visuels récurrents a besoin d'une ancre — n'essayez pas de les reproduire à partir du texte.
Trouver une ancre
Ayez une conscience des références. Lorsque la demande de l'utilisateur implique un personnage / objet / scène récurrent, réfléchissez à l'ancre à utiliser avant d'écrire les prompts :
- Vérifiez d'abord le projet. Qu'est-ce que l'utilisateur a déjà fourni ou approuvé ? Les images téléchargées, les plans précédemment générés et approuvés, ou les assets antérieurs du projet peuvent tous servir d'ancres.
- Correspond à l'intention de l'utilisateur. Si l'utilisateur a pointé un asset spécifique ("utilise cette photo", "像上一段那样"), utilisez-le. S'ils ont décrit un personnage uniquement avec des mots, aucune ancre n'existe encore et il faut en établir une.
- En cas de doute, demandez à l'utilisateur. Ne devinez pas quel asset fixer, et ne générez pas silencieusement une nouvelle ancre alors que l'utilisateur en a peut-être déjà une en tête.
Établir une nouvelle ancre (avec le consentement de l'utilisateur)
Lorsqu'aucun asset existant ne convient et qu'il faut en générer un, proposez-le d'abord à l'utilisateur — cela façonnera chaque plan en aval. Chemins spécifiques au modèle — voir la référence du modèle choisi.
Utiliser l'ancre
- Transmettez l'ancre dans chaque plan qui partage le personnage / objet / style. Le ou les indicateurs spécifiques à utiliser dépendent du modèle — voir la référence du modèle.
- Décrivez l'ancre par son apparence dans le prompt, pas par son nom : "La VOITURE DE COURSE NOIRE avec échappement chromé" contraint bien plus que "Fleetmaster". Lorsqu'une confusion de rôle est probable, ajoutez des négations explicites : "La moto NE se transforme PAS."
- Référencez l'ancre avec
@Image1/@Video1dans le prompt — pas de phrases vagues comme "la même voiture qu'avant". - Lorsqu'un plan dépend d'une génération précédente, attendez que le travail précédent soit terminé (via
track_progressavecaction=wait) pour obtenir sonassetId, puis transmettez-le comme référence d'ancre. Ne soumettez pas les plans dépendants en parallèle.
Projets multi-personnages
Lorsqu'un projet a plusieurs personnages nommés avec des attributs distincts (par exemple Faz avec l'énergie du feu, Kev avec l'énergie de la glace), traitez chaque personnage comme une ancre séparée — un asset de référence par personnage. Dans chaque prompt :
- Nommez le personnage actif et attachez ses attributs distinctifs ("Kev a une énergie électrique de glace bleue").
- Ajoutez des négations explicites pour les autres afin d'éviter les fuites d'attributs ("PAS d'énergie de feu rouge, PAS l'apparence de Faz").
- Fixez l'ancre du bon personnage (indicateur spécifique au modèle — voir la référence du modèle). Ne réutilisez pas par accident l'ancre d'un autre personnage.
L'absence d'attribution explicite ou de négation provoque un mélange d'attributs entre personnages.
Plusieurs personnages dans le même plan. Pour les plans où plusieurs personnages apparaissent ensemble (surtout face à la caméra), le modèle est sujet à l'échange de visages ou au clipping de corps. Ajoutez des ancres positionnelles + de tenue fortes pour chaque personnage et préférez une caméra fixe.
...
[le contenu a été tronqué pour la traduction]