Directeur Vidéo
Utilisez cette compétence avant d'appeler Operate(resource="video", operation="generate", input={ ... }) pour un travail vidéo.
Pour un chat IA, cette compétence est le point d'entrée unique pour la génération vidéo. Si l'utilisateur dit "做一个口播视频", "生成一个视频", "产品宣传片", "广告片", "数字人视频", ou toute demande vidéo similaire, invoquez video-director en premier. Ne commencez pas par cosyvoice-ssml ; cette compétence est une sous-étape TTS interne pour les personnages numériques et ne doit pas piloter le workflow vidéo.
Si cette compétence a été chargée parce que l'utilisateur a joint une image et demandé un film promotionnel / 宣传片 / 视频, traitez l'image jointe comme une référence produit ou visuelle pour le workflow vidéo. Ne générez pas d'image produit de remplacement comme étape "d'analyse".
Workflow par défaut
Considérez le workflow comme une machine à états verrouillée. Ne sautez pas et ne réordonez pas les états :
plan_draft: Clarifiez le mode vidéo prévu à partir de l'objectif et des ressources de l'utilisateur, puis rédigez un script vidéo concis mais détaillé et un tableau de plans.storyboard_preview: Immédiatement après l'existence du tableau de plans, générez une ou plusieurs images de prévisualisation du storyboard sous forme de planche-contact avecOperate(resource="image", operation="generate", input={ ... }). L'image du storyboard est un aperçu des plans prévus, pas une affiche produit autonome, un rendu produit de remplacement, une image de couverture ou une image clé vidéo finale.user_review: Affichez le script, la ou les images de prévisualisation du storyboard, et les spécifications vidéo explicites ensemble. Demandez à l'utilisateur de confirmer ou de réviser l'ensemble du plan.production_prep: Après confirmation, décidez s'il s'agit d'un clip amont unique de<=15s, d'une demandevideo_sequencelongue, ou d'un assemblage manuel éditeur/projet. N'utilisez un pack de projet vidéo que si l'utilisateur demande explicitement un workflow de projet/pack/éditeur, ou si la tâche est déjà liée à un pack existant.tts_if_needed: Si la tâche confirmée est une vidéo de personnage parlant / 口播, terminez le workflow TFS d'abord ci-dessous.video_generate: Uniquement après confirmation et une fois tout audio TTS requis terminé, appelezOperate(resource="video", operation="generate", input={ ... }).
Si l'utilisateur n'a pas encore confirmé le script, ne générez pas la vidéo.
Si l'utilisateur n'a pas encore vu et approuvé la ou les images de prévisualisation du storyboard, ne générez pas la vidéo.
Si le tableau de plans existe mais qu'aucune image de planche-contact du storyboard n'a encore été générée, le prochain appel d'outil doit être image.generate pour la prévisualisation du storyboard, pas video.generate, voice.speech, tts-director, ou cosyvoice-ssml.
La prévisualisation du storyboard sous forme de planche-contact est obligatoire après la rédaction du premier script de plans. Ce n'est pas la même chose que les images clés vidéo finales ; c'est une preuve visuelle rapide de la séquence de plans prévue afin que l'utilisateur puisse approuver la direction, la composition, le placement des produits et la continuité avant la génération vidéo.
Pour les vidéos promotionnelles de produits à partir d'une image jointe/de référence :
- Le premier appel
image.generate, s'il y en a un, doit être pour une planche-contact du storyboard après l'existence du script et du tableau de plans. - Le prompt du storyboard doit explicitement préciser qu'il s'agit d'un aperçu du storyboard multi-panneaux pour la vidéo, et il doit préserver la forme visible, la matière, la couleur et les détails distinctifs du produit de référence joint.
- N'appelez pas
image.generatejuste pour "analyser", "extraire", "améliorer" ou recréer la référence produit. - N'appelez pas
video.generateavant que l'utilisateur n'ait confirmé la direction du storyboard.
Règle pour les personnages parlants issus de la bibliothèque d'actifs
Lorsque l'utilisateur souhaite une vidéo de personnage parlant / 口播 / présentateur / bienvenue en direct en utilisant un personnage de la bibliothèque d'actifs, l'image du personnage n'est que la référence d'identité visuelle. Ce n'est pas la piste audio.
Gardez ces trois entrées séparées :
voiceId: l'identité vocale clonée réutilisable stockée sur l'actif du personnage. C'est le champ vocal principal pour les futurs appels TTS.- échantillon vocal / audio de référence : source de repli pour le clonage lorsqu'aucun
voiceIdprêt n'existe. N'analysez ou ne présentez plus une fois qu'unvoiceIdprêt a été trouvé. - actif audio TTS généré : le script parlé terminé. C'est le seul audio qui doit piloter une vidéo de personnage parlant.
Utilisez cet ordre exact :
- Script et storyboard d'abord
- Confirmez le script parlé final.
- Confirmez le storyboard / tableau de plans.
- La colonne
Sondoit contenir les lignes parlées réelles, pas des étiquettes vagues comme "角色讲解".
- Résolvez la voix du personnage
- Lisez l'actif du personnage sélectionné avant de générer du média.
- Si l'actif a un
voiceId/voice_idprêt, traitez-le comme la voix résolue et cessez d'inspecter les échantillons vocaux. Signalez levoiceIdrésolu, pas le nom du fichier audio de référence. - Si l'actif a un échantillon vocal mais pas de
voiceIdprêt, appelezOperate(resource="voice", operation="clone", input={ ... })d'abord, attendez la fin, et utilisez levoiceIdretourné. - S'il n'y a pas de
voiceIdprêt et aucun échantillon vocal utilisable, arrêtez-vous et demandez à l'utilisateur de fournir ou de choisir une voix. Ne recourez pas silencieusement à une voix générique.
- Générez la piste vocale complète avec TTS
- Appelez
Operate(resource="voice", operation="speech", input={ ... })avec le script parlé complet approuvé et levoiceIdrésolu. - Préférez un seul actif audio complet pour tout le segment du personnage parlant, sauf si l'utilisateur souhaite explicitement des clips séparés.
- Pour une narration expressive, des scripts longs, de la poésie, des publicités, ou toute performance multi-émotionnelle dans ce flux numérique-humain / VideoRetalk confirmé, activez
tts-directord'abord avecOperate(resource="skills", operation="invoke", input={ "name": "tts-director" }), puis utilisez ses conseils pour diviser le script approuvé en battements sémantiques et attribuer des contrôles de rendu adaptés au modèle. - Si le modèle TTS sélectionné est CosyVoice,
tts-directorpeut activercosyvoice-ssmlseulement ici, après que le workflow video-director a confirmé qu'il s'agit d'une vidéo numérique-humaine / VideoRetalk / personnage de bibliothèque d'actifs et que le script et la voix du rôle sont résolus. - Ajoutez des contrôles de rendu modérés lorsqu'ils améliorent la performance approuvée : utilisez
speedpour le rythme,pitchpour le ton,emotionpour l'ambiance, une ponctuation expressive telle que~,?,!,……, et des marqueurs de texte MiniMax tels que<#0.6#>,(laughs)', '(sighs)', ou '(breath)' à l'intérieur de l'input` uniquement là où le rythme parlé le nécessite. - N'écrivez pas d'instructions de contrôle dans le texte parlé. Par exemple, passez
"emotion":"happy"etspeed:1.08au lieu de faire dire au personnage "用开心快速的语气". - Si la piste vocale approuvée nécessite plusieurs battements émotionnels, soumettez un seul appel
voice.speechavec dessegmentsordonnés ; l'exécution du média générera chaque segment et fusionnera l'audio final. Ne faites pas d'appelsvoice.speechrépétés pour ensuite fusionner manuellement. - Attendez que le résultat TTS contienne un chemin d'actif audio utilisable, une URL ou un ID d'actif.
- Ne démarrez pas la génération vidéo pendant que le travail TTS est seulement en file d'attente ou en cours d'exécution.
- Appelez
- Générez la vidéo avec référence visuelle et audio généré
- Utilisez l'image du personnage sélectionné comme référence visuelle.
- Utilisez l'actif audio TTS complètement généré comme
drivingAudio. - Identifiez-le dans le préambule du prompt comme un discours audio généré, par exemple
Audio 1: generated Jamba TTS speech for lip-sync / speaking rhythm. - Ensuite appelez
Operate(resource="video", operation="generate", input={ ... }), normalement en modereference-guided.
Ceci est obligatoire car le modèle vidéo a besoin d'une forme d'onde audio finie alignée sur le script approuvé. Un voiceId de personnage n'est pas un audio. Un échantillon vocal n'est pas la ligne parlée approuvée. Le texte parlé dans le prompt vidéo n'est pas un substitut pour le TTS.
Raccourcis interdits :
- N'appelez pas la génération vidéo pour un personnage 口播 avec seulement l'image du personnage et un script.
- Ne passez pas
voiceId, d'audio d'échantillon vocal, ou de "音色素材" commedrivingAudio. - Ne vous fiez pas à
generateAudiopour créer la voix du personnage pour un travail de tête parlante. - Ne décrivez pas le discours prévu uniquement dans le prompt vidéo et n'attendez pas que le modèle vidéo le synthétise.
- Ne divisez pas le TTS par ligne de storyboard, sauf si l'utilisateur demande des clips audio séparément modifiables ou si la vidéo sera assemblée à partir de plusieurs clips parlants indépendants.
Charge TTS recommandée :
{
"voiceId": "voice_xxx",
"segments": [
{
"input": "完整、已确认的口播开场。<#0.5#>",
"speed": 0.98,
"pitch": 0,
"emotion": "calm"
},
{
"input": "自然地进入更有感染力的重点(laughs).",
"speed": 1.05,
"pitch": 0,
"emotion": "happy"
}
],
"title": "Jamba welcome voiceover",
"waitForCompletion": true
}
Charge vidéo recommandée après la fin du TTS :
{
"generationMode": "reference-guided",
"referenceImages": ["/absolute/path/to/jamba.png"],
"drivingAudio": "/absolute/path/to/generated-jamba-tts.mp3",
"drivingAudioLabel": "Generated Jamba TTS speech from the approved script",
"storyboardShots": [
{
"time": "0-3s",
"picture": "Jamba faces camera in the livestream room and smiles naturally.",
"sound": "欢迎来到直播间,今天给大家准备了一个超实用的好物。",
"shot": "Medium close-up, stable presenter framing."
}
]
}
Règle du pack de projet vidéo
Un pack de projet vidéo n'est pas le chemin par défaut.
N'en créez un que lorsque :
- l'utilisateur demande explicitement un 视频项目 / 视频工程 / 项目包
- l'utilisateur demande explicitement de continuer plus tard dans l'éditeur vidéo / l'environnement de travail du projet
- la tâche est déjà liée à un pack de projet vidéo existant
N'en créez pas un uniquement parce que la demande comporte plusieurs plans, un contexte long, un risque de continuité, des besoins de storyboard, ou des révisions possibles.
Lorsque c'est explicitement nécessaire, créez-le avec :
Operate(resource="video", operation="create", input={ "explicitProjectWorkflow": true, "title": "...", "duration": "...", "aspectRatio": "...", "mode": "..." })
Le dossier du projet se trouve dans :
manuscripts/video/<project-name>/
Il doit être utilisé pour regrouper ces fichiers :
manifest.jsonscript.mdassets.jsoneditor.project.json- images de référence importées / images clés / clips générés / sortie finale
Après la création du pack :
- écrivez le brief utilisateur et le script approuvé dans le dossier du projet vidéo
- conservez les images clés, clips et sorties ultérieurs dans le même pack autant que possible
Sinon, gardez la planification dans le chat, appelez video generate directement, et laissez la sortie vivre dans la bibliothèque de médias générés.
Règles strictes
- La génération vidéo est verrouillée sur la route vidéo officielle configurée par l'application.
- Ne choisissez pas de points de terminaison vidéo arbitraires ou de modèles vidéo tiers.
- Utilisez uniquement ces mappages de modèles officiels :
text-to-video->wan2.7-t2v-videoreference-guided->wan2.7-r2v-videofirst-last-frame->wan2.7-i2v-video
- Traitez les transitions première/dernière image comme un sous-type du travail image-vers-vidéo.
- Un segment de génération vidéo amont unique ne doit pas dépasser
15secondes. - Pour une vidéo finale de plus de
15secondes, soumettez une seule demandevideo.generateavec soit ledurationSecondsfinal, soit desvideoSegmentsexplicites ; la file d'attente média générera des segments<=15set concaténera un seul actif vidéo final. - N'appelez pas
video.generatede manière répétée juste pour contourner la limite du segment amont de15secondes. - Ne sautez pas l'étape de révision du script simplement parce que la demande semble évidente.
- Sauf si l'utilisateur demande explicitement un plan continu plus long, un seul plan doit généralement durer
1-3secondes. - Sans approbation explicite de l'utilisateur, aucun plan unique ne doit dépasser
5secondes.
Sélection du mode
- Utilisez
text-to-videolorsque l'utilisateur ne fournit que du texte et souhaite un plan vidéo frais. - Utilisez
reference-guidedlorsque l'utilisateur fournit une ou plusieurs images de référence et souhaite que la vidéo absorbe les éléments de sujet, les indices de style, les accessoires, les motifs de scène ou les indices de composition de ces images. - Utilisez
first-last-frameuniquement lorsque deux images ont une sémantique de début/fin explicite, comme "de A à B", "首帧/尾帧", "开头/结尾", ou "起始状态/结束状态". - Si l'utilisateur donne deux images mais qu'elles ne sont que des références de style, n'utilisez pas
first-last-frame; restez plutôt avec la sémantiquereference-guided.
Stratégie de production
-
单视频模式:- Utilisez un seul clip vidéo généré.
- Par défaut lorsque la demande est simple, l'action est courte, et l'idée complète tient dans un seul clip cohérent.
- Un clip généré unique ne doit pas dépasser
15secondes.
-
长视频队列模式:- Utilisez ceci pour une vidéo générée par IA finale de plus de
15secondes. - Soumettez une seule demande
video.generateavecdurationSeconds > 15; l'exécution créera une tâche de file d'attentevideo_sequence, divisera la génération en segments<=15s, attendra chaque segment, concaténera les segments, et retournera un seul actif vidéo final. - Utilisez des
videoSegmentsexplicites lorsque le storyboard nécessite un contrôle scène par scène, battement par battement, image de référence, première/dernière image, ou audio pilote. - Chaque élément
videoSegments[]doit être<=15secondes et doit correspondre à un groupe cohérent de lignes de storyboard approuvées. - Gardez
waitForCompletion: truesauf si l'utilisateur demande explicitement d'exécuter la génération longue en arrière-plan.
- Utilisez ceci pour une vidéo générée par IA finale de plus de
-
手动多视频工程模式:- Utilisez ceci uniquement lorsque l'utilisateur demande explicitement des clips séparés, un workflow de projet/éditeur, un assemblage de clips importés, une post-production manuelle, ou des sorties séparément modifiables.
- Dans la génération vidéo normale de chat/agent, ne générez pas manuellement un clip à la fois pour les concaténer avec
ffmpeg; utilisez plutôt长视频队列模式. - Lorsque l'assemblage manuel est explicitement nécessaire, générez chaque clip délibérément, puis concaténez-les dans l'ordre du storyboard après la réussite de tous les clips.
-
Si la demande comporte plusieurs plans, des exigences de continuité claires, ou un risque de dérive visuelle, posez une question supplémentaire après avoir montré l'aperçu de la planche-contact :
- si des images clés de storyboard séparées doivent également être générées avant la production vidéo.
-
Si des images clés de storyboard séparées sont générées, la génération vidéo ultérieure doit de préférence utiliser des modes basés sur l'image, et pour les segments à forte transition, préférer
first-last-frame.
Règle Storyboard d'abord
Chaque tâche vidéo nécessite un aperçu du storyboard sous forme de planche-contact après le tableau du script et avant la confirmation de l'utilisateur.
[le contenu a été tronqué pour la traduction]