Vidéo de transition morphing IA "plan-séquence"
Aperçu
Créez une vidéo de transition morphing IA de style "plan-séquence" : plusieurs scènes de monuments s'enchaînent en morphing continu (un élément de la scène A se transforme en un élément de la scène B), pour revenir au point de départ en boucle, le tout avec une palette de couleurs contrastées uniforme (par exemple, style affiche rouge/blanc/noir). Le rendu final est souvent utilisé pour les ouvertures de présentations PPT, les clips de promotion de ville, ou les vidéos virales. Des exemples de quatre images stylisées pour le cas de Hangzhou se trouvent dans assets/case-hangzhou/.
Flux de travail (Cinq étapes)
Étape 1 : Concevoir la chaîne de scènes
- Sélectionnez 4 à 6 monuments/scènes d'une même ville, ordonnés en "structure circulaire" : le point de départ est la fin (exemple : Pagode Leifeng → Temple Lingyin → Porte de Hangzhou/Bol de Lotus → Pont à membrane de tension → Retour à la Pagode Leifeng).
- Principe d'ordre : chaque paire de scènes adjacentes doit avoir un "point de similitude de forme/couleur/structure" (voir Étape 3). Dessinez d'abord un schéma de la chaîne avant de commencer.
- Déterminez un style visuel et une palette de couleurs uniformes (l'exemple utilise un style d'affiche plate rouge/blanc/noir ; vous pouvez aussi utiliser des tons de paysage vert/bleu, néon cyberpunk, etc., mais une seule palette pour toute la vidéo).
Étape 2 : Styliser uniformément les ressources
- Collectez des photos réelles de chaque monument. Utilisez l'outil "Génération d'image - Référence image" de Jimeng (ou un outil similaire) pour convertir toutes les photos dans le même style : même palette, même trait, silhouetté, aplati.
- C'est la clé du succès : si le style n'est pas uniforme, les deux plans en morphing révéleront des "incohérences".
- Produisez 4 à 6 images stylisées, numérotées (Image 1, Image 2…). Ce sont à la fois les images de référence pour la génération vidéo et les "première/dernière image" de chaque segment.
Étape 3 : Concevoir les points de transition de match cut
Pour chaque paire de scènes adjacentes, écrivez une "correspondance de morphing". Priorité : similitude de forme > même couleur > répétition de structure. Tableau de correspondance de l'exemple :
| Élément de la scène précédente | Élément de la scène suivante | Verbe de morphing |
|---|---|---|
| Ciel rouge + oiseaux | Immeubles rouges | Se poser et se transformer en |
| Pétales blancs du Bol de Lotus | Squelette blanc de la membrane de tension | Se retourner, se réorganiser |
| Route noire de la ville | Surface d'eau noire | S'étendre en |
| Marquages blancs sur route rouge | Passerelle blanche | Converger en |
| Membrane rouge du hangar | Surface d'eau rouge | Se déverser, s'étaler |
| Planches blanches de la passerelle | Arches blanches du pont | Se fermer, se courber |
Consultez la bibliothèque complète de verbes et les modèles de phrases dans references/prompt-patterns.md.
Étape 4 : Rédiger les prompts et générer par segment
Utilisez des modèles vidéo qui prennent en charge "référence à plusieurs images / première et dernière image", comme Jimeng (ou Keling) :
- Méthode A (relais d'images de début/fin, recommandée pour les plans longs) : Pour chaque clip, définissez "première image = Image A, dernière image = Image B". Le prompt décrit uniquement l'action de morphing de A à B. La chaîne longue est divisée en plusieurs segments. L'écran de la dernière image du segment précédent devient la première image du segment suivant (relais) pour assurer la continuité.
- Méthode B (prompt long avec plusieurs images de référence) : Dans un seul prompt, référencez les images @Image1, @Image4, etc. comme scènes de début et de fin, avec une description en chaîne : "scène → action → point d'arrivée" (voir l'exemple de Hangzhou dans les références).
- Structure fixe des prompts :
[Sujet] + [Action directionnelle] + [Comment la forme se transforme] + [Élément correspondant de la scène suivante] + [Mouvement de caméra]. - Bibliothèque de verbes de caméra : entrer, plonger, traverser, tomber, monter, retourner, prise de vue plongeante verticale, glisser hors de l'eau, survoler, basculer.
- Chaque segment : 5 à 10 secondes ; ne décrivez pas plus de 2 actions de morphing par segment (trop d'actions entraîne des erreurs).
Étape 5 : Montage final
- Assemblez les segments dans l'ordre dans CapCut (les segments générés par relais d'images de début/fin sont presque sans couture).
- Ajoutez des sous-titres de monuments (exemple : "灵隐寺 LINYIN TEMPLE"), une musique rythmée avec points de synchronisation.
- Utilisez
scripts/extract_frames.pypour extraire des images de la vidéo finale et vérifier les jonctions. Régénérez le segment si nécessaire. - Exportez en portrait 9:16 (ou 16:9 pour une ouverture PPT) et insérez-le sur la première diapositive de la présentation en lecture automatique.
Points clés de l'interaction utilisateur
- Si l'utilisateur ne donne qu'un nom de ville : listez d'abord 4 à 6 monuments de cette ville, confirmez l'ordre des scènes et le style de palette par des questions, puis passez à l'Étape 2.
- Si l'utilisateur fournit des photos réelles : confirmez d'abord la direction de stylisation (proposez 2 à 3 options de palette).
- Si l'utilisateur souhaite le "même exemple que Hangzhou" : montrez directement les quatre images de
assets/case-hangzhou/+ les prompts originaux dereferences/, et remplacez simplement la ville pour l'adapter.
scripts/
extract_frames.py— Utilise OpenCV pour extraire des images à intervalles réguliers d'une vidéo et les assembler en une grille de 9 images avec horodatage, pour vérifier les transitions. Usage :python extract_frames.py <video.mp4> [répertoire de sortie] [nombre d'images].palette_unify.py— Uniformise un lot d'images générées selon la palette d'affiche rouge/blanc/noir, en éliminant les différences de couleur entre le ciel et le sol, pour éviter les sauts de couleur dans les transitions. Usage :python palette_unify.py <in.png> <out.png>.palette_recolor.py— Recolore l'ensemble de l'image d'affiche selon un thème (bluegoldbleu doré nucléaire /darkredrouge foncé). Remarque : pour un style plus sombre, privilégiez une nouvelle génération par IA ; le remappage local de luminosité ne distingue pas "ciel blanc" et "bâtiment blanc", ce qui provoque des zones surexposées blanches. Voirreferences/color-themes.md.assemble_video.py— Assemble la vidéo finale : rogne les logos de modèle, ajoute des fondus croisés entre segments pour éliminer les coutures, superpose le titre principal chinois et les sous-titres de monuments. Usage :python assemble_video.py <out.mp4> <seg1.mp4> [seg2.mp4 ...] [--w 1920] [--h 1080] [--accent gold|white|red].--accentcontrôle la couleur des sous-titres (gold=champagne, white=blanc, red=rouge foncé).
Thèmes de couleurs
Trois thèmes prêts à l'emploi (affiche plate rouge/blanc/noir / bleu doré nucléaire sombre / rouge foncé sombre) avec mots-clés de style complets, proportions de couleurs et liste d'actions de changement de style se trouvent dans references/color-themes.md. Changer de style = régénérer 4 images clés + remplacer les mots de couleur dans les 4 prompts (coût faible : 30-40 crédits pour 4 images) avec un résultat bien meilleur qu'un recolorisation locale.
Pièges des outils de génération (testés)
- La résolution du modèle vidéo n'accepte que
768P/2K;1080pgénère une erreur directe. - Le modèle vidéo génère obligatoirement une piste audio. Passer
enable_audio: falseentraîne une erreur ; ne pas passer l'argument (ce champ n'est supporté que par certains modèles). - Le logo "Généré par IA" de la vidéo est placé en haut à gauche (pour les images fixes, en bas à droite) ; rognez les bords supérieur et inférieur lors de l'assemblage.
- Parfois, un même prompt renvoie l'erreur
requires prompt; réessayez simplement.
Ressources
references/
prompt-patterns.md— Modèles de phrases pour prompts, bibliothèque de verbes de morphing, bibliothèque de mouvements de caméra, prompts originaux complets pour l'exemple de Hangzhou. À lire avant d'écrire des prompts.
scripts/
- Voir ci-dessus.
assets/
case-hangzhou/— Quatre images de référence stylisées pour l'exemple de Hangzhou (Pont à membrane de tension, Pagode Leifeng, Porte de Hangzhou/Bol de Lotus, Ciel rouge Pagode Leifeng), servant de démonstration de style et de composition.case-ncepu/— Quatre images stylisées pour le cas du campus de l'Université de la Chine du Nord (NCEPU) à Pékin (Pont en arc en boucle, Bâtiment principal sous ciel rouge, Vue panoramique du campus, Squelette de membrane rouge), pouvant servir de modèle de composition pour des besoins de type "campus/monument urbain".