Claude Video Studio
Claude crée des vidéos en écrivant du code qui dessine chaque image : HTML, CSS et GSAP, rendu en MP4 par HyperFrames. Il ne génère pas de pixels comme Sora, Kling ou Veo. Choisissez des styles que le code peut bien dessiner, et soyez honnête sur le reste. Pour l'animation de personnages 2D, associez les deux : Claude rend le mouvement et effectue tout le travail de post-production, et un modèle vidéo redessine le personnage à chaque image (section 5).
0. Prérequis — vérifiez d'abord, n'installez rien sans demander
Avant la première construction, exécutez python3 scripts/check_env.py [--project <dossier vidéo>]. Il utilise uniquement la bibliothèque standard et n'installe rien. Il affiche ce dont chaque workflow a besoin, ce qui manque, la commande d'installation et la taille approximative sur le disque.
Montrez à l'utilisateur les éléments manquants pour le workflow souhaité, et demandez avant d'installer quoi que ce soit. Certains éléments sont volumineux (mediapipe avec OpenCV/jax fait environ 600 Mo, headless Chrome environ 400 Mo, Blender environ 1 Go).
| Workflow | Nécessite | Installation (seulement après l'accord de l'utilisateur) |
|---|---|---|
| MV pixel / plat (cœur) | Python 3.9+, ffmpeg + ffprobe, Node 18+, compétences HyperFrames | brew install ffmpeg (ou apt) · npx skills add heygen-com/hyperframes -s '*' -a claude-code -y |
| Synchronisation de beat à partir d'une chanson réelle | Compétence music-to-video d'HyperFrames (son analyze-beatgrid.py) + librosa, soundfile, numpy | npx hyperframes skills update music-to-video (dans le projet) · pip install librosa soundfile numpy (~280 Mo) |
Voix-off, re-doublage (redub.py) | edge-tts (+ soundfile pour redub) | pip install edge-tts soundfile (~10 Mo ; nécessite réseau pendant la synthèse) |
| Transfert de mouvement 2D | numpy, scipy, Pillow ; ffmpeg avec libvpx-vp9 | pip install -r requirements-2d.txt (~150 Mo) |
| Vérifications lèvres/iris 2D | mediapipe 0.10.14 (API FaceMesh legacy ; Python 3.9–3.12) | pip install -r requirements-face.txt (~600 Mo) ; mediapipe 1.x n'est pas testé |
| Montage de séquences réelles | numpy, scipy, Pillow, OpenCV (contrib pour le filtre guidé) ; noisereduce | pip install -r requirements-edit.txt (~250 Mo) · pip install noisereduce |
| Mosaïque de visages, découpes de personnes | mediapipe 0.10.14 ; sur macOS les découpes utilisent Apple Vision à la place (nécessite swiftc des outils en ligne de commande Xcode, sans téléchargement de modèle) | pip install -r requirements-face.txt (~600 Mo) · xcode-select --install |
| Transcription chinoise | FunASR + torch (Python 3.10–3.12) | pip install -r requirements-asr.txt (~1 Go ; modèles 1–3 Go depuis ModelScope lors de la première exécution) |
| Vidéos 3D / driver | Blender 4.5 LTS | Téléchargement LTS sur blender.org (~1 Go) |
Ce qui se télécharge tout seul (dites-le avant la première exécution) :
npx [email protected] …récupère la CLI HyperFrames depuis npm lors de la première utilisation. Épinglez la version pour que les rendus restent identiques. Si la récupération de la compétence bloque lors deinit, définissezHYPERFRAMES_SKIP_SKILLS=1.- Le premier
check/snapshot/rendertélécharge le headless Chrome d'HyperFrames (environ 400 Mo) lorsqu'il n'est pas en cache.npx [email protected] browser ensurele fait à l'avance. - Rien d'autre ne s'installe tout seul. Les scripts dans
scripts/s'arrêtent avec la commande d'installation exacte lorsqu'un paquet ou ffmpeg manque, et ils affichent leur utilisation avec--help. - Les scripts de la bibliothèque standard ne nécessitent aucun paquet :
timed_lyrics.py,align_beats.py,pixel_sprite.pyetcheck_env.py.
Chargez /hyperframes pour le contrat de création de base :
npx --yes [email protected] init my-video
1. Choisissez d'abord le style
Répondez avec ce tableau avant de construire quoi que ce soit. Ne promettez pas un style qui décevra.
| Style | Fiabilité | Temps typique | Utilisation pour |
|---|---|---|---|
| Pixel art (personnages sous forme de feuilles de sprites, interface de jeu) | ★★★★★ | MV de 2 min ≈ 1–2 h | lyric videos, histoires personnelles, messages d'intérêt public, récits de style jeu |
| Cut-out plat / graphiques animés (formes, personnages plats, typographie cinétique) | ★★★★★ | 1 min ≈ 1,5–2 h | refontes de moments célèbres, lancements de produits, explainers, données |
| Personnage 2D à partir d'UNE illustration, transfert de mouvement IA (Kling 「动作控制」 sur un driver rendu par Claude ; Veo en solution de secours) | ★★★★ | driver ≈ 1 h, génération dans l'application de l'utilisateur, post ≈ 0,5 h | clips de danse et de rap qui conservent le style de l'illustration ; voir references/2d-motion-transfer.md |
| Animation de rig 2D d'une illustration existante (déformation de maillage, comme Live2D ou Spine) | ★★ | 20 s ≈ 1–3 h incl. QA par image | petites boucles d'inactivité ou de parole uniquement : les articulations ressemblent à une marionnette en danse ; voir references/2d-rig-lessons.md |
| Personnage 2D dessiné à partir de zéro en code | ★★ | variable | Niveau marionnette TV cut-out uniquement. Pas de mouvement dessiné à la main image par image |
| Réaliste 3D (three.js ou Blender) | ★ | 20 s ≈ 10–30+ h | seulement avec un modèle prêt à l'emploi de haute qualité ; les scènes peuvent être réelles (scans, Poly Haven) |
Règles empiriques :
- Le réalisme d'une personne spécifique en 3D dépend presque entièrement du modèle. Rhabiliter un avatar de jeu générique n'en fait jamais cette personne. Dites-le d'emblée, et proposez :
- un modèle de haute qualité téléchargé (Sketchfab CC0/CC-BY, MetaHuman, Character Creator) ;
- ou un modèle vidéo IA pour les plans humains, Claude s'occupant du montage, des sous-titres et de l'empaquetage.
- Quelques photos de basse résolution d'une personne → dessinez à la place un personnage pixel à partir d'elles, sans utiliser les photos directement.
- L'apparence de personnes réelles : ne créez pas un double photoréaliste d'une personne réelle sans son consentement réel. Utilisez une personne fictive ou générée par IA, ou un personnage stylisé.
2. Musique avec une chronologie exacte (pour les lyric videos)
Les applications de musique IA (Gemini/Lyria, Suno, …) suivent bien mieux le timing lorsque vous donnez mesure par mesure.
- Écrivez les paroles comme une ligne par mesure. Fixez le tempo : 96 BPM donne 1 mesure = 2,5 s ; 120 BPM donne 2,0 s.
python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…"écrit :prompt.txtà coller dans l'application musicale ;lyrics.jsonavec le début et la fin par ligne ;lyrics.srt.
- L'utilisateur génère la chanson et vous remet le MP3.
- Exécutez
analyze-beatgrid.pyd'HyperFrames dessus →audiomap.json. Le script est fourni avec la compétencemusic-to-video(npx hyperframes skills update music-to-video) et nécessite librosa, soundfile et numpy ; voir section 0. python3 scripts/align_beats.py audiomap.json --bpm 96mesure le décalage entre la grille planifiée et les temps forts réels. Il est généralement de +0,1 à +0,3 s. Chaque temps de paroles et de coupe est alorsplan + offset.- Si la chanson générée est plus courte, ou s'arrête tôt, recalibrez la fin sur l'audio réel. N'étirez jamais la musique.
3. Pipeline pixel
- Personnages.
- Créez manuellement des grilles de sprites en Python :
scripts/pixel_sprite.pyest un script de bibliothèque standard pour l'écriture de PNG avec une palette, un contour automatique et des feuilles de prévisualisation. - Utilisez 15 à 25 poses par héros : inactif, clignement, parole, marche a/b, saut/accroupi, acclamation, triste, pointage, plus des actions spécifiques à l'histoire.
- Dessinez à partir des traits de la photo : forme et couleur des cheveux, lunettes, tenue.
- Créez manuellement des grilles de sprites en Python :
- Rig (sûr pour la recherche).
- Empilez un
<img>par pose. - Un changement de pose est un
tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t). Deux ensembles au même instant cassent la recherche arrière. - Les poses cachées commencent avec
visibility: hidden; opacity: 0. - Mettez à l'échelle uniquement par des entiers, avec
image-rendering: pixelated.
- Empilez un
- Structure.
- Divisez la chanson en 6 à 8 images (sous-compositions) par section, et laissez les sous-agents les écrire en parallèle à partir d'un kit partagé (CSS, rig, HUD) et d'un
WORKER-NOTES.mdavec les règles strictes (voirreferences/hyperframes-gotchas.md).
- Divisez la chanson en 6 à 8 images (sous-compositions) par section, et laissez les sous-agents les écrire en parallèle à partir d'un kit partagé (CSS, rig, HUD) et d'un
4. Pipeline cut-out plat / graphiques animés
- Kit. Gardez tout le dessin dans
assets/kit.js: personnages sous forme de parties SVG/DOM, stade, chrome d'interface. Mettez un fichier par scène dansassets/scene1..N.jset les temps de beats dansassets/data.js. - Timing. Suivez la grille de beats : chaque coupe, impact et apparition de texte atterrit sur
beats[i] + offset. - Basé sur une référence. Lorsque l'utilisateur envoie une vidéo de référence, décrivez sa structure beat par beat d'abord, puis reconstruisez-la dans votre propre style de dessin. Ne copiez pas les actifs.
5. Animation de personnage 2D : transfert de mouvement IA — voir references/2d-motion-transfer.md
Utilisez ceci lorsque l'utilisateur a une illustration et souhaite la faire danser ou rapper. Un rig de maillage d'une seule vue de face ressemble à une marionnette.
- Vidéo driver. Rendez la chorégraphie avec un substitut 3D (modèle et mouvement de la section 9) : une personne, une caméra statique, 3–30 s.
- Une prise en pied pour la danse.
- Une prise taille avec des gestes lyriques et une bouche synchronisée sur les lèvres (MuseTalk sur le driver).
- Un plan net : la même caméra avec le personnage caché.
- Cadrez l'illustration sur la première image du driver. Exécutez
scripts/make_green.py cut.png wide|close …pour la placer sur #00B140. - Répétez le plan de caméra avant de dépenser des crédits. Incrustez le driver dans un substitut avec
scripts/standin_from_driver.py, puis vérifiez chaque image pour les mains coupées et les bords de prise visibles. - Remettez le pack à l'utilisateur (images, drivers, invite, paramètres).
- Kling 「动作控制」, 人物朝向「与视频一致」, donne 20 s dans le style propre de l'illustration.
- Veo (application Gemini) est la solution de secours sans Kling : 10 s en 720p/24 ips ; il dérive vers le dessin animé 3D et la bouche n'est pas synchronisée.
- Post.
- Incrustez avec
scripts/key_diff.py(un cache de différence de couleur ;--cornerpour le filigrane). - Mesurez le décalage par rapport au driver ; Kling était 2 images en avance.
- Vérifiez la bouche par rapport aux voix avec
scripts/lip_sync_check.py. - Montez sur le beat, et rendez au fps de la séquence.
- Incrustez avec
- Gardez un générateur par personnage. Kling cel et Veo dessin animé 3D côte à côte se lisent comme deux dessins différents. Comparez les visages entre les clips ;
scripts/recolor_iris.pycorrige la dérive de couleur des yeux.
6. Montage de séquences réelles (montage IA) — voir references/ai-editing.md
Utilisez ceci lorsque l'utilisateur remet ses propres séquences ("coupe mon glissement, ajoute des sous-titres, enlève le logo, ajoute des effets").
- Transcrivez localement.
scripts/transcribe_zh.pydonne des horodatages par caractère, des pauses et des candidats au glissement (--nanopour les dialectes). Les coupes vont dans une EDL ; accrochez-les à des images entières et mettez de courtes fondus sur les jonctions. - Cadrage. Gardez un cadrage fixe sauf si des mouvements de caméra sont demandés.
- Arrêt sur image.
scripts/time_freeze.py: la région figée est l'union de toutes les poses du sujet, donc pas de membres fantômes. - Filigranes.
scripts/dewatermark.py: un masque de trait temporel-minimum plus une transplantation de texture. - Graphiques. Faites-les dans HyperFrames : sous-titres sous le locuteur avec emphase sur les mots-clés, cartes-étapes plus un tracker, mots d'impact, autocollants, une carte de fin.
- Audio.
noisereduceavec une empreinte sonore prise à partir des pauses, puis loudnorm à −16 LUFS, plus des SFX synthétisés aux moments des signaux. - Re-doublage (dialecte → mandarin, ou une voix qui ne doit pas être publiée).
scripts/redub.py:- un appel edge-tts par groupe de phrases, le rythme ajusté à la durée originale ;
- les sous-titres re-timinés à partir des événements WordBoundary ;
- le fond est un son ambiant de niveau assorti coupé à partir de pauses sans voix, jamais la voix originale ;
- réécrivez aussi les mots de dialecte dans les autocollants et les étiquettes.
- Confidentialité.
scripts/face_mosaic.pyavant de montrer des personnes qui n'ont pas accepté d'apparaître. - Caches.
scripts/person_matte.pyécrit des caches par image que les effets ci-dessous prennent avec--mattes:- sur macOS il utilise Apple Vision (pas de téléchargement de modèle ; cheveux et doigts restent propres), ailleurs MediaPipe ;
--backend vision-fgconserve également ce que la personne tient ou conduit (un skateboard) ;--drop-staticsupprime une fresque murale, une affiche ou une voiture garée qui est détectée comme sujet ;- regardez la feuille
--previewavant de construire sur les caches. Les caches MediaPipe sont trop grossiers pour des découpes.
- Montages populaires.
scripts/echo_trail.py(舞蹈残影 ; passez--mattes) ;scripts/freeze_intro.py(人物定格出场, qui fonctionne dans les plans de groupe ; caches Vision sur macOS) ;scripts/speed_ramp.py(曲线变速卡点, avec ralenti interpolé par flux).
- Extensions.
scripts/clone_squad.py(一人成团) : les clones se tiennent DERRIÈRE le danseur, mis à l'échelle autour de la ligne d'horizon, avec des décalages ajustés pour qu'aucun clone ne soit coupé par le bord du cadre.scripts/pop_out.py(冲出画框 / 裸眼 3D) : barres blanches sur la scène, le sujet passe devant elles. Accélérez d'abord le clip au ralenti.- Utilitaires qui font des démonstrations faibles :
scripts/auto_reframe.py(横屏转竖屏) etscripts/time_scan.py(时间扫描).
- Montrez le résultat par rapport à la source.
scripts/before_after.pyconstruit une bande 原片 → AI 成片 :- le clip brut, étiqueté et silencieux ;
- une carte de titre ;
- le résultat avec son propre audio.
- Descriptifs "Manuel vs IA". Allez effet par effet, chacun dans le même ordre :
- leur original d'abord :
scripts/tutorial_reel.pycoupe un tutoriel en "l'effet à vitesse normale, puis la partie d'enseignement en accéléré à côté d'une liste d'étapes" ; - puis une figure d'étape : une capture d'écran numérotée par étape manuelle ;
- puis notre version avec
before_after.py. - Ne mettez pas tous les tutoriels dans une section et tous les résultats IA dans une autre. Un lien seul ne montre pas l'effet.
- leur original d'abord :
- Droits.
- Vidéo de quelqu'un d'autre : liez-la par défaut. Intégrez un extrait uniquement lorsque l'utilisateur le décide ; puis gardez-le court, gardez le crédit incrusté (auteur, titre, 版权归原作者), liez l'original, et dites dans les notes de transfert comment l'échanger contre un lien.
- Mettez des citations de tutoriels ou de commentaires entre guillemets uniquement lorsqu'elles sont textuelles ; vérifiez-les par rapport à la transcription.
- Utilisez des contenus sous licence (par exemple la licence gratuite de Mixkit) et la propre musique de l'utilisateur.
7. Voix-off et SFX (explainers / messages d'intérêt public)
- Script. Prenez le script de l'utilisateur textuellement ; ne paraphrasez pas de texte médical ou juridique.
- Voix (edge-tts) :
- narrateur
zh-CN-YunyangNeural; - jeune homme
zh-CN-YunxiNeural; - jeune femme
zh-CN-XiaoyiNeural; - grande sœur
zh-CN-XiaoxiaoNeural; - docteur
zh-CN-YunjianNeural. - Générez par ligne, coupez le silence, puis placez chaque ligne sur un timeline.
- narrateur
- Timing. L'image suit la voix : construisez
timeline.jsonà partir des durées réelles des lignes, puis animez. - SFX. Synthétisez des SFX 8-bit avec numpy (bips, pas, battements de cœur, rembobinage) et mélangez-les dans une
…
[truncé pour la traduction]