Communitygithub.com

mengyuyuan/pixel-explainer-workflow

Créez des vidéos courtes (Douyin/TikTok/Reels/Shorts) avec Claude Code en tant qu'animateur piloté par le code. Utilisez-le pour des clips musicaux, des lyric videos, des animations pixel-art ou en cut-out plat, des explainers narrés ou des messages d'intérêt public, ou lorsque l'utilisateur demande quel style vidéo Claude maîtrise bien. Il édite également des séquences réelles (coupes à partir d'une transcription locale, gags d'arrêt sur image, sous-titres avec emphase sur les mots-clés, cartes-étapes, suppression de filigrane, mosaïques de visages, effets populaires de Douyin comme les afterimages, intros figées et variations de vitesse). Il sélectionne un style en fonction de ce qui se rend de manière fiable (pixel et cut-out plat en premier ; personnages 2D par transfert de mouvement IA sur un driver rendu par Claude ; 3D seulement avec réserves), écrit des paroles minutées pour la musique IA, construit des personnages pixels à partir de photos, coupe au rythme avec HyperFrames, et vérifie la qualité du MP4 avant publication.

Qu'est-ce que pixel-explainer-workflow ?

Cette compétence, `mengyuyuan/pixel-explainer-workflow`, transforme Claude Code en un animateur vidéo polyvalent, capable de générer des vidéos courtes de type Douyin, TikTok, Reels ou Shorts. Elle fonctionne en écrivant du code (HTML, CSS, GSAP) pour chaque image, rendu en MP4 via HyperFrames, plutôt qu'en générant des pixels comme les modèles IA vidéo standards. La compétence excelle dans la création de clips musicaux, d'animations pixel-art et de graphiques animés, mais offre également des fonctionnalités avancées de montage vidéo réel comme la suppression de filigrane, les mosaïques de visages, les sous-titres avec emphase sur les mots-clés, et des effets populaires de Douyin (traînées d'images, intros figées, variations de vitesse). Pour l'animation de personnages 2D, elle utilise un flux de travail unique : Claude rend un "driver" vidéo (une chorégraphie avec un substitut 3D) qui est ensuite traité par un modèle de transfert de mouvement IA (Kling ou Veo) pour redessiner le personnage dans le style de l'illustration d'origine, le tout suivi d'une post-production (incrustation, synchronisation labiale, montage sur le beat). La compétence intègre également des pipelines complets pour la synchronisation musicale (analyse des beats, alignement des paroles), la génération de voix-off, et la vérification de qualité avant publication, le tout orchestré par des scripts Python et des configurations HyperFrames. Elle est conçue pour être utilisée avec `claude-code`, et nécessite que l'utilisateur installe des dépendances (ffmpeg, HyperFrames, etc.) après une vérification préalable de l'environnement.

Compatible avec✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/mengyuyuan/pixel-explainer-workflow/tree/HEAD/upstream/claude-video-studio

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Claude Video Studio

Claude crée des vidéos en écrivant du code qui dessine chaque image : HTML, CSS et GSAP, rendu en MP4 par HyperFrames. Il ne génère pas de pixels comme Sora, Kling ou Veo. Choisissez des styles que le code peut bien dessiner, et soyez honnête sur le reste. Pour l'animation de personnages 2D, associez les deux : Claude rend le mouvement et effectue tout le travail de post-production, et un modèle vidéo redessine le personnage à chaque image (section 5).

0. Prérequis — vérifiez d'abord, n'installez rien sans demander

Avant la première construction, exécutez python3 scripts/check_env.py [--project <dossier vidéo>]. Il utilise uniquement la bibliothèque standard et n'installe rien. Il affiche ce dont chaque workflow a besoin, ce qui manque, la commande d'installation et la taille approximative sur le disque. Montrez à l'utilisateur les éléments manquants pour le workflow souhaité, et demandez avant d'installer quoi que ce soit. Certains éléments sont volumineux (mediapipe avec OpenCV/jax fait environ 600 Mo, headless Chrome environ 400 Mo, Blender environ 1 Go).

WorkflowNécessiteInstallation (seulement après l'accord de l'utilisateur)
MV pixel / plat (cœur)Python 3.9+, ffmpeg + ffprobe, Node 18+, compétences HyperFramesbrew install ffmpeg (ou apt) · npx skills add heygen-com/hyperframes -s '*' -a claude-code -y
Synchronisation de beat à partir d'une chanson réelleCompétence music-to-video d'HyperFrames (son analyze-beatgrid.py) + librosa, soundfile, numpynpx hyperframes skills update music-to-video (dans le projet) · pip install librosa soundfile numpy (~280 Mo)
Voix-off, re-doublage (redub.py)edge-tts (+ soundfile pour redub)pip install edge-tts soundfile (~10 Mo ; nécessite réseau pendant la synthèse)
Transfert de mouvement 2Dnumpy, scipy, Pillow ; ffmpeg avec libvpx-vp9pip install -r requirements-2d.txt (~150 Mo)
Vérifications lèvres/iris 2Dmediapipe 0.10.14 (API FaceMesh legacy ; Python 3.9–3.12)pip install -r requirements-face.txt (~600 Mo) ; mediapipe 1.x n'est pas testé
Montage de séquences réellesnumpy, scipy, Pillow, OpenCV (contrib pour le filtre guidé) ; noisereducepip install -r requirements-edit.txt (~250 Mo) · pip install noisereduce
Mosaïque de visages, découpes de personnesmediapipe 0.10.14 ; sur macOS les découpes utilisent Apple Vision à la place (nécessite swiftc des outils en ligne de commande Xcode, sans téléchargement de modèle)pip install -r requirements-face.txt (~600 Mo) · xcode-select --install
Transcription chinoiseFunASR + torch (Python 3.10–3.12)pip install -r requirements-asr.txt (~1 Go ; modèles 1–3 Go depuis ModelScope lors de la première exécution)
Vidéos 3D / driverBlender 4.5 LTSTéléchargement LTS sur blender.org (~1 Go)

Ce qui se télécharge tout seul (dites-le avant la première exécution) :

  • npx [email protected] … récupère la CLI HyperFrames depuis npm lors de la première utilisation. Épinglez la version pour que les rendus restent identiques. Si la récupération de la compétence bloque lors de init, définissez HYPERFRAMES_SKIP_SKILLS=1.
  • Le premier check / snapshot / render télécharge le headless Chrome d'HyperFrames (environ 400 Mo) lorsqu'il n'est pas en cache. npx [email protected] browser ensure le fait à l'avance.
  • Rien d'autre ne s'installe tout seul. Les scripts dans scripts/ s'arrêtent avec la commande d'installation exacte lorsqu'un paquet ou ffmpeg manque, et ils affichent leur utilisation avec --help.
  • Les scripts de la bibliothèque standard ne nécessitent aucun paquet : timed_lyrics.py, align_beats.py, pixel_sprite.py et check_env.py.

Chargez /hyperframes pour le contrat de création de base :

npx --yes [email protected] init my-video

1. Choisissez d'abord le style

Répondez avec ce tableau avant de construire quoi que ce soit. Ne promettez pas un style qui décevra.

StyleFiabilitéTemps typiqueUtilisation pour
Pixel art (personnages sous forme de feuilles de sprites, interface de jeu)★★★★★MV de 2 min ≈ 1–2 hlyric videos, histoires personnelles, messages d'intérêt public, récits de style jeu
Cut-out plat / graphiques animés (formes, personnages plats, typographie cinétique)★★★★★1 min ≈ 1,5–2 hrefontes de moments célèbres, lancements de produits, explainers, données
Personnage 2D à partir d'UNE illustration, transfert de mouvement IA (Kling 「动作控制」 sur un driver rendu par Claude ; Veo en solution de secours)★★★★driver ≈ 1 h, génération dans l'application de l'utilisateur, post ≈ 0,5 hclips de danse et de rap qui conservent le style de l'illustration ; voir references/2d-motion-transfer.md
Animation de rig 2D d'une illustration existante (déformation de maillage, comme Live2D ou Spine)★★20 s ≈ 1–3 h incl. QA par imagepetites boucles d'inactivité ou de parole uniquement : les articulations ressemblent à une marionnette en danse ; voir references/2d-rig-lessons.md
Personnage 2D dessiné à partir de zéro en code★★variableNiveau marionnette TV cut-out uniquement. Pas de mouvement dessiné à la main image par image
Réaliste 3D (three.js ou Blender)★20 s ≈ 10–30+ hseulement avec un modèle prêt à l'emploi de haute qualité ; les scènes peuvent être réelles (scans, Poly Haven)

Règles empiriques :

  • Le réalisme d'une personne spécifique en 3D dépend presque entièrement du modèle. Rhabiliter un avatar de jeu générique n'en fait jamais cette personne. Dites-le d'emblée, et proposez :
    • un modèle de haute qualité téléchargé (Sketchfab CC0/CC-BY, MetaHuman, Character Creator) ;
    • ou un modèle vidéo IA pour les plans humains, Claude s'occupant du montage, des sous-titres et de l'empaquetage.
  • Quelques photos de basse résolution d'une personne → dessinez à la place un personnage pixel à partir d'elles, sans utiliser les photos directement.
  • L'apparence de personnes réelles : ne créez pas un double photoréaliste d'une personne réelle sans son consentement réel. Utilisez une personne fictive ou générée par IA, ou un personnage stylisé.

2. Musique avec une chronologie exacte (pour les lyric videos)

Les applications de musique IA (Gemini/Lyria, Suno, …) suivent bien mieux le timing lorsque vous donnez mesure par mesure.

  1. Écrivez les paroles comme une ligne par mesure. Fixez le tempo : 96 BPM donne 1 mesure = 2,5 s ; 120 BPM donne 2,0 s.
  2. python3 scripts/timed_lyrics.py lyrics.txt --bpm 96 --title "…" --style "…" écrit :
    • prompt.txt à coller dans l'application musicale ;
    • lyrics.json avec le début et la fin par ligne ;
    • lyrics.srt.
  3. L'utilisateur génère la chanson et vous remet le MP3.
  4. Exécutez analyze-beatgrid.py d'HyperFrames dessus → audiomap.json. Le script est fourni avec la compétence music-to-video (npx hyperframes skills update music-to-video) et nécessite librosa, soundfile et numpy ; voir section 0.
  5. python3 scripts/align_beats.py audiomap.json --bpm 96 mesure le décalage entre la grille planifiée et les temps forts réels. Il est généralement de +0,1 à +0,3 s. Chaque temps de paroles et de coupe est alors plan + offset.
  6. Si la chanson générée est plus courte, ou s'arrête tôt, recalibrez la fin sur l'audio réel. N'étirez jamais la musique.

3. Pipeline pixel

  • Personnages.
    • Créez manuellement des grilles de sprites en Python : scripts/pixel_sprite.py est un script de bibliothèque standard pour l'écriture de PNG avec une palette, un contour automatique et des feuilles de prévisualisation.
    • Utilisez 15 à 25 poses par héros : inactif, clignement, parole, marche a/b, saut/accroupi, acclamation, triste, pointage, plus des actions spécifiques à l'histoire.
    • Dessinez à partir des traits de la photo : forme et couleur des cheveux, lunettes, tenue.
  • Rig (sûr pour la recherche).
    • Empilez un <img> par pose.
    • Un changement de pose est un tl.set(list, {autoAlpha: i => el === show ? 1 : 0}, t). Deux ensembles au même instant cassent la recherche arrière.
    • Les poses cachées commencent avec visibility: hidden; opacity: 0.
    • Mettez à l'échelle uniquement par des entiers, avec image-rendering: pixelated.
  • Structure.
    • Divisez la chanson en 6 à 8 images (sous-compositions) par section, et laissez les sous-agents les écrire en parallèle à partir d'un kit partagé (CSS, rig, HUD) et d'un WORKER-NOTES.md avec les règles strictes (voir references/hyperframes-gotchas.md).

4. Pipeline cut-out plat / graphiques animés

  • Kit. Gardez tout le dessin dans assets/kit.js : personnages sous forme de parties SVG/DOM, stade, chrome d'interface. Mettez un fichier par scène dans assets/scene1..N.js et les temps de beats dans assets/data.js.
  • Timing. Suivez la grille de beats : chaque coupe, impact et apparition de texte atterrit sur beats[i] + offset.
  • Basé sur une référence. Lorsque l'utilisateur envoie une vidéo de référence, décrivez sa structure beat par beat d'abord, puis reconstruisez-la dans votre propre style de dessin. Ne copiez pas les actifs.

5. Animation de personnage 2D : transfert de mouvement IA — voir references/2d-motion-transfer.md

Utilisez ceci lorsque l'utilisateur a une illustration et souhaite la faire danser ou rapper. Un rig de maillage d'une seule vue de face ressemble à une marionnette.

  1. Vidéo driver. Rendez la chorégraphie avec un substitut 3D (modèle et mouvement de la section 9) : une personne, une caméra statique, 3–30 s.
    • Une prise en pied pour la danse.
    • Une prise taille avec des gestes lyriques et une bouche synchronisée sur les lèvres (MuseTalk sur le driver).
    • Un plan net : la même caméra avec le personnage caché.
  2. Cadrez l'illustration sur la première image du driver. Exécutez scripts/make_green.py cut.png wide|close … pour la placer sur #00B140.
  3. Répétez le plan de caméra avant de dépenser des crédits. Incrustez le driver dans un substitut avec scripts/standin_from_driver.py, puis vérifiez chaque image pour les mains coupées et les bords de prise visibles.
  4. Remettez le pack à l'utilisateur (images, drivers, invite, paramètres).
    • Kling 「动作控制」, 人物朝向「与视频一致」, donne 20 s dans le style propre de l'illustration.
    • Veo (application Gemini) est la solution de secours sans Kling : 10 s en 720p/24 ips ; il dérive vers le dessin animé 3D et la bouche n'est pas synchronisée.
  5. Post.
    • Incrustez avec scripts/key_diff.py (un cache de différence de couleur ; --corner pour le filigrane).
    • Mesurez le décalage par rapport au driver ; Kling était 2 images en avance.
    • Vérifiez la bouche par rapport aux voix avec scripts/lip_sync_check.py.
    • Montez sur le beat, et rendez au fps de la séquence.
  6. Gardez un générateur par personnage. Kling cel et Veo dessin animé 3D côte à côte se lisent comme deux dessins différents. Comparez les visages entre les clips ; scripts/recolor_iris.py corrige la dérive de couleur des yeux.

6. Montage de séquences réelles (montage IA) — voir references/ai-editing.md

Utilisez ceci lorsque l'utilisateur remet ses propres séquences ("coupe mon glissement, ajoute des sous-titres, enlève le logo, ajoute des effets").

  1. Transcrivez localement. scripts/transcribe_zh.py donne des horodatages par caractère, des pauses et des candidats au glissement (--nano pour les dialectes). Les coupes vont dans une EDL ; accrochez-les à des images entières et mettez de courtes fondus sur les jonctions.
  2. Cadrage. Gardez un cadrage fixe sauf si des mouvements de caméra sont demandés.
  3. Arrêt sur image. scripts/time_freeze.py : la région figée est l'union de toutes les poses du sujet, donc pas de membres fantômes.
  4. Filigranes. scripts/dewatermark.py : un masque de trait temporel-minimum plus une transplantation de texture.
  5. Graphiques. Faites-les dans HyperFrames : sous-titres sous le locuteur avec emphase sur les mots-clés, cartes-étapes plus un tracker, mots d'impact, autocollants, une carte de fin.
  6. Audio. noisereduce avec une empreinte sonore prise à partir des pauses, puis loudnorm à −16 LUFS, plus des SFX synthétisés aux moments des signaux.
  7. Re-doublage (dialecte → mandarin, ou une voix qui ne doit pas être publiée). scripts/redub.py :
    • un appel edge-tts par groupe de phrases, le rythme ajusté à la durée originale ;
    • les sous-titres re-timinés à partir des événements WordBoundary ;
    • le fond est un son ambiant de niveau assorti coupé à partir de pauses sans voix, jamais la voix originale ;
    • réécrivez aussi les mots de dialecte dans les autocollants et les étiquettes.
  8. Confidentialité. scripts/face_mosaic.py avant de montrer des personnes qui n'ont pas accepté d'apparaître.
  9. Caches. scripts/person_matte.py écrit des caches par image que les effets ci-dessous prennent avec --mattes :
    • sur macOS il utilise Apple Vision (pas de téléchargement de modèle ; cheveux et doigts restent propres), ailleurs MediaPipe ;
    • --backend vision-fg conserve également ce que la personne tient ou conduit (un skateboard) ;
    • --drop-static supprime une fresque murale, une affiche ou une voiture garée qui est détectée comme sujet ;
    • regardez la feuille --preview avant de construire sur les caches. Les caches MediaPipe sont trop grossiers pour des découpes.
  10. Montages populaires.
    • scripts/echo_trail.py (舞蹈残影 ; passez --mattes) ;
    • scripts/freeze_intro.py (人物定格出场, qui fonctionne dans les plans de groupe ; caches Vision sur macOS) ;
    • scripts/speed_ramp.py (曲线变速卡点, avec ralenti interpolé par flux).
  11. Extensions.
    • scripts/clone_squad.py (一人成团) : les clones se tiennent DERRIÈRE le danseur, mis à l'échelle autour de la ligne d'horizon, avec des décalages ajustés pour qu'aucun clone ne soit coupé par le bord du cadre.
    • scripts/pop_out.py (冲出画框 / 裸眼 3D) : barres blanches sur la scène, le sujet passe devant elles. Accélérez d'abord le clip au ralenti.
    • Utilitaires qui font des démonstrations faibles : scripts/auto_reframe.py (横屏转竖屏) et scripts/time_scan.py (时间扫描).
  12. Montrez le résultat par rapport à la source. scripts/before_after.py construit une bande 原片 → AI 成片 :
    • le clip brut, étiqueté et silencieux ;
    • une carte de titre ;
    • le résultat avec son propre audio.
  13. Descriptifs "Manuel vs IA". Allez effet par effet, chacun dans le même ordre :
    • leur original d'abord : scripts/tutorial_reel.py coupe un tutoriel en "l'effet à vitesse normale, puis la partie d'enseignement en accéléré à côté d'une liste d'étapes" ;
    • puis une figure d'étape : une capture d'écran numérotée par étape manuelle ;
    • puis notre version avec before_after.py.
    • Ne mettez pas tous les tutoriels dans une section et tous les résultats IA dans une autre. Un lien seul ne montre pas l'effet.
  14. Droits.
    • Vidéo de quelqu'un d'autre : liez-la par défaut. Intégrez un extrait uniquement lorsque l'utilisateur le décide ; puis gardez-le court, gardez le crédit incrusté (auteur, titre, 版权归原作者), liez l'original, et dites dans les notes de transfert comment l'échanger contre un lien.
    • Mettez des citations de tutoriels ou de commentaires entre guillemets uniquement lorsqu'elles sont textuelles ; vérifiez-les par rapport à la transcription.
    • Utilisez des contenus sous licence (par exemple la licence gratuite de Mixkit) et la propre musique de l'utilisateur.

7. Voix-off et SFX (explainers / messages d'intérêt public)

  • Script. Prenez le script de l'utilisateur textuellement ; ne paraphrasez pas de texte médical ou juridique.
  • Voix (edge-tts) :
    • narrateur zh-CN-YunyangNeural ;
    • jeune homme zh-CN-YunxiNeural ;
    • jeune femme zh-CN-XiaoyiNeural ;
    • grande sœur zh-CN-XiaoxiaoNeural ;
    • docteur zh-CN-YunjianNeural.
    • Générez par ligne, coupez le silence, puis placez chaque ligne sur un timeline.
  • Timing. L'image suit la voix : construisez timeline.json à partir des durées réelles des lignes, puis animez.
  • SFX. Synthétisez des SFX 8-bit avec numpy (bips, pas, battements de cœur, rembobinage) et mélangez-les dans une

…

[truncé pour la traduction]

Skills associés