Communitygithub.com

video2threejs

Reconstruisez une scène/pièce à partir d'une VIDÉO de référence (générée par IA ou filmée) en un diorama Three.js procédural et sans assets, 1:1 en disposition, couleur, lumière, objets, personnages et leur ligne temporelle de mouvement.

Qu'est-ce que video2threejs ?

video2threejs est une compétence experte pour les agents d'IA (comme Claude Code) qui permet de transformer une vidéo de référence (Seedance, Sora, Veo, ou toute séquence filmée) en une scène Three.js entièrement procédurale, sans aucun asset externe. L'objectif est une reproduction 1:1 : caméra, position et proportions de chaque objet, palette de couleurs, lumière, apparence des personnages et la chronologie de leurs mouvements. La compétence s'appuie sur une analyse multi-image précise (au moins 8 images extraites), la résolution de la perspective via des outils dédiés (forge/solve_camera), et un cycle de raffinement par captures d'écran et auto-évaluation. Elle impose des règles strictes (prévisualisation en direct, sculptage organique d'un seul mesh, contrat écrit de disposition, validation numérique des surfaces) pour éviter les erreurs coûteuses identifiées lors de cas pratiques. Le résultat final est déployable via Vercel et accompagné d'un fichier de projet complet (CLAUDE.md).

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/pacb9148/Video2ThreeJS/tree/HEAD

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

video2threejs — Vidéo → scène Three.js procédurale

Reconstruisez une vidéo de référence (sortie Seedance / Sora / Veo, ou séquence filmée) en une scène Three.js uniquement par code, sans aucun asset. La barre est 1:1 : caméra, position et proportions de chaque objet, palette, lumière, apparence des personnages et la ligne temporelle de mouvement qu'ils suivent.

Reconstruction par code — pas de NeRF, pas de vidéo vers maillage, pas de packs d'assets téléchargés. Compétence sœur de img2threejs (un objet ou personnage à partir d'une image) ; celle-ci couvre une pièce entière avec des personnages et le temps.

Ce fichier est le routeur toujours chargé. Il contient l'ordre des opérations, les règles strictes avec leur justification, la définition de "fait", et les anti-patrons. Le contrat complet pour chaque étape se trouve dans le fichier grimoire/ dont le nom est donné par la règle — lisez-le lorsque vous atteignez cette étape, pas avant.

Quand l'utiliser

  • L'utilisateur partage une vidéo ou un tweet avec une vidéo et demande de reconstruire / reproduire / "faire ceci en three.js".
  • L'utilisateur demande comment modéliser un objet mou ou organique spécifique de manière procédurale (une couette, des oreillers, une peluche, des cheveux d'anime, un chat).
  • Une pièce ou un intérieur doit être reconstruit 1:1 à partir d'une séquence pour un jeu, un diorama, un hommage interactif.

Pas pour : un seul objet héroïque à partir d'une seule image (utilisez img2threejs), ou des projets où télécharger des assets GLB est acceptable.

Entrées requises

  • La vidéo (URL mp4 / URL de tweet / fichier). S'il s'agit d'un tweet, récupérez les variantes média et téléchargez le mp4 720p.
  • La tolérance de l'utilisateur : "1:1" (par défaut pour cette compétence) ou "dans l'esprit de".
  • Un endroit pour exécuter un serveur de développement que l'utilisateur peut ouvrir dans un navigateur.

Règles strictes

Chaque règle ci-dessous a été payée par une refonte dans l'étude de cas Blue Room. Ce ne sont pas des préférences stylistiques.

1. Aperçu en direct pendant la sculpture

Lancez le serveur de développement et open la page pour l'utilisateur avant de modéliser quoi que ce soit. Écrivez la scène par étapes qui se rechargent à chaud (murs → meubles → lumière → personnages → mouvement → caméra d'intro). Mettez un libellé d'étape dans un coin de la page ; acheminez window.onerror vers ce libellé afin que les erreurs d'exécution soient visibles sur la page. Pourquoi : le feedback est le moins coûteux au moment où le mauvais mur apparaît, pas après que toute la pièce a été meublée autour. → grimoire/build/live_preview.md

2. Analysez la vidéo d'abord, sous plusieurs angles

Extrayez au moins 8 images réparties sur tout le clip. Pour les faits spatiaux (quel mur, quel coin, ce qui repose sur quoi), lisez une image quadrillée cellule par cellule ; confirmez chaque fait dans une deuxième image ; si la perspective ne se résout toujours pas, demandez à l'utilisateur de dessiner les lignes du coin et du sol sur une capture d'écran. Produisez la fiche des faits spatiaux, l'inventaire des objets, la palette, les fiches des personnages et le tableau des scènes de mouvement avant d'écrire du code. Décidez explicitement, par plan, ce qui bouge — le sujet ou la caméra. Se tromper sur ce point coûte cher : un plan animé comme un lent zoom avant qui s'avère être une caméra statique observant un bras qui se lève, et le bras n'avait pas d'armature. Pourquoi : trois reconstructions confiantes ont placé la fenêtre au mauvais endroit ; un croquis au crayon rouge a tout corrigé. → grimoire/intake/multi_view_analysis.md, grimoire/intake/frame_extraction.md

3. L'espace avant les objets ; résolvez la caméra

Décidez des murs visibles et du coin, définissez le repère de coordonnées (mur gauche x = LW, mur droit z = RW), puis résolvez la caméra à partir des fractions de repères avec forge/solve_camera.py. Ce n'est qu'ensuite que vous placez les meubles. Résolvez à partir de mesures — position de l'amer à l'écran et taille apparente — avec forge/solve_camera.mjs, et contraignez l'élévation pour que le solveur ne puisse pas choisir la mauvaise branche. Avant de chercher un cadrage, vérifiez qu'il est possible : deux plans d'une référence composite ne peuvent souvent pas coexister à une seule échelle (test d'inégalité triangulaire dans le grimoire). Dites-le, prenez le cadrage cohérent le plus proche, et passez à autre chose. Pourquoi : une caméra placée au feeling fait mentir toutes les comparaisons ultérieures ; une caméra impossible les fait mentir pour toujours. → grimoire/space/perspective_solving.md

4. Gardez un contrat de disposition écrit

Une ligne par objet : mur, position, taille, relation, repère. Chaque correction de l'utilisateur modifie d'abord le contrat, puis le code. Le contrat est la source unique de vérité pour les positions utilisées par les meubles, les poses et le solveur de caméra. → grimoire/space/layout_contract.md

5. Les couleurs viennent des pixels

Échantillonnez les zones éclairées et ombragées de chaque objet sur l'image quadrillée ; choisissez les couleurs de base entre elles, en penchant vers le vif. Ne tapez jamais une couleur de mémoire. → grimoire/intake/frame_extraction.md

6. Lumière réelle, diagnostiquée, jamais peinte

Des murs solides avec une véritable ouverture de fenêtre ; un toit qui couvre exactement l'intérieur de la pièce ; une rampe toon dont la marche du bas est zéro ; un soleil chaud avec une caméra d'ombre qui couvre la pièce. Ne simulez jamais la lumière avec des patches de sol peints, des plans volumétriques ou des particules flottantes. Diagnostiquez avec un rendu soleil-direct-uniquement (?diag=sun) : les murs et le plafond doivent être noirs, les ombres doivent tomber là où la géométrie le dit. → grimoire/build/lighting.md

7. Sculptez objet par objet jusqu'à 8/10

Avant de construire un objet, listez ses caractéristiques de référence (forme, position, couleur, accessoires). Après la construction, faites une capture d'écran depuis une caméra rapprochée et notez-le. Ne passez pas à autre chose en dessous de 8. La géométrie prime sur la texture : une couette est un drapé, une bibliothèque est ouverte avec de vrais livres, un oreiller est épais et incliné. → grimoire/build/procedural_recipes.md

8. Un seul maillage, sculpté — jamais assemblé

Une forme organique (une tête, une oreille, un torse, un membre, une main, une robe) est une surface fermée façonnée en déplaçant ses propres sommets : gonflez-la, creusez-la, extruder un membre à partir de l'une de ses faces, déplacez-la avec un champ lisse. Ne la construisez pas à partir d'une sphère plus un cône plus une capsule assemblés. Les organiques assemblés produisent, à chaque fois : une couture brillante qui bouge avec la lumière, un anneau de contour autour de la partie enfouie, une pièce qui se détache lorsqu'une articulation tourne, un scintillement de z-fighting, un aspect "transparent" dû à un sous-maillage mal orienté, et une cassure d'ombrage qu'aucun réglage de matériau ne peut supprimer.

Quand cela s'applique : tout ce qui partage la peau dans la référence doit partager un maillage dans la construction — un nez est le visage poussé vers l'avant, une oreille est le crâne surélevé. Les objets vraiment séparés (une lampe, un livre, un poteau, un cadre de fenêtre) restent des primitives séparées ; les petits solides rigides qui reposent sur une surface et ne se déforment jamais (boucles de cheveux, rivets, fleurs) sont des bijoux instanciés sur la peau sculptée ; les longues formes fines sont un seul tube balayé, pas une chaîne de capsules.

Deux substrats : un champ de déplacement sur une primitive subdivisée dense (têtes, formes proches de la sphère), ou une cage de box-modelling + Catmull-Clark, puis un déplacement pour le détail (corps, membres, mains, vêtements). Les deux laissent une seule peau, à laquelle l'armature se lie.

Pourquoi : chaque organique assemblé dans l'histoire de ce projet a été reconstruit en un seul maillage à la fin, après que les coutures aient consumé un cycle de révision chacune. → grimoire/build/one_mesh_sculpting.md, grimoire/build/box_modelling.md

9. Raisonnez d'abord, puis sculptez étape par étape, chaque étape terminée

Avant de toucher à la géométrie, décrivez la forme : le volume de base, quelles caractéristiques sont en relief, lesquelles sont en creux, lesquelles sont un changement de pente, et dans quel ordre elles doivent être appliquées — chaque étape est construite sur la surface laissée par la précédente. Ensuite, divisez le travail en étapes qui laissent chacune une surface valide et vérifiable (base vierge → grands plans → caractéristiques primaires → secondaires → détail fin), et terminez chaque étape avant de commencer la suivante : capture d'écran, vidage de son profil numérique, montrez-la, faites-la accepter. Une oscillation laissée à l'étape 2 est irréparable à l'étape 5 car cinq champs reposent maintenant dessus. Jamais d'étape dont le résultat ne peut être jugé qu'après qu'une étape ultérieure soit posée.

Pourquoi : la tête qui a été sculptée blob par blob a été jetée deux fois ; la même tête sculptée comme visage vierge → creux → yeux → bouche → nez, une validation par flèche, a été acceptée. → grimoire/build/one_mesh_sculpting.md

10. Vérifiez la surface avec des nombres, pas avec vos yeux

Videz un profil à travers la surface — la ligne centrale d'un visage, une piste à travers une paume, un anneau autour d'une articulation — et vérifiez qu'il est monotone là où il devrait l'être. Un plateau entre deux reliefs se lit à l'œil comme un creux, et un reflet spéculaire cache les deux. Après toute opération de cage, comptez également les arêtes utilisées par ≠ 2 faces : non nul signifie une jonction en T, et la subdivision la rendra comme un pli dur. → grimoire/build/box_modelling.md, grimoire/build/one_mesh_sculpting.md

11. Solides fermés, bon sens d'enroulement, une surface là où c'est possible

Un tube balayé fait à la main a deux ordres de triangles possibles et un seul fait face vers l'extérieur ; le mauvais fait que FrontSide élimine la coque externe, vous voyez donc l'intérieur de l'objet — la figure semble transparente et "mal cousue", et vous en blâmerez le matériau. LatheGeometry est un tube ouvert. Les boules d'articulation doivent être plus grandes que les extrémités du tube qu'elles coiffent. Préférez un profil continu (cou et torse en un seul balayage) à deux primitives assemblées : "assez loin à l'intérieur pour ne pas se voir" cesse d'être vrai dès que leurs sections transversales diffèrent ou qu'une articulation tourne. Diagnostiquez avec ?diag=flat (matériau opaque — toujours transparent signifie de la géométrie), ?diag=norm, puis ?off=<part>. Pourquoi : plusieurs cycles de révision ont été consacrés au réglage du matériau pour un bogue d'ordre d'index d'une ligne. → grimoire/build/solid_geometry.md

12. Les shaders échouent en silence — branchez le hook d'erreur en premier

renderer.debug.onShaderError sur la page, avant d'écrire un matériau personnalisé. Un ShaderMaterial qui ne parvient pas à compiler ne rend rien et ne journalise que dans la console. Ensuite, connaissez les silencieux : modelMatrix n'existe que dans l'étape de vertex ; pow(negative, 2.0) et smoothstep(hi, lo, x) sont indéfinis en GLSL et donnent NaN ; un hachage entier qui déborde en double avant ses opérations sur les bits est biaisé et aplatit chaque texture de la scène ; un fresnel ne peut pas créer une atmosphère lorsque la caméra effleure le membre. → grimoire/build/shader_traps.md

13. Recherchez quand vous n'êtes pas sûr

Si une construction est inconnue (tissu, cheveux, une lampe en arc), cherchez dans les exemples three.js, le forum et les compétences sœurs, listez jusqu'à trois approches, choisissez la plus contrôlable, citez la source, et enregistrez la découverte dans grimoire/research/when_unsure.md. Vérifiez les maths avec node (ordre d'Euler, origines de géométrie φ) plutôt que de raisonner à ce sujet. → grimoire/research/when_unsure.md

14. Le mouvement doit paraître humain

Ordre d'Euler racine YZX ; cuisse négative = vers l'avant, mollet positif = plie en arrière ; sur le dos rx=-π/2, couché ajoute rz=π, sur le côté ajoute rz=±π/2. La rotation.x d'une tête est inversée par rapport à l'intuition — Rx(+t) regarde vers le bas. Spécifiez les gestes dramatiques comme paume ici, faisant face à cela, doigts par là et résolvez-les avec forge/solve_ik_arm.mjs, en les image-clé en séquence avec un terme de continuité pour que les poses restent sur une branche et s'interpolent comme un seul mouvement. Les points de passage (via) guident les personnages autour des meubles. Les hauteurs assises et allongées sont mesurées à partir du dessus de la couette. Journalisez les articulations et les boîtes englobantes pour tout personnage qui "disparaît". Capture d'écran de chaque scène. Liez la peau avec des segments rigides et une courte charnière (un diamètre de membre de fondu, un os de demi-rotation à l'articulation, des boucles de cage éventées sur l'articulation), et dérivez chaque axe d'articulation au lieu de le supposer — l'axe de flexion d'un poignet est avant-bras × normalePaume, et le construire sur l'axe de charnière du coude fait que l'image-clé ne fait littéralement rien. Les effets causés par le personnage appartiennent à l'horloge du clip, pas à celle d'un plan. → grimoire/build/characters.md, grimoire/build/motion_timeline.md, grimoire/build/skinning_rig.md

15. Capture d'écran de tout, puis auto-évaluation

Chrome sans tête sur le chemin GPU (secondes), fenêtre dans le rapport hauteur/largeur de la vidéo, hstack contre l'image de référence. Avant de remettre, écrivez un tableau d'auto-évaluation noté avec une liste d'écarts et laissez l'utilisateur choisir le lot suivant. "Amélioré" n'est pas "fini". → grimoire/review/verification.md, grimoire/review/self_review.md

16. La liste des "non" de l'utilisateur est permanente

Tout ce que l'utilisateur rejette va dans grimoire/feedback/user_signals.md et n'est jamais réintroduit (particules flottantes, lumière peinte, literie Lego, cheveux filandreux, pattes de chien, lumière sur les murs…). → grimoire/feedback/user_signals.md

17. Déployez depuis la racine du projet

vercel --prod (ou tout déploiement) uniquement depuis le répertoire du projet. Écrivez le CLAUDE.md du projet avec le repère de coordonnées, la caméra, la palette, la lumière, les faits sur les objets, les paramètres de débogage et les listes de l'utilisateur. → grimoire/review/handoff.md

Pipeline

ÉtapeFaireSortieLire
0Récupérer la vidéo, extraire les images et une image quadrilléeframe_*.jpg, grid_01.jpgintake/frame_extraction.md
1Analyse multi-anglefiche de faits, inventaire, palette, fiches personnages, tableau des scènesintake/multi_view_analysis.md
2Espace : murs → cadre → résolution caméra → contrat de dispositionlandmarks.json, CAM/LOOK/fov, contratspace/*
3Échafaudage avec aperçu en direct ; squelette par étapes à partir du modèlepage en cours d'exécution que l'utilisateur regardebuild/live_preview.md
4Lumièretrou de fenêtre, toit, rampe, soleil ; ?diag=sun proprebuild/lighting.md
5Objets un par un ; formes organiques comme un seul maillage sculpté, étape par étapegros plans par objet ≥8/10, vidages de profilbuild/one_mesh_sculpting.md, build/box_modelling.md, build/procedural_recipes.md, build/solid_geometry.md, build/shader_traps.md
6Personnages : sculpt → armature → poids → images-clés de geste → ligne temporelle de mouvementcaptures d'écran par scène, carte de poids, journal IKbuild/characters.md, build/skinning_rig.md, build/motion_timeline.md
6bEffets volumétriques (feu, tempête, explosion), image-clé sur le cliporbite + captures d'écran dans le planbuild/volumetrics.md
7UX de caméra : orbite, copie/persiste, introC/R, plans d'intro vérifiésbuild/camera_ux.md
8Vérifier et auto-évaluer ; boucler avec l'utilisateurcôte à côte, tableau notéreview/*
9Déployer et remettreURL, projet CLAUDE.mdreview/handoff.md

Définition de "fait"

  • Côte à côte avec l'image de référence : murs, coins, mobilier et personnages sont alignés à ±1% de la largeur de l'image.
  • Couleurs : les échantillons des pixels de référence se situent à ±15 en Lab (pas de seuil RGB car les artefacts de compression déplacent la couleur).
  • Lumière : la seule source est le soleil à travers l'ouverture de la fenêtre ; diag=sun montre un sol noir à l'intérieur et des ombres nettes.
  • Objets : chaque objet marque ≥8/10 sur une inspection en gros plan sous la vue orbitale.
  • Chronologie du mouvement : les personnages exécutent les actions de la référence dans l'ordre et la durée ; les positions de début et de fin correspondent dans une vue de dessus à ±5 % de la taille de la pièce.
  • L'utilisateur a vu une auto-évaluation notée avec une liste d'écarts et a approuvé le prochain lot de travail ou a marqué le projet comme terminé.

Skills associés