Communitygithub.com

video2threejs

Baue einen Raum/eine Szene aus einem Referenz-Video (KI-generiert oder gefilmt) als reine Code-basierte, prozedurale Three.js-Diorama nach – maßstabsgetreu in Layout, Farbe, Licht, Objekten, Charakteren und deren Bewegungsablauf.

Was ist video2threejs?

video2threejs ist ein KI-Agenten-Skill, der ein Referenzvideo (z. B. von Seedance, Sora, Veo oder gefilmtes Material) in eine vollständige, reine Code-basierte Three.js-Szene ohne externe Assets umwandelt. Das Ziel ist eine originalgetreue Nachbildung: Kamera, Positionen und Proportionen aller Objekte, Farbpalette, Beleuchtung, Charakterdarstellung und der zeitliche Bewegungsablauf der Charaktere. Der Skill verwendet eine Reihe von strengen Regeln, die aus früheren Fehlern gelernt wurden, wie z. B. die Live-Vorschau während der Modellierung, die mehrperspektivische Videoanalyse vor dem Schreiben von Code, die präzise Kameraperspektivlösung und die schrittweise Skulpturierung jedes Objekts mit numerischer Überprüfung. Er ist als ständig geladener Router konzipiert, der die Arbeitsschritte, die Definition von „Fertig“ und die Anti-Patterns vorgibt, während die detaillierten Anleitungen für jede Phase in speziellen `grimoire/`-Dateien hinterlegt sind. Der Skill ist ideal für die Rekonstruktion von Räumen und Innenräumen aus Videomaterial für Spiele, Dioramen oder interaktive Hommagen und wird auf Plattformen wie Claude Code, Cursor und Codex eingesetzt.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/pacb9148/Video2ThreeJS/tree/HEAD

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

video2threejs — Video → prozedurale Three.js-Szene

Baue ein Referenzvideo (Seedance / Sora / Veo-Ausgabe oder Filmmaterial) als reine Code-basierte, asset-freie Three.js-Szene nach. Der Maßstab ist 1:1: Kamera, Positionen und Proportionen jedes Objekts, Farbpalette, Licht, Charakterdarstellung und der zeitliche Bewegungsablauf, dem die Charaktere folgen.

Nachbau durch Code – nicht NeRF, nicht Video-zu-Mesh, keine heruntergeladenen Asset-Pakete. Schwester-Skill von img2threejs (ein Objekt oder Charakter aus einem Bild); dieser Skill deckt einen ganzen Raum mit Personen und Zeit ab.

Diese Datei ist der stets geladene Router. Sie enthält die Reihenfolge der Arbeitsschritte, die strengen Regeln mit ihrer Begründung, die Definition von „Fertig“ und die Anti-Patterns. Der vollständige Vertrag für jede Phase befindet sich in der grimoire/-Datei, die in den Regeln benannt wird – lies sie, wenn du diese Phase erreichst, nicht vorher.

Wann verwenden

  • Der Benutzer teilt ein Video oder einen Tweet mit einem Video und bittet darum, es nachzubauen / zu replizieren / „das in three.js zu machen“.
  • Der Benutzer fragt, wie man ein bestimmtes weiches oder organisches Objekt prozedural modelliert (eine Bettdecke, Kissen, ein Plüschtier, Anime-Haare, eine Katze).
  • Ein Raum oder Innenraum muss aus Filmmaterial 1:1 für ein Spiel, ein Diorama oder eine interaktive Hommage rekonstruiert werden.

Nicht für: ein einzelnes Heldenobjekt aus einem einzelnen Bild (img2threejs verwenden) oder Projekte, bei denen das Herunterladen von GLB-Assets akzeptabel ist.

Erforderliche Eingaben

  • Das Video (mp4-URL / Tweet-URL / Datei). Wenn es ein Tweet ist, rufe die Medienvarianten ab und lade die 720p-mp4 herunter.
  • Die Toleranz des Benutzers: „1:1“ (Standard für diesen Skill) oder „im Sinne von“.
  • Ein Ort, um einen Entwicklungsserver auszuführen, den der Benutzer in einem Browser öffnen kann.

Strenge Regeln

Jede der folgenden Regeln wurde mit einer Überarbeitung im Blue-Room-Fallbeispiel bezahlt. Sie sind keine stilistischen Vorlieben.

1. Live-Vorschau beim Formen

Starte den Entwicklungsserver und öffne die Seite für den Benutzer bevor du etwas modellierst. Schreibe die Szene in Phasen, die Hot-Reload unterstützen (Wände → Möbel → Licht → Charaktere → Bewegung → Einführungskamera). Platziere einen Phasennamen in einer Ecke der Seite; leite window.onerror dorthin um, damit Laufzeitfehler auf der Seite sichtbar sind. Warum: Feedback ist am günstigsten in dem Moment, in dem die falsche Wand erscheint, nicht nachdem der ganze Raum darum herum eingerichtet ist. → grimoire/build/live_preview.md

2. Analysiere das Video zuerst aus mehreren Blickwinkeln

Extrahiere mindestens 8 Einzelbilder über den gesamten Clip. Für räumliche Fakten (welche Wand, welche Ecke, was auf was steht) lies ein mit Gitternetz versehenes Bild Zelle für Zelle aus; bestätige jede Tatsache in einem zweiten Bild; wenn die Perspektive sich immer noch nicht auflösen lässt, bitte den Benutzer, die Ecken- und Bodenlinien auf einen Screenshot zu zeichnen. Erstelle das räumliche Faktenblatt, die Objektliste, die Farbpalette, die Charakterkarten und die Bewegungs-Szenentabelle bevor du Code schreibst. Entscheide pro Einstellung explizit: Was bewegt sich – das Subjekt oder die Kamera? Dies rückgängig zu machen, ist teuer: Eine als langsamer Schwenk animierte Einstellung stellte sich als statische Kamera heraus, die einen Arm heben sah, und der Arm hatte kein Rig. Warum: Drei selbstbewusste Rekonstruktionen platzierten das Fenster an der falschen Stelle; eine einzige mit rotem Stift gezeichnete Skizze behob es. → grimoire/intake/multi_view_analysis.md, grimoire/intake/frame_extraction.md

3. Raum vor Objekten; löse die Kamera

Entscheide die sichtbaren Wände und die Ecke, setze das Koordinatensystem (linke Wand x = LW, rechte Wand z = RW), dann löse die Kamera aus Landmarken-Brüchen mit forge/solve_camera.py. Platziere erst dann Möbel. Löse aus Messungen – Bildschirmposition der Landmarke und scheinbare Größe – mit forge/solve_camera.mjs und schränke die Elevation ein, damit der Löser nicht den falschen Zweig wählen kann. Bevor du eine Rahmung verfolgst, prüfe, ob sie überhaupt möglich ist: Zwei Aufnahmen einer zusammengesetzten Referenz können oft nicht in einem Maßstab koexistieren (Dreiecksungleichungstest im Grimoire). Sage dies, nimm die nächstgelegene kohärente Rahmung und fahre fort. Warum: Eine nach Gefühl platzierte Kamera lässt jeden späteren Vergleich lügen; eine unmögliche lässt ihn für immer lügen. → grimoire/space/perspective_solving.md

4. Führe einen schriftlichen Layout-Vertrag

Eine Zeile pro Objekt: Wand, Position, Größe, Beziehung, Referenzrahmen. Jede Benutzerkorrektur bearbeitet zuerst den Vertrag, dann den Code. Der Vertrag ist die einzige Quelle der Wahrheit für Positionen, die von Möbeln, Posen und dem Kameralöser verwendet werden. → grimoire/space/layout_contract.md

5. Farben stammen aus Pixeln

Miss beleuchtete und beschattete Bereiche jedes Objekts auf dem mit Gitternetz versehenen Bild; wähle Grundfarben dazwischen, tendenziell hell. Gib niemals eine Farbe aus dem Gedächtnis ein. → grimoire/intake/frame_extraction.md

6. Echtes Licht, diagnostiziert, niemals gemalt

Massive Wände mit einer echten Fensteröffnung; ein Dach, das genau den Innenraum bedeckt; eine Toon-Rampe, deren unterste Stufe Null ist; eine warme Sonne mit einer Schattenkamera, die den Raum abdeckt. Simuliere niemals Licht mit gemalten Bodenflecken, volumetrischen Ebenen oder schwebenden Partikeln. Diagnostiziere mit einer Nur-direktes-Sonnenlicht-Darstellung (?diag=sun): Wände und Decke müssen schwarz sein, Flecken müssen dort landen, wo die Geometrie es vorgibt. → grimoire/build/lighting.md

7. Modelliere Objekt für Objekt auf 8/10

Bevor du ein Objekt baust, liste seine Referenzmerkmale auf (Form, Position, Farbe, Zubehör). Nach dem Bau mache einen Screenshot aus einer Nahaufnahme-Kamera und bewerte es. Gehe nicht unter 8 weiter. Geometrie vor Textur: Eine Bettdecke ist ein drapiertes Tuch, ein Bücherregal ist offen mit echten Büchern, ein Kissen ist dick und lehnt. → grimoire/build/procedural_recipes.md

8. Ein Mesh, geformt – niemals zusammengesetzt

Eine organische Form (ein Kopf, ein Ohr, ein Torso, ein Glied, eine Hand, ein Gewand) ist eine geschlossene Oberfläche, geformt durch Bewegen ihrer eigenen Scheitelpunkte: wölbe sie aus, senke sie ein, extrudiere ein Glied aus einer ihrer Flächen, verschiebe sie mit einem glatten Feld. Baue sie nicht aus einer Kugel plus einem Kegel plus einer zusammengesteckten Kapsel. Zusammengesetzte organische Formen erzeugen jedes einzelne Mal: eine helle Naht, die sich mit dem Licht bewegt; einen Umrissring um den verdeckten Teil; ein Teil, das sich löst, wenn sich ein Gelenk dreht; Z-Fighting-Schimmer; einen „transparenten“ Look durch ein falsch gewickeltes Sub-Mesh; und einen Schattierungsbruch, den keine Materialanpassung beheben kann.

Wann es gilt: Alles, was im Referenzbild Haut teilt, muss im Bau ein Mesh teilen – eine Nase ist das nach vorne geschobene Gesicht, ein Ohr ist der erhöhte Schädel. Echte separate Objekte (eine Lampe, ein Buch, ein Pfosten, ein Fensterrahmen) bleiben separate Primitive; kleine starre Festkörper, die auf einer Oberfläche sitzen und sich nie verformen (Haarlocken, Nieten, Blüten) sind instanziierte Juwelen auf der geformten Haut; lange dünne Verläufe sind ein einzelner geschwungener Schlauch, keine Kette von Kapseln.

Zwei Substrate: ein Verschiebungsfeld auf einem dicht unterteilten Primitiv (Köpfe, nahezu kugelförmige Formen) oder ein Box-Modellierungs-Käfig + Catmull-Clark, dann Verschiebung für das Detail (Körper, Gliedmaßen, Hände, Kleidung). Beide hinterlassen eine Haut, an die das Rig gebunden ist.

Warum: Jedes zusammengesetzte organische Objekt in der Geschichte dieses Projekts wurde am Ende als ein Mesh neu aufgebaut, nachdem die Nähte jeweils eine Überprüfungsrunde gekostet hatten. → grimoire/build/one_mesh_sculpting.md, grimoire/build/box_modelling.md

9. Überlege zuerst, dann modelliere Schritt für Schritt, jeder Schritt abgeschlossen

Bevor du die Geometrie berührst, schreibe die Form auf: das Basisvolumen, welche Merkmale erhöht, welche vertieft, welche eine Neigungsänderung sind, und in welcher Reihenfolge sie angewendet werden müssen – jeder Schritt baut auf der Oberfläche auf, die der vorherige hinterlassen hat. Teile dann die Arbeit in Schritte auf, die jeweils eine gültige, überprüfbare Oberfläche hinterlassen (leere Basis → große Ebenen → primäre Merkmale → sekundäre → feine Details), und schließe jeden Schritt ab, bevor du mit dem nächsten beginnst: mache einen Screenshot, gib sein numerisches Profil aus, zeige es, lass es akzeptieren. Ein in Schritt 2 zurückgelassener Wackler ist in Schritt 5 nicht mehr korrigierbar, weil jetzt fünf Felder darauf sitzen. Niemals ein Schritt, dessen Ergebnis erst nach einem späteren Schritt beurteilt werden kann.

Warum: Der Kopf, der Klumpen für Klumpen geformt wurde, wurde zweimal weggeworfen; der gleiche Kopf, geformt als leeres Gesicht → Vertiefung → Augen → Mund → Nase, eine Freigabe pro Pfeil, wurde akzeptiert. → grimoire/build/one_mesh_sculpting.md

10. Überprüfe die Oberfläche mit Zahlen, nicht mit den Augen

Gib ein Profil über die Oberfläche aus – die Mittellinie eines Gesichts, einen Weg über eine Handfläche, einen Ring um ein Gelenk – und überprüfe, ob es dort monoton ist, wo es sein sollte. Ein Plateau zwischen zwei Erhebungen erscheint dem Auge als Delle, und eine spiegelnde Glanzlicht verdeckt beides. Zähle nach jeder Käfigoperation auch die Kanten, die von ≠ 2 Flächen verwendet werden: ungleich Null bedeutet einen T-Knoten, und die Unterteilung wird ihn als harte Falte darstellen. → grimoire/build/box_modelling.md, grimoire/build/one_mesh_sculpting.md

11. Geschlossene Festkörper, korrekte Wicklung, eine Oberfläche wo möglich

Ein handgefertigter geschwungener Schlauch hat zwei mögliche Dreiecksordnungen und nur eine zeigt nach außen; die falsche lässt FrontSide die äußere Hülle cullieren, so dass du das Innere des Objekts siehst – die Figur sieht transparent und „schlecht genäht“ aus, und du wirst das Material beschuldigen. LatheGeometry ist ein offener Schlauch. Gelenkkugeln müssen größer sein als die Schlauch-Enden, die sie abdecken. Bevorzuge ein durchgehendes Profil (Hals und Torso in einem einzigen Schwung) gegenüber zwei zusammengesteckten Primitiven: „weit genug innen, dass es nicht sichtbar ist“ gilt nicht mehr, sobald sich ihre Querschnitte unterscheiden oder sich ein Gelenk dreht. Diagnostiziere mit ?diag=flat (undurchsichtiges Material – immer noch durchsichtig bedeutet Geometrieproblem), ?diag=norm, dann ?off=<Teil>. Warum: Mehrere Überprüfungsrunden flossen in die Materialanpassung für einen Einzeiler-Indexreihenfolge-Bug. → grimoire/build/solid_geometry.md

12. Shader schweigen still – richte den Fehler-Hook zuerst ein

renderer.debug.onShaderError auf der Seite, bevor du benutzerdefiniertes Material schreibst. Ein ShaderMaterial, das nicht kompiliert, rendert nichts und protokolliert nur in die Konsole. Kenne dann die stillen Fehler: modelMatrix existiert nur in der Vertex-Stufe; pow(negativ, 2.0) und smoothstep(hi, lo, x) sind undefiniert in GLSL und ergeben NaN; ein ganzzahliger Hash, der vor seinen Bit-Operationen zu Double überläuft, ist verzerrt und ebnet jede Textur in der Szene ein; ein Fresnel kann keine Atmosphäre erzeugen, wenn die Kamera den Rand streift. → grimoire/build/shader_traps.md

13. Recherchiere bei Unsicherheit

Wenn eine Konstruktion unbekannt ist (Stoff, Haare, ein Lampenbogen), suche in den three.js-Beispielen, im Forum und in verwandten Skills, liste bis zu drei Ansätze auf, wähle den kontrollierbarsten, zitiere die Quelle und halte den Fund in grimoire/research/when_unsure.md fest. Überprüfe Mathematik mit Node (Euler-Reihenfolge, φ-Ursprünge der Geometrie), anstatt darüber zu grübeln. → grimoire/research/when_unsure.md

14. Bewegung muss menschlich wirken

Root-Euler-Reihenfolge YZX; Oberschenkel negativ = vorwärts, Wade positiv = zurückklappen; auf dem Rücken rx=-π/2, Bauchlage fügt rz=π hinzu, Seitenlage fügt rz=±π/2 hinzu. Die rotation.x eines Kopfes ist intuitiv invertiert – Rx(+t) schaut nach unten. Gib dramatische Gesten an als Handfläche hier, zeigt dorthin, Finger so und löse sie mit forge/solve_ik_arm.mjs, schlüssele sie sequentiell mit einem Kontinuitätsterm, damit die Posen auf einem Zweig bleiben und als eine einzige Bewegung interpolieren. Wegpunkte (via) leiten Charaktere um Möbel herum. Sitz- und Liegehöhen werden von der Bettdeckenoberseite aus gemessen. Protokolliere Gelenke und Begrenzungsrahmen für jeden Charakter, der „verschwindet“. Mache einen Screenshot von jeder Szene. Binde die Haut mit starren Segmenten und einem kurzen Gelenk (ein Glieddurchmesser an Vermischung, ein Halbdrehungs-Knochen am Gelenk, Käfigschleifen, die auf dem Gelenk gefächert sind), und leite jede Gelenkachse ab, anstatt sie anzunehmen – die Beugeachse eines Handgelenks ist Unterarm × HandflächenNormal, und wenn man sie auf der Scharnierachse des Ellenbogens aufbaut, bewirkt der Schlüssel buchstäblich nichts. Vom Charakter verursachte Effekte gehören zur Taktung des Clips, nicht zu einer Einstellung. → grimoire/build/characters.md, grimoire/build/motion_timeline.md, grimoire/build/skinning_rig.md

15. Mache Screenshots von allem, dann Selbstüberprüfung

Headless Chrome auf dem GPU-Pfad (Sekunden), Viewport im Seitenverhältnis des Videos, hstack gegen das Referenzbild. Vor der Übergabe schreibe eine bewertete Selbstüberprüfungstabelle mit einer Lückenliste und lass den Benutzer die nächste Charge wählen. „Verbessert“ ist nicht „fertig“. → grimoire/review/verification.md, grimoire/review/self_review.md

16. Die „Nein“-Liste des Benutzers ist dauerhaft

Alles, was der Benutzer ablehnt, wird in grimoire/feedback/user_signals.md aufgenommen und niemals wieder eingeführt (schwebende Partikel, gemaltes Licht, Lego-Bettzeug, fadenartige Haare, hundeähnliche Beine, Licht an Wänden …). → grimoire/feedback/user_signals.md

17. Vom Projektstammverzeichnis aus bereitstellen

vercel --prod (oder jede Bereitstellung) nur vom Projektverzeichnis aus. Schreibe die Projektdatei CLAUDE.md mit dem Koordinatensystem, der Kamera, der Farbpalette, den Debug-Parametern und den Benutzerlisten. → grimoire/review/handoff.md

Pipeline

PhaseAufgabeAusgabeLese
0Video abrufen, Einzelbilder und ein Rasterbild extrahierenframe_*.jpg, grid_01.jpgintake/frame_extraction.md
1Multi-Winkel-AnalyseFaktenblatt, Inventar, Palette, Charakterkarten, Szenentabelleintake/multi_view_analysis.md
2Raum: Wände → Rahmen → Kameraberechnung → Layout-Vertraglandmarks.json, CAM/LOOK/fov, Vertragspace/*
3Grundgerüst mit Live-Vorschau; gestaffeltes Skelett aus der Vorlagelaufende Seite, die der Benutzer beobachtetbuild/live_preview.md
4LichtFensterloch, Dach, Rampe, Sonne; ?diag=sun sauberbuild/lighting.md
5Objekte einzeln; organische Formen als ein geformtes Mesh, Schritt für SchrittNahaufnahmen pro Objekt ≥8/10, Profilausgabenbuild/one_mesh_sculpting.md, build/box_modelling.md, build/procedural_recipes.md, build/solid_geometry.md, build/shader_traps.md
6Charaktere: formen → riggen → Gewichte → Gestenschlüssel → BewegungsablaufSzenen-Screenshots, Gewichtskarte, IK-Protokollbuild/characters.md, build/skinning_rig.md, build/motion_timeline.md
6bVolumetrische Effekte (Feuer, Sturm, Explosion), synchron zum ClipOrbit + In-Shot-Screenshotsbuild/volumetrics.md
7Kamera-UX: Orbit, Kopieren/Persistieren, EinführungC/R, Einführungsaufnahmen verifiziertbuild/camera_ux.md
8Verifizieren und selbst überprüfen; Schleife mit dem BenutzerGegenüberstellungen, bewertete Tabellereview/*
9Bereitstellen und übergebenURL, Projekt-CLAUDE.mdreview/handoff.md

Definition von „Fertig“

  • Gegenüberstellung mit dem Referenzbild: Wände, Ecken, Möbel, Zubehör und Charaktere sind in Position und Proportion an Ort und Stelle.
  • Die Palette ist eine Pixel-für-Pixel-Entnahme, nicht geraten.
  • Die Sonne wirft Schatten, die die tatsächliche Fensteröffnung und Tageszeit des Videos widerspiegeln.
  • Charaktere haben einen nachvollziehbaren Bewegungsablauf von einer Aktion zur nächsten, wobei die Kamera nicht verschoben wird, wenn die Geste des Charakters die Bewegung ist.
  • Der Benutzer hat eine Live-Vorschau-Seite geöffnet, auf der er sich umsehen und den Fortschritt sehen kann.
  • Keine schwebenden Partikel, keine gemalten Lichtflecken, kein Wolkenkratzer-Schatten, keine Lego-Bettdecke, kein aufgedunsenes Gesicht, kein verdecktes Gelenk, keine unsichtbare Wand.

(Definitiv nicht fertig: der Benutzer musste angeben, dass etwas fehlt.)

Vermächtnis/

  • grimoire/ – die detaillierte Vertrags- und Anleitungsverzeichnis für jede Phase.
  • forge/ – Werkzeuge: solve_camera.mjs, solve_ik_arm.mjs, Frame-Compare.
  • template/ – Gerüst einer leeren Szene, die in Phase 3 kopiert wird.
  • research/when_unsure.md – Ausgrabungen zu Bauweisen.
  • feedback/user_signals.md – Dauerhafte „Nein“-Liste.

(Das Verzeichnis legacy/ enthält vorherige Iterationen und wird nicht aktiv verwendet, außer für historische Referenz.)

Verwandte Skills