Communitygithub.com

video2threejs

참조 비디오(생성형 AI 영상 또는 촬영본)를 레이아웃, 색상, 조명, 오브젝트, 캐릭터 및 동작 타임라인이 1:1로 일치하는 코드 전용 절차적 Three.js 디오라마로 재구성합니다.

video2threejs란 무엇인가요?

이 스킬은 사용자가 제공한 참조 비디오(Seedance, Sora, Veo 등의 AI 생성 영상 또는 일반 동영상)를 분석하여 코드로만 이루어진 Three.js 씬으로 완벽하게 복제합니다. 단순한 비디오-투-메시 변환이나 에셋 다운로드와 달리, 모든 객체(벽, 가구, 캐릭터, 침구, 머리카락 등)를 절차적(procedural) 기법으로 직접 모델링하고, 원본 영상의 레이아웃, 색상 팔레트, 조명 조건, 캐릭터의 정확한 포즈와 움직임 타임라인을 1:1로 재현합니다. 지원 플랫폼으로는 Claude Code, Cursor, Codex, Windsurf 등 모든 일반적인 AI 코딩 에이전트 환경에서 실행되도록 설계되었습니다. 핵심 프로세스는 여러 프레임 추출 및 다각도 분석, 원근법 해결을 통한 카메라 보정, 객체별 조각(sculpting) 작업, 라이브 프리뷰를 통한 즉각적 피드백, 그리고 최종 배포까지 총 9단계로 구성됩니다. 이 스킬의 핵심 규칙은 하나의 메시로 유기적 형태를 조각하고(조립 금지), 숫자 기반 표면 검증, 실제 광원 모델링, 사용자 피드백 기반 반복 개선 등을 포함합니다. 특히 영상 내 캐릭터의 움직임을 자연스럽게 재현하기 위해 역운동학(IK)과 스키닝 리깅 기법을 사용하며, 셰이더 오류 감지 훅을 필수로 적용합니다.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/pacb9148/Video2ThreeJS/tree/HEAD

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

video2threejs — 비디오 → 절차적 Three.js 씬

참조 비디오(Seedance/Sora/Veo 결과물 또는 실제 영상)를 코드 전용, 제로 에셋 Three.js 씬으로 재구성합니다. 기준은 1:1입니다: 카메라, 모든 오브젝트의 위치와 비율, 팔레트, 조명, 캐릭터 외형, 그리고 캐릭터가 따르는 동작 타임라인.

코드에 의한 재구성입니다 — NeRF 방식이 아니며, 비디오-투-메시 방식도 아니고, 다운로드한 에셋 팩도 아닙니다. img2threejs (한 이미지에서 하나의 오브젝트 또는 캐릭터)의 자매 스킬입니다. 이 스킬은 사람과 시간이 있는 전체 공간을 다룹니다.

이 파일은 항상 로드되는 라우터입니다. 여기에는 작업 순서, 근거가 포함된 엄격한 규칙, 완료 기준, 안티패턴이 저장됩니다. 각 단계의 전체 계약은 규칙 이름이 지정된 grimoire/ 파일에 있습니다 — 해당 단계에 도달했을 때 읽고, 그 전에는 읽지 마십시오.

사용 시기

  • 사용자가 비디오 또는 비디오가 포함된 트윗을 공유하면서 "이걸 three.js로 재구성/복제해 줘"라고 요청할 때.
  • 사용자가 특정 부드럽거나 유기적인 오브젝트(이불, 베개, 봉제 인형, 애니메이션 머리카락, 고양이)를 절차적으로 모델링하는 방법을 물을 때.
  • 방 또는 인테리어를 영상에서 1:1로 재구성하여 게임, 디오라마, 대화형 헌정물로 만들고자 할 때.
  • 사용하지 않는 경우: 단일 이미지에서 단일 히어로 오브젝트(이 경우 img2threejs 사용), 또는 GLB 에셋 다운로드가 허용되는 프로젝트.

필수 입력 사항

  • 비디오 (mp4 URL / 트윗 URL / 파일). 트윗인 경우 미디어 변형을 가져와 720p mp4를 다운로드합니다.
  • 사용자의 허용 범위: "1:1" (이 스킬의 기본값) 또는 "분위기만".
  • 사용자가 브라우저에서 열 수 있는 개발 서버를 실행할 장소.

엄격 규칙

아래 각 규칙은 Blue Room 사례 연구에서 재작업이라는 대가를 치르고 얻은 것입니다. 스타일상 선호 사항이 아닙니다.

1. 조각하는 동안 라이브 프리뷰

개발 서버를 시작하고 모델링하기 전에 사용자를 위해 페이지를 엽니다. 핫 리로드되는 단계(벽 → 가구 → 조명 → 캐릭터 → 동작 → 인트로 카메라)로 씬을 작성합니다. 페이지 모서리에 단계 레이블을 배치하고, window.onerror를 그곳으로 라우팅하여 런타임 오류가 페이지에서 보이도록 합니다. 이유: 피드백은 잘못된 벽이 나타나는 순간에 가장 저렴하며, 방 전체가 그 주위에 배치된 후에는 훨씬 비쌉니다. → grimoire/build/live_preview.md

2. 먼저 비디오를 여러 각도에서 분석

클립 전체에서 최소 8개의 프레임을 추출합니다. 공간적 사실(어느 벽, 어느 코너, 무엇 위에 무엇이 있는지)에 대해 그리드가 표시된 프레임을 셀 단위로 읽고, 두 번째 프레임에서 모든 사실을 확인합니다. 그래도 원근법이 해결되지 않으면 사용자에게 스크린샷에 코너와 바닥선을 그려 달라고 요청합니다. 코드를 작성하기 전에 공간 사실 시트, 오브젝트 목록, 팔레트, 캐릭터 카드 및 동작 씬 테이블을 생성합니다. 각 샷에 대해 무엇이 움직이는지 — 피사체인지 카메라인지 명시적으로 결정합니다. 이를 잘못 판단하면 비용이 많이 듭니다: 느린 푸시인 줄 알았던 샷이 실제로는 정적 카메라가 팔이 올라가는 것을 촬영한 것임이 밝혀지고, 팔에는 리그가 없었던 경우가 있었습니다. 이유: 확신에 찬 세 번의 재구축이 창문을 잘못된 위치에 배치했습니다. 하나의 빨간 펜 스케치가 그것을 고쳤습니다. → grimoire/intake/multi_view_analysis.md, grimoire/intake/frame_extraction.md

3. 오브젝트보다 공간 먼저; 카메라 해결

보이는 벽과 코너를 결정하고, 좌표 프레임을 설정합니다(왼쪽 벽 x = LW, 오른쪽 벽 z = RW). 그런 다음 forge/solve_camera.py를 사용하여 랜드마크 분수에서 카메라를 해결합니다. 그 후에야 가구를 배치합니다. 측정값(랜드마크 화면 위치 및 겉보기 크기)을 forge/solve_camera.mjs로 해결하고, 솔버가 잘못된 분기를 선택하지 못하도록 앙각을 제한합니다. 프레이밍을 추구하기 전에 그것이 가능한지 확인합니다: 합성 참조물의 두 샷이 종종 하나의 스케일로 공존할 수 없습니다(그리모아의 삼각 부등식 테스트). 그렇다면 말하고, 가장 가까운 일관된 프레이밍을 취하고 넘어갑니다. 이유: 감으로 배치된 카메라는 모든 이후의 비교를 거짓으로 만듭니다. 불가능한 카메라는 영원히 거짓으로 만듭니다. → grimoire/space/perspective_solving.md

4. 작성된 레이아웃 계약서 유지

오브젝트당 한 줄: 벽, 위치, 크기, 관계, 참조 프레임. 모든 사용자 수정은 먼저 계약서를 수정한 다음 코드를 수정합니다. 계약서는 가구, 포즈 및 카메라 솔버에서 사용하는 위치에 대한 단일 진실 공급원입니다. → grimoire/space/layout_contract.md

5. 색상은 픽셀에서 얻음

그리드 프레임에서 각 오브젝트의 조명 영역과 그늘진 영역을 샘플링합니다. 그 사이에서 기본 색상을 선택하고 밝은 쪽으로 치우칩니다. 절대 기억에서 색상을 입력하지 마십시오. → grimoire/intake/frame_extraction.md

6. 실제 조명, 진단된 조명, 절대 칠하지 않음

실제 창문이 열린 튼튼한 벽; 방 내부를 정확히 덮는 지붕; 맨 아래 단계가 0인 툰 램프; 방을 덮는 그림자 카메라가 있는 따뜻한 태양 하나. 절대 칠해진 바닥 패치, 볼류메트릭 평면 또는 떠다니는 입자로 조명을 가짜로 만들지 마십시오. 직접 태양 전용 렌더(?diag=sun)로 진단합니다: 벽과 천장은 검은색이어야 하고, 패치는 기하학이 말하는 곳에 떨어져야 합니다. → grimoire/build/lighting.md

7. 오브젝트를 하나씩 8/10까지 조각

오브젝트를 만들기 전에 참조 기능(모양, 위치, 색상, 액세서리)을 나열합니다. 구축 후 클로즈업 카메라로 스크린샷을 찍고 점수를 매깁니다. 8점 미만으로 넘어가지 마십시오. 텍스처보다 지오메트리: 이불은 드레이프된 시트이고, 책장은 실제 책이 있는 열린 상태이며, 베개는 두껍고 기대어 있습니다. → grimoire/build/procedural_recipes.md

8. 하나의 메시, 조각 — 절대 조립하지 않음

유기적인 형태 (머리, 귀, 몸통, 팔다리, 손, 로브)는 자체 정점을 이동시켜 형성된 하나의 닫힌 표면입니다: 부풀리고, 움푹 패이고, 한 면에서 팔다리를 돌출시키고, 부드러운 필드로 변위시킵니다. 구체와 원뿔과 캡슐을 모아서 만들지 마십시오. 조립된 유기체는 매번 다음을 생성합니다: 빛과 함께 움직이는 밝은 이음새, 묻힌 부분 주변의 윤곽 링, 관절이 회전할 때 분리되는 조각, z-파이팅 반짝임, 잘못 감긴 하위 메시로 인한 "투명한" 외관, 그리고 어떤 재료 조정도 제거할 수 없는 음영 끊김.

적용 시점: 참조에서 피부를 공유하는 모든 것은 구축에서 메시를 공유해야 합니다 — 코는 얼굴이 앞으로 밀려난 것이며, 귀는 두개골이 솟아오른 것입니다. 진정으로 분리된 오브젝트(램프, 책, 기둥, 창틀)는 별도의 프리미티브로 유지됩니다. 표면 위에 놓이고 절대 변형되지 않는 작은 강체 고체(머리카락 컬, 리벳, 꽃)는 조각된 피부 위에 인스턴스화된 장식품입니다. 길고 가는 런은 하나의 스윕 튜브이지, 캡슐 체인이 아닙니다.

두 가지 기질(substrate): 밀도가 높은 세분화된 프리미티브(머리, 구형에 가까운 형태)에 대한 변위 필드, 또는 박스 모델링 케이지 + Catmull-Clark, 그리고 세부 사항을 위한 변위(몸체, 팔다리, 손, 의복). 둘 다 하나의 피부를 남기며, 리그가 바인딩하는 대상입니다.

이유: 이 프로젝트 역사상 모든 조립된 유기체는 결국 하나의 메시로 재구축되었으며, 이음새가 각각 한 번의 검토 라운드를 소모한 후였습니다. → grimoire/build/one_mesh_sculpting.md, grimoire/build/box_modelling.md

9. 먼저 추론하고, 그런 다음 단계별로 조각하며 각 단계를 완료

지오메트리를 건드리기 전에 형태를 적어 둡니다: 기본 볼륨, 어떤 특징이 올라가고, 어떤 특징이 움푹 들어가고, 어떤 것이 기울기 변화인지, 그리고 어떤 순서로 적용되어야 하는지 — 각 단계는 이전 단계가 남긴 표면 위에 구축됩니다. 그런 다음 작업을 각각 유효하고 확인 가능한 표면을 남기는 단계로 나누고(빈 베이스 → 큰 평면 → 주요 특징 → 보조 → 미세 세부), 다음 단계를 시작하기 전에 각 단계를 완료합니다: 스크린샷을 찍고, 숫자 프로필을 덤프하고, 보여주고, 승인을 받습니다. 2단계에서 남겨진 흔들림은 5단계에서 수정할 수 없습니다. 그 위에 다섯 개의 필드가 놓이기 때문입니다. 결과를 이후 단계가 적용된 후에만 판단할 수 있는 단계는 절대 허용하지 마십시오.

이유: 덩어리로 조각된 머리는 두 번 폐기되었습니다. 빈 얼굴 → 함몰 → 눈 → 입 → 코로 조각된 동일한 머리는 화살표당 한 번의 승인으로 수락되었습니다. → grimoire/build/one_mesh_sculpting.md

10. 눈이 아닌 숫자로 표면 검증

표면을 가로지르는 프로필(얼굴의 중심선, 손바닥을 가로지르는 레인, 관절 주위의 링)을 덤프하고, 필요한 곳에서 단조로운지 확인합니다. 두 개의 융기 사이의 고원은 눈에 움푹 들어간 곳으로 읽히며, 정반사 하이라이트는 둘 다 숨깁니다. 케이지 작업 후에는 ≠ 2개의 면을 사용하는 모서리 개수를 세십시오: 0이 아닌 경우 T-접합을 의미하며, 세분화는 이를 하드 크리즈로 렌더링합니다. → grimoire/build/box_modelling.md, grimoire/build/one_mesh_sculpting.md

11. 닫힌 솔리드, 올바른 권선, 가능하면 하나의 표면

손으로 만든 스윕 튜브에는 두 가지 가능한 삼각형 순서가 있으며 하나만 바깥쪽을 향합니다. 잘못된 순서는 FrontSide가 외부 셸을 컬링하여 오브젝트의 내부를 보이게 만듭니다 — 그림이 투명하고 "제대로 꿰매지지 않은" 것처럼 보이며, 재료를 탓하게 됩니다. LatheGeometry는 열린 튜브입니다. 조인트 볼은 덮는 튜브 끝보다 커야 합니다. 두 개의 프리미티브를 서로 붙이는 것보다 하나의 연속적인 프로필(목 과 몸통을 단일 스윕으로)을 선호하십시오: "내부에 충분히 깊이 들어가서 보일 수 없다"는 것은 단면이 다르거나 관절이 회전하자마자 더 이상 사실이 아닙니다. ?diag=flat (불투명 재료 — 여전히 비치면 지오메트리 문제), ?diag=norm, 그런 다음 ?off=<part>로 진단합니다. 이유: 여러 검토 라운드가 한 줄의 인덱스 순서 버그에 대한 재료 조정에 소비되었습니다. → grimoire/build/solid_geometry.md

12. 셰이더는 조용히 실패 — 먼저 오류 훅 연결

renderer.debug.onShaderError를 페이지에 연결하고, 그런 다음 사용자 정의 재료를 작성합니다. 컴파일에 실패하는 ShaderMaterial은 아무것도 렌더링하지 않고 콘솔에만 로그합니다. 그런 다음 조용한 것들을 알아두십시오: modelMatrix는 버텍스 단계에만 존재합니다. pow(음수, 2.0) 및 smoothstep(hi, lo, x)는 GLSL에서 정의되지 않아 NaN을 생성합니다. 비트 연산 전에 double로 오버플로우되는 정수 해시는 편향되어 씬의 모든 텍스처를 평평하게 만듭니다. 카메라가 림을 스키밍할 때 프레넬은 분위기를 만들 수 없습니다. → grimoire/build/shader_traps.md

13. 확실하지 않으면 조사

구성이 알려지지 않은 경우(천, 머리카락, 램프 아크), three.js 예제, 포럼 및 자매 스킬을 검색하고, 최대 세 가지 접근 방식을 나열하고, 가장 제어 가능한 것을 선택하고, 출처를 인용하고, 결과를 grimoire/research/when_unsure.md에 기록합니다. 그것에 대해 추론하기보다는 node(오일러 순서, 지오메트리 φ 원점)로 수학을 검증합니다. → grimoire/research/when_unsure.md

14. 동작은 인간처럼 보여야 함

루트 오일러 순서 YZX; 허벅지 음수 = 앞으로, 종아리 양수 = 뒤로 접힘; 등에서 rx=-π/2, 엎드리면 rz=π 추가, 측면은 rz=±π/2 추가. 머리의 rotation.x는 직관과 반대입니다 — Rx(+t)는 아래를 봅니다. 극적인 제스처를 여기에 손바닥, 저 방향, 손가락은 저쪽으로 지정하고 forge/solve_ik_arm.mjs로 해결하며, 연속성 항과 함께 순서대로 키프레임하여 포즈가 하나의 분기에 머물러 단일 움직임으로 보간되도록 합니다. 웨이포인트(via)는 가구 주위로 캐릭터를 경로 지정합니다. 앉고 눕는 높이는 이불 꼭대기에서 측정됩니다. "사라지는" 캐릭터에 대해 관절과 경계 상자를 기록합니다. 모든 씬의 스크린샷을 찍습니다. 강체 세그먼트와 짧은 힌지(팔다리 지름 하나의 블렌드, 관절에서 반 회전 뼈, 관절 위에 부채꼴로 퍼지는 케이지 루프)로 스킨을 바인딩하고, 가정하는 대신 모든 관절 축을 도출합니다 — 손목의 굴곡 축은 forearm × palmNormal이며, 팔꿈치 힌지 축에 구축하면 키가 문자 그대로 아무 효과도 없습니다. 캐릭터가 유발하는 효과는 샷의 클록이 아닌 클립의 클록에 속합니다. → grimoire/build/characters.md, grimoire/build/motion_timeline.md, grimoire/build/skinning_rig.md

15. 모든 것의 스크린샷을 찍은 다음 자체 검토

GPU 경로의 Headless Chrome(몇 초), 비디오 종횡비의 뷰포트, 참조 프레임에 대한 hstack. 전달하기 전에 갭 목록과 함께 점수가 매겨진 자체 검토 테이블을 작성하고 사용자가 다음 배치를 선택하도록 합니다. "개선됨"은 "완료"가 아닙니다. → grimoire/review/verification.md, grimoire/review/self_review.md

16. 사용자의 "거부" 목록은 영구적입니다.

사용자가 거부한 모든 것은 grimoire/feedback/user_signals.md에 들어가고 절대 다시 도입되지 않습니다(떠다니는 입자, 칠해진 빛, 레고 침구, 실 같은 머리카락, 개 같은 다리, 벽에 빛 …). → grimoire/feedback/user_signals.md

17. 프로젝트 루트에서 배포

vercel --prod (또는 모든 배포)는 프로젝트 디렉토리에서만 가능합니다. 좌표 프레임, 카메라, 팔레트, 조명, 오브젝트 사실, 디버그 매개변수 및 사용자 목록을 사용하여 프로젝트 CLAUDE.md를 작성합니다. → grimoire/review/handoff.md

파이프라인

단계수행출력참조 파일
0비디오 가져오기, 프레임 및 그리드 이미지 추출frame_*.jpg, grid_01.jpgintake/frame_extraction.md
1다각도 분석사실 시트, 인벤토리, 팔레트, 캐릭터 카드, 씬 테이블intake/multi_view_analysis.md
2공간: 벽 → 프레임 → 카메라 해결 → 레이아웃 계약landmarks.json, CAM/LOOK/fov, 계약서space/*
3라이브 프리뷰로 스캐폴드; 템플릿에서 단계별 스켈레톤사용자가 보는 실행 페이지build/live_preview.md
4조명창문 구멍, 지붕, 램프, 태양; ?diag=sun 깨끗함build/lighting.md
5오브젝트 하나씩; 유기적 형태는 하나의 조각된 메시로, 단계별로오브젝트별 클로즈업 ≥8/10, 프로필 덤프build/one_mesh_sculpting.md, build/box_modelling.md, build/procedural_recipes.md, build/solid_geometry.md, build/shader_traps.md
6캐릭터: 조각 → 리그 → 가중치 → 제스처 키 → 동작 타임라인씬별 스크린샷, 가중치 맵, IK 로그build/characters.md, build/skinning_rig.md, build/motion_timeline.md
6b볼류메트릭 효과(불, 폭풍, 폭발), 클립에 키프레임궤도 + 샷 내 스크린샷build/volumetrics.md
7카메라 UX: 궤도, 복사/유지, 인트로C/R, 인트로 샷 확인됨build/camera_ux.md
8검증 및 자체 검토; 사용자와 반복나란히 비교, 점수 표review/*
9배포 및 인계URL, 프로젝트 CLAUDE.mdreview/handoff.md

완료 기준

  • 참조 프레임과 나란히 비교: 벽, 모든 오브젝트의 위치와 비율이 일치합니다.
  • 팔레트가 시각적으로 일치합니다.
  • 조명이 사실적입니다(직접 태양 진단 통과).
  • 캐릭터 포즈와 동작 타임라인이 원본과 일치합니다.
  • 사용자가 최종 결과를 승인했습니다.
  • 배포된 URL이 작동합니다.

관련 스킬