Treemation — 3D 교육 영상
이 스킬은 examples/zenhosta/ 폴더의 예시 영상("Kok website bisa online?")과 같은 영상을 제작합니다: 픽셀 스킨 호스트(블록 같은 샌드박스 게임 스타일 캐릭터 + 픽셀화된 애니메이션 얼굴)는 사용자 컨텍스트에 맞게 조정되며, 마스코트 "Byte", 다양한 카메라 샷(얼굴 클로즈업, 마스코트 클로즈업, 3D 일러스트레이션 중심, 와이드, 로우 앵글), 주제를 따르는 배경 테마, 상단의 단계 레이블과 진행 막대, 소품을 위한 떠 있는 3D 스테이지, 3D 세트(데이터 센터, 사무실, 창고, 도시 등 전체 공간/장소가 호스트 뒤에 구축되어 호스트가 그 앞에 떠 있고 카메라가 내부로 비행), 단어가 발화될 때 정확히 나타나는 UI 패널, 큰 자막(키워드는 노란색), 그리고 목소리를 따라 움직이는 입을 갖춘 호스트를 포함합니다.
사용자와의 모든 커뮤니케이션은 인도네시아어(스크립트, 자막, 채팅 응답)로 이루어집니다.
트리거 규칙 (먼저 읽으세요 — 사용자의 한 문장이면 충분합니다)
A. 사용자가 주제를 언급합니다 — 예: "buat konten edukasi apa itu domain", "bikin video soal cara kerja email, CTA ke tokoku.id", "konten tiktok: kenapa harga emas naik"
- 이는 콘텐츠 제작 요청이며, 질문이 아닙니다. 채팅에서 주제를 설명하지 말고, 자료를 요약하지도 말며, 되묻지도 마세요("원하는 길이는?", "대상 시청자는?", "CTA 사용?").
- 아래 기본값을 사용하여 즉시 1단계로 진행한 후, 1단계 형식(
references/output-format.md)으로 응답하세요: 붙여넣기 가능한 ElevenLabs 스크립트, 캐릭터, 썸네일, 장면 표,video-plan.json경로. 마지막 문장은 "Kirim MP3 dari ElevenLabs, nanti langsung aku jadikan video."로 끝냅니다. - 명시되지 않은 경우 기본값: 길이 ±60–70초(120–150단어), 주제에 따라 2–4단계, 캐릭터는
karakter.md(사용자 컨텍스트 → 틈새시장 → 사전 설정raka)에서 선택, 마무리 CTA는 "Follow buat konten edukasi lainnya!"(브랜드 없음). 사용자가 브랜드/URL을 명시하면 CTA에 사용합니다. 모든 기본값은 나중에 변경 가능합니다 — 응답에 간략히 언급하고 먼저 묻지 마세요. - 주제가 변경 가능한 사실(가격, 규정, 최근 데이터)에 의존하고 웹 접근이 가능하다면 먼저 확인하세요; 그렇지 않으면 현재 수치에 의존하지 않는 스크립트를 작성하세요.
B. 사용자가 MP3를 보냅니다(메시지 유무와 관계없이) — 확인 없이 2단계를 완료까지 실행합니다: 프로젝트 찾기, 정렬, scenes.js 작성, 스틸 확인, 렌더링, 썸네일, 인코딩, 결과 확인 후 2단계 형식으로 응답합니다.
- 프로젝트 찾기:
python <skill>/scripts/find_project.py는 프로젝트와 상태를 나열합니다.plan.json은 있지만 아직 오디오가 없는 프로젝트(가장 최신)를 사용합니다. MP3 파일 이름이나 주제를 언급하는 사용자 메시지가 시간 순서보다 우선합니다. 여러 후보가 동등하게 가능한 경우에만 짧은 질문 하나를 하세요. - 프로젝트가 전혀 없음 → 사용자에게 ElevenLabs에서 읽은 텍스트를 붙여넣도록 요청하고(정렬을 위해 정확한 텍스트 필요), 해당 텍스트를 중심으로
plan.json을 작성하되 단어를 변경하지 말고, 2단계를 계속 진행합니다. - 오디오 길이가 예상과 크게 다르거나(> 25%)
align.py가 많은 구문에<-- cek플래그를 지정한 경우 → 텍스트가 ElevenLabs에서 수정되었을 가능성이 높습니다. 사용된 텍스트를 요청하고, 계획의 내레이션을 업데이트한 후 반복합니다. - 중단해야 하는 유일한 이유: 종속성 누락(설치를 위해 한 번 허가 요청) 또는 스스로 해결할 수 없는 오류.
- 전체 렌더링은 시간이 걸릴 수 있습니다; 백그라운드에서 실행하고, 기다리는 동안 썸네일을 만들고, 세션이 지원할 때 짧은 진행 상황 업데이트를 게시하세요.
C. 사용자가 수정을 요청합니다("ganti karakternya jadi cewek berhijab", "judul thumbnail lebih singkat", "warna merek biru") → 동일한 프로젝트의 plan.json/scenes.js를 변경합니다. MP3가 존재하기 전에는 1단계 응답의 변경된 부분만 다시 보냅니다. 내레이션이 변경되면 사용자에게 MP3를 다시 생성해야 한다고 알립니다. 영상 완료 후에는 필요한 것만 다시 렌더링합니다(썸네일만 또는 전체 영상).
두 단계의 채팅 응답 형식은 references/output-format.md에 있습니다 — 정확히 따르세요.
프로젝트 폴더
하나의 영상 = 하나의 폴더 video-<짧은-주제>/(소문자, 하이픈, 예: video-apa-itu-domain)를 작업 디렉토리에 생성합니다. 1단계에서 생성하고 한 번만 설정합니다:
python <skill>/scripts/setup_project.py video-<topic>
이 명령은 엔진(index.html, engine.js, pixelchar.js)을 복사하고, npm을 통해 three.js + 글꼴 + 아이콘을 설치하며, icons.js를 생성하고, ffmpeg/numpy/playwright를 확인합니다. 줄이 PERLU:로 시작하면 먼저 해당 항목을 설치합니다(사용자 시스템에 설치하기 전에 허가를 요청하세요).
완료 시 폴더 내용: plan.json(직접 작성), scenes.js(직접 작성), narasi.mp3, naskah-elevenlabs.txt, video-plan.json, timeline.js/json, frames/, previews/, video.mp4.
1단계 — 개념 → 스크립트 + 장면 계획
references/naskah-dan-plan.md읽기(스크립트 작성 방법,plan.json스키마, 포즈, 표정, 마스코트 동작, 음향 효과 목록).- 사용자 컨텍스트에서 호스트 캐릭터 선택(
references/karakter.md읽기)하고plan.json의characters에 작성합니다.python <skill>/scripts/preview_characters.py <project> --plan을 실행하고 결과를 확인합니다; 가능하면 응답에previews/karakter.png를 포함하세요. references/hook.md읽기. 3가지 후크 버전(다른 유형)을 작성하고, 가장 강력한 것을 첫 번째 내레이션 문장 +plan.json의hook(큰 화면 텍스트, 대안)에 선택합니다. 장면 1은 세 가지 레이어 규칙을 충족해야 함:@start에서 강력한 샷, 첫 단어에 음향 효과, 인사/소개 없음.plan.json작성: 후크 → 소개(요점 수) → 단계 1..n → 요약 → CTA에 이어 6–9개 장면,thumbnail(표지 제목, 표시할 소품, 호스트 표정) 포함 — "썸네일" 섹션 참조. 각 장면의shots와background를 동시에 계획("Shot kamera" 및 "Latar adaptif" 섹션). 총 120–150단어 목표(≈ ElevenLabs에서 60–70초). 단계가 장소(서버실, 창고, 사무실, 거리, 교실, 공장…)에 관한 것이라면references/sets.md를 읽고 해당 장면에set사용(비디오당 1–2개 세트): 호스트가 3D 방 앞에 떠 있고, 카메라는 내레이션에서 명명된spot:으로 이동하며,mark는 그 부분을 가리키고,fx는 생동감을 부여합니다. 내장 세트에 없는 장소 → Stage 2에서scenes.js의defineSet()으로 구축합니다.python <skill>/scripts/plan_timing.py <project>실행 →video-plan.json(예상 타이밍) 및naskah-elevenlabs.txt생성. 출력 확인: 모든 트리거 단어가 발견되어야 하며, "Cek hook: OK" 가 인쇄되어야 하고, 세트 사용 시 "Cek set 3D: OK" 가 인쇄되어야 합니다 — 모든 ⚠ 경고를 수정하고 다시 실행하세요. 세트가 있는 비디오의 경우 선택 사항:plan_timing.py <project> --preview는 예상timeline.js도 작성하므로, MP3가 존재하기 전에render.py --stills가 세트의 모양을 확인할 수 있습니다(scenes.js필요; Stage 1에서는 한 줄이면 충분:import { register } from './engine.js'; register({});).references/output-format.md의 Stage 1 형식으로 사용자에게 응답: 붙여넣기 가능한 스크립트 블록, 발음 메모, 분 단위 장면 표,video-plan.json경로. MP3를 요청하세요.
2단계 — MP3 → 영상
- 오디오를
<project>/narasi.mp3로 저장합니다. plan.json의 내레이션이 정확히 읽힌 텍스트와 일치하는지 확인합니다(사용자가 ElevenLabs에서 스크립트를 편집했을 수 있음 — 확실하지 않으면 물어보거나, 예상과 큰 차이가 나면 텍스트가 다른 것입니다).python <skill>/scripts/align.py <project> --whisper→ 동기화된timeline.js,timeline.json,video-plan.json.--whisper사용 시(pip install faster-whisper필요; 첫 번째 모델 다운로드는 약 ±500 MB) 각 단어의 타이밍이 실제 음성 인식에서 비롯되므로 노래방 자막과 립싱크가 정확하게 맞습니다; 없으면 일시 정지 + 음절 정렬이 사용됩니다. faster-whisper가 설치되지 않은 경우 스크립트가 자동으로 이전 방법으로 대체됩니다. 구문 목록을 확인하세요:<-- cek으로 표시된 줄은 의심스러운 길이를 가지며, 일반적으로 텍스트가 오디오와 다르거나 ElevenLabs가 예상치 못한 곳에서 일시 중지했기 때문입니다. 필요한 경우 계획의 텍스트를 수정하고 다시 실행하세요.references/engine-api.md(및 계획에서set을 사용하는 경우references/sets.md)를 읽고<project>/scenes.js를 작성합니다.examples/zenhosta/scenes.js의 패턴을 복사하여 시작하세요. 모든 시간은T(sceneId, 'word')를 사용하며, 절대 초 단위를 사용하지 않습니다 — 따라서 오디오가 교체되어도 모든 것이 동기화 상태를 유지합니다.- 전체 렌더링 전 시각적 확인:
python <skill>/scripts/render.py <project> --stills <3–4 seconds per scene>그런 다음<project>/previews/의 이미지를 확인하세요. 샷당 최소 한 장의 스틸을 확인합니다(세트의 경우spot:당 하나와 세트가 구축되는 동안 하나). 패널이 호스트의 얼굴을 가리지 않는지, 가장자리에서 잘리는 부분이 없는지, 자막이 읽기 쉬운지, 소품이 스테이지에 나타나는지, 페이지 오류가 없는지 확인하세요. 수정하고 깨끗해질 때까지 반복하세요. 이것이 품질을 위한 가장 중요한 단계입니다. 동작(캐릭터 옆으로 이동, 배경 전환, 카메라 컷)을 확인하려면 짧은 클립을 소리와 함께 렌더링하세요:python <skill>/scripts/render.py <project> --clip 10 18→previews/clip_10-18.mp4. - 전체 렌더링:
python <skill>/scripts/render.py <project>(중단 시 재개 가능; 멀티코어 CPU의 경우--workers N사용). 컴퓨터에 그래픽 카드가 있는 경우 먼저render.py <project> --gpu --check-gpu를 확인하세요; 렌더러가 SwiftShader가 아닌 경우--gpu로 렌더링합니다(3–10배 빠름). 전체 렌더링 전에 GPU 스틸 하나를 CPU 버전과 비교하세요. 작업자당 프레임당 약 0.3–0.6초. 오래 걸리면 백그라운드에서 실행하고 진행 상황을 모니터링하세요. - 배경 음악: 사용자가 음악 파일을 보내거나(또는
plan.json에music이 설정된 경우) 내레이션이 말하는 동안 자동으로 음량을 낮추는 자동 덕킹과 함께 사용합니다. 파일이 없으면--music auto(간단한 코드 생성, 로열티 프리 음악)를 사용하고 응답에서 사용자가 원하는 음악으로 교체할 수 있다고 언급하세요 — 저작권이 있는 노래는 절대 사용하지 마세요. - 썸네일:
python <skill>/scripts/thumbnail.py <project>→<project>/thumbnail.png(1080×1920 커버) 및previews/thumbnail-cek.png(안전 영역 가이드). 확인 이미지를 보세요: 제목과 호스트 얼굴이 빨간 상자 안에 있고, 제목이 얼굴을 가리지 않으며, 소품이 보입니다.props_from,stage, 또는title_y를 조정하고 반복하세요. 전체 렌더링이 실행되는 동안에도 수행할 수 있습니다. python <skill>/scripts/encode.py <project> <name>.mp4 [--music file.mp3|auto]→ 음향 효과가 자동으로 생성되어 내레이션 아래에 조용히 혼합되고(음악 + 덕킹 포함), 1080×1920 30fps H.264 + AAC MP4로 인코딩됩니다.- 최종 MP4의 몇 프레임을 확인하고(ffmpeg
-ss <seconds> -frames:v 1),references/output-format.md의 Stage 2 형식으로 응답합니다.
원칙
- 동기화 우선, 예쁜 건 그 다음. 모든 시각적 요소는 그것을 설명하는 단어와 함께 나타납니다. 단어가 말해지기 전에 나타나는 패널은 어색하게 느껴집니다.
- 내용보다 후크. 처음 3초가 영상 시청 여부를 결정합니다: 후크 문장 ≤ 14단어, 인사 없음, 내레이션을 복사하지 않는 큰 화면 텍스트, 첫 프레임부터 움직이는 캐릭터/소품, 약속이 8초 이전에 답변되기 시작함(
references/hook.md). - 정적인 카메라가 아닌 살아있는 카메라. 모든 장면에는 최소 2개의 샷(
host_close,host_medium,mascot_close,illustration,wide,low_angle)이 있으며, 적절한 단어에서 컷 또는 이동이 있습니다 — 후크/펀치라인/CTA의 경우 클로즈업, 소품이 논의되는 동안illustration(캐릭터가 먼저 사라지거나 프레임 밖으로 슬라이드한 후 돌아옴), 반응의 경우mascot_close. UI 패널은 활성 샷의 안전 영역 내에 유지되어야 합니다. - 배경은 주제를 따릅니다. 각 장면(또는 키워드)에는 내용과 일치하는
background(색상 테마, 입자 패턴, 모티프 아이콘)가 있습니다 — 추위는 얼음 파랑 + 눈, 서버는 이진 코드, CTA는 따뜻한/브랜드 색상. 전체 비디오에 정적인 단일 색상 배경은 지루하게 느껴집니다. - 입은 모음을 따라 웁니다. 립싱크는 각 단어의 모음 순서를 따르는 5가지 입 모양 A, I, U, E, O를 사용합니다 — "aku mau makan" → A U A U A A — 그리고 일시 중지 시 닫힙니다. 외국어는
pronunciation을 통해 발음으로 읽힙니다(references/karakter.md). - 캐릭터는 카메라를 가리지 않습니다. 일러스트레이션에 초점을 맞출 때 캐릭터는 즉시 사라지거나(
hide, 컷용) 카메라가 움직이기 전에 곧바로 옆으로 슬라이드 아웃됩니다(slide, 이동용) — 돌아서거나 카메라 앞을 걷지 않습니다. 다양성을 위해(필요할 때만) 캐릭터는enter를 통해 아래, 옆 또는 위에서 나타날 수 있습니다. - 장소는 배경이 아닌 무대가 됩니다. 내레이션이 장소에 대해 이야기할 때, 배경 이미지가 아닌 호스트 뒤에 3D 세트로 구축하세요: 호스트가 그 앞에 떠서 설명하고, 카메라는 언급된 부분으로 이동한 다음 호스트로 돌아옵니다. 단일 개체는 떠 있는 섬에 유지됩니다.
- 순간마다 하나의 아이디어. 상단 영역(y 230–900px)은 한 번에 하나의 주요 항목을 유지합니다: UI 패널 또는 큰 3D 소품. 이전 장면의 요소를 지우세요.
- 컨텍스트에 맞으면서도 독창적인 캐릭터. 픽셀 스킨 호스트는 사용자의 설명, 브랜드 및 틈새 시장에서 선택된 사양(사전 설정 + 헤어 스타일, 의상, 색상, 액세서리, 히잡)을 기반으로 구축됩니다. 다른 제작자의 스킨/캐릭터, 게임 캐릭터 또는 브랜드 마스코트를 복사하지 마세요 — 참조 이미지에서 스타일만 가져오세요.
- 정확한 사실. 교육 스크립트는 정확해야 합니다. 예시 숫자는 문서 범위(예: IP
203.0.113.x) 또는 명확한 레이블을 사용합니다. 절대 통계를 조작하지 마세요. - 정직한 CTA. 사용자가 제공한 브랜드/URL을 그대로 명시하고, 사용자가 제공하지 않은 주장(가격, 프로모션, "최고", 가짜 마감일)을 하지 마세요.
- 매 순간 살아있게. 노래방 자막, 키워드에 확대 펀치, 강세 단어에 고개 끄덕임, 가리키는 것을 바라보는 눈, 숫자가 증가할 때 카운터 — 모든 5초가 정적인 이미지가 없어야 합니다.
종속성 (설치 확인 필요)
- Python 3.10+:
pip install numpy pillow faster-whisper(faster-whisper는 선택 사항이지만 권장) - Node.js 18+: 프로젝트 폴더에서
npm install three - ffmpeg: PATH에 있어야 함 (
ffmpeg -version) - Playwright:
pip install playwright && playwright install chromium(렌더링용) - GraphicsMagick 또는 ImageMagick:
gm또는convert가 썸네일 생성에 필요 (설치되지 않은 경우 폴백 있음)
참고 자료
스킬 폴더의 references/에 있는 파일들 — 각 파일은 필수 구현 세부 사항을 담고 있습니다:
output-format.md— 1단계 및 2단계 채팅 응답 형식naskah-dan-plan.md— 스크립트 작성,plan.json스키마, 포즈/표정/SFXkarakter.md— 사용자 컨텍스트 → 틈새 → 사전 설정, 캐릭터 사양, 발음hook.md— 후크 전략 및 예시engine-api.md— Three.js 장면 API (T(), 샷, 배경, UI, 트윈)sets.md— 빌트인 3D 세트 및defineSet()사용자 정의 세트 렌더링