만화 오디오 쇼츠 (v2)
WHATIF 애니메이션 스토리즈 채널 제작.
파이프라인: 아이디어 → 대본 → 음성 → 완성된 MP4.
참고 빌드: "Never Left The Soldier Who" (19.7초, 8샷), kit/example/soldier/에 포함.
비주얼 스타일
- 캐릭터: 캔버스에 그려진 평평한 2D 콩 머리 만화 "카드". 자두색 외곽선과 크고 읽기 쉬운 표정을 가지며, 항상 대기 상태(호흡, 깜박임, 고개 끄덕임)입니다.
- 세계: 단순한 형태로 만들어진 채도 높은 3D 세트. 어두운 이음새, 검정 잉크 외곽선, 툰 쉐이딩, 수평선 색상의 안개가 있는 평평한 텍스처로 칠해짐.
- 카메라: 부드럽고 완만한 움직임, 클로즈업에는 피사계 심도 사용. 정적인 장면 없음.
- 포맷: 1080x1920, 30fps, 음성 길이와 정확히 동일.
- 사운드: 사용자 음성은 그대로 유지. 합성 행진곡 스타일 배경 음악과 효과음은 음성 레벨의 50% (−6dB)로 설정.
엄격한 규칙
- 독창적일 것. 다른 크리에이터의 영상을 그대로 따라하지 말고, 동일한 아이디어에 대한 독창적인 해석을 제공.
- 실제 유명 인물은 캐릭터로 사용 금지. 브랜드 마스코트, 로고, 저작권 있는 캐릭터 사용 금지.
- 요청이 없으면 자막 금지. 이야기 내 텍스트(표지판, 조각)는 괜찮지만, 올바르게 읽혀야 하며 절대 반전되지 않아야 함.
- 음성을 편집, 자르기, 속도 변경 또는 재타이밍하지 않음. 영상은 음성에 맞춰 타이밍이 설정됨. 모든 시각적 반응은 해당 단어보다 0–3프레임 먼저 나타남.
- 오디오 비율은 고정:
- 음악은 음성 대비 −6.0dB (게이트 RMS)로 설정.
- SFX는 −6dB 이하, 피크는 음성 피크의 최대 0.7배.
- 항상
mix.py로 믹싱. 덕킹 또는 믹스에 압축 사용 금지. - 전체 믹스에는 하나의 선형 게인과 하나의 피크 리미터만 적용 (
finish.sh).
- 사실로 제시되는 내용은 먼저 웹 검색으로 확인. 바이럴 전설은 "전설에 따르면"으로 표현.
- 폭력적, 정치적 내용 금지. 실제 유명 인물을 농담의 대상으로 삼지 않음.
- 승인 없이 계속 작업. 정말 답 없이는 진행이 불가능할 때만 질문.
- 작업 목록으로 사용자에게 정보 제공. 장시간 렌더링 전에 스틸 연락처 시트 전송.
진입점 선택 (라우팅)
| 사용자 입력 | 진행 단계 |
|---|---|
| 오디오 첨부 (+ 대본) | 즉시 스테이지 4 |
| 오디오, 대본 없음 | 대본 텍스트 요청 (Claude는 ASR 없이 오디오를 들을 수 없음) → 스테이지 4 |
| 대본, 음성 없음 | 스테이지 3 (다듬기) → 오디오 대기 |
| 주제만 있음 | 스테이지 3 직접 (사실 확인) |
| 없음 / "아이디어 줘" | 스테이지 2 |
명확하지 않으면 한 가지 질문: "어디서 시작하시나요? (아이디어 / 대본 / 음성 준비됨)". 목표 길이도 묻고, 주어지지 않았다면 기본값 20~30초, 최대 60초 허용.
스테이지 2: 10가지 아이디어
정확히 10개를 번호를 매겨 한 번에 제시. 끝에 다음 문구 추가: "번호를 알려주세요. 또는 '더'를 입력하면 새로운 10개를 드립니다."
N. 제목 (5~8단어, 호기심 유발)
후크: 첫 번째 말하는 문장 — 사실처럼 제시되는 역설.
반전: 아이러니한 마지막 대사.
큰 시각적 요소: 2~3개의 순간 (붕괴 / 드러남 / 추적 / 변신).
상태: TRUE (문서화됨) · DISPUTED (논란) · LEGEND (전설)
완벽한 아이디어의 조건:
- 보여줄 수 있는 물리적 인과 관계가 있는 하나의 놀라운 이야기.
- 평범한 영웅, 고조되는 위기, 마지막 대사의 반전.
- 상자, 원통, 구체, 카드로 만들 수 있는 세트 (마을, 다리, 배, 성, 사막, 연구소, 궁전, 농장, 항구, 광산).
- 한 프레임에서 볼 수 있는 "전후" 비교, 강력한 썸네일 생성.
10개를 고대, 중세, 1800년대, 현대, 과학, 동물, 발명, 재난, 기묘한 법률, 행운의 사고로 분산. 모든 TRUE 또는 DISPUTED 아이디어는 나열 전에 웹 검색으로 확인.
스테이지 3: 대본
대본 크기: 초당 약 3.7단어로 설정. 20초 ≈ 75단어, 30초 ≈ 110단어, 45초 ≈ 165단어, 60초 ≈ 220단어.
구조:
- 후크 (첫 문장, 설정 없음): 터무니없는 사실. 첫 1.5초 이내에 제시.
- 설정 (1~2줄): 언제, 어디서, 누가, 하나의 구체적인 세부 사항.
- 고조 (2~4비트, 각각 더 큼). 다른 사람들이 의심하거나 조롱. 하나의 과장 농담 포함.
- 전환: "하지만…" / "사실은…" 실제 메커니즘 소개, 일상적인 비유 사용.
- 반전: 짧고 아이러니하며, 영상의 마지막 단어. 보너스: 후크로 다시 연결되어 쇼츠가 자연스럽게 반복 재생되도록.
스타일:
- 축약형을 사용하는 평범한 구어체 영어.
- 문장은 8~15단어; 숫자는 단어로 표기.
- 말하는 텍스트에 무대 지시 없음.
- 시청자가 이미 보는 내용을 설명하지 않음.
자체 점검 (실패 시 조용히 수정): 단어 수 목표의 ±10% 이내; 후크는 질문이 아닌 진술; 모든 문장을 문자 그대로 시각화 가능; 반전은 12단어 이하이고 마지막에 위치; 사실이 출처와 일치.
다음과 함께 응답:
- a) 코드 블록 안의 대본, 단어 수 및 예상 시간 포함.
- b) 한 문단 시각적 계획.
- c) 녹음 팁:
- 따뜻하고 안정적인 내레이터 한 명. ElevenLabs 추천: 깊은 내레이터 음성, 속도
1.051.1, 안정성4555%. - MP3 또는 WAV 가능.
- 문장 끝에 자연스러운 멈춤 유지.
- 음악 없이 내보내기.
- 따뜻하고 안정적인 내레이터 한 명. ElevenLabs 추천: 깊은 내레이터 음성, 속도
- d) "음성 녹음이 준비되면 업로드해 주세요. 전체 비디오를 만들겠습니다."
최종 대본 텍스트 유지, 타이밍에 사용. 변경된 버전을 녹음했다면 최종 텍스트 요청.
스테이지 4: 빌드 (여기서부터 중단 없음)
작업 목록 생성: 설정 · 타이밍 · 샷 계획 · 세계 · 캐스트 · 모션 · 연락처 시트 → 사용자 · 사운드 · 전체 렌더 · 마무리 + QA · 전달.
4.0 설정
SK=$(dirname "$(find / -name SKILL.md -path '*cartoon-audio-short*' 2>/dev/null | head -1)")
bash "$SK/kit/tools/setup.sh" ~/shorts/<slug> # $SK/kit를 읽기 전용으로 취급
cd ~/shorts/<slug> && cp <업로드된 음성> voice.mp3 && printf '%s' "<최종 대본>" > script.txt
./short.sh doctor
setup.sh는 엔진, 도구 및 작업 예제를 복사 (시작web/story.js및audio.py). three.js r160 및 툰 베이스를kit/vendor/에서 설치 (네트워크 불필요),web/toon.js빌드 및 구문 검사, Playwright 링크. three.js가 없으면 종료 코드 3 반환.- 요구 사항: Node 22.6+, Python 3 + numpy + Pillow, ffmpeg (libx264, alimiter, ebur128), Playwright + Chromium. Playwright가 없으면:
npm i -g playwright && npx playwright install chromium. - TLS 비활성화 또는 프록시 우회 금지. 설치가 차단되면 어떤 패키지인지 말하고 설치된 상태로 계속 진행.
- Chromium은 CPU WebGL (swiftshader)을 사용하여 프레임당 작업자당 약 3
5초 소요. 20초 쇼츠 (600프레임)는 약 2050분 소요; 이에 대비.
4.1 타이밍: ./short.sh timing
- whisper 또는 faster-whisper가 설치되어 있으면 단어 타임스탬프 사용. 그렇지 않으면 음절/지속 시간 DP로 침묵 감지 음성에 대본 구문 정렬.
- 프레임 범위와 WARN 줄 (매우 짧은 구문, 중복, 긴 끝, 늦은 시작, 대본과 일치하지 않는 녹음)이 포함된 구문 출력. 샷 병합,
work/phrases.json수동 수정 또는 최종 텍스트 요청으로 경고 해결. - N = 총 프레임 =
work/phrases.json의frames30(디코딩된 오디오에서 측정).
4.2 샷 계획: work/PLAN.md, 코드 작성 전
샷당 한 행: | # | 프레임 | 단어 | 설정 | 조명 | 카메라 | 캐스트/포즈/표정 | FX | SFX |
- 프레임 0은 후크 이미지: 페이드인, 타이틀 카드 없음.
- 구문당 약 한 샷. 0.6초보다 짧은 구문은 다음 샷에 병합.
- 모든 문장을 문자 그대로 시각화; 소품이 농담을 전달.
- 샷 크기 리듬: 후크 MCU → 와이드 리빌 → 투샷 → 핵심 물체 인서트 → 반응 클로즈업 → 보상을 위한 환경 이동. 같은 크기를 연속으로 사용하지 않음.
- 조명은 분위기 설정: 낮 (보통), 황금빛 (드라마/쇠퇴), 밤-파랑 (설명). 시간 점프는 6프레임 흰색 플래시.
- 반전은 찌름 효과: 음악 중단, 낮은 히트, 3~5° 롤이 있는 푸시인. 물리적 보상은 마지막 단어에 도달.
- 마지막 프레임은 프레임 0으로 깔끔하게 잘려 루핑되는 강력한 스틸.
4.3 세계 (web/main.js, web/story.js)
- 엔진 섹션
main.js유지: 툰 재질, 잉크 계약, add/tbox, 하늘, 조명, 카드, 렌더 타겟/포스트, applyLight, drawActors, swapForNd, renderFrame. // ---------- world ----------와// ---------- cards ----------사이의 예제 세계와worldState()의 스토리 부분 및 소품 (군인 예제에는 3D 헬멧 소품 있음)만 교체.story.js는 SHOTS, TOTAL, shotAt, camAt, dofAt, LIGHTS/lightFor, worldAt, actorsAt(f, T) 및 fxAt(f, T)를 내보냄. 모두 프레임의 순수 함수.TOTAL= N 설정.- 텍스처는
paint.js에서 제공: planks, beam, rotten, stone, mossy, grass, dirt, plaster, roof, marble, banner, carved text. 새 페인터는 동일한 평평한 색상-어두운 이음새 스타일 사용. tbox사용: 일정한 텍셀 밀도, 2단계 툰 그라디언트, 안개 = 수평선 색상.- 배경 레이어: 반쯤 묻힌 구체 언덕, 눈 덮인 원뿔 산, 사이프러스/소나무, 먼 집, 칠해진 구름 빌보드.
- 세트 피스 (붕괴, 낙하, 문)는
worldAt(f)의 0..1 진행률로 구동되는 피봇 그룹, 이징 및 지연 적용. - 곡선 이야기 내 텍스트는 평면 UV 사용. 반전되지 않았는지 확인.
4.4 캐스트 (web/roman.js → web/toon.js)
romanFront(p, outfitKey, opts)는 밑창이 y=975인 600x1000 디자인 캔버스에 그림. 카드 높이는 2.25m이므로 1 디자인 단위 = 0.00225m.- 의상 (
OUTFITS): legion, old, toga, civA, civB, civC, workA, workB. tunic/cape/armor/helmet/hair/cap/beard/apron/dress/toga 키로 새 의상 추가. - 팔 포즈: hang, spear, point, up, wave, hip, belly, temple(+swirl), lift, reach(+lift), cheek, shield, cross, thumb.
- 표정: 툰 베이스 FACE 세트에 snore, stubborn, squint 추가. 더 많은 표정을 위해 FACE 확장.
- 캐스트 편집 후
cat web/toonbase.js web/roman.js > web/toon.js로 재빌드. 그런 다음./short.sh cast실행하고 디자인 사용 전에stills/cast_sheet.png확인. - 빌보드는 요만 회전, 접촉 블롭 및 알파 테스트 그림자 사용, 월드 패스에서 잉크 처리되지 않음.
q()로 반올림된 값에서 카드 키를 빌드하여 캔버스가 보이는 변경 시에만 다시 그려지도록.- 분리된 부품 (예: 들어 올려진 헬멧)은 자체 카드:
y = DECK + (partY − hc) × 0.00225,headCenter(seed)와 정렬. - 영웅에게는 하나의 독특한 특징 (색상, 모자, 소품)을 부여하여 핸드폰 크기에서 즉시 식별 가능.
4.5 모션 (web/motion.js): 부드럽고 생동감 있게
카메라:
camFromKeys(keys, f, {kicks})사용: 18~45프레임의 smootherstep 글라이드, 리빌 및 휩에는 easeOut, 곡선에는pathvia-points (Catmull-Rom).- 모든 홀드는 살짝 움직임; 4프레임 이상 정적 없음.
- 드라마에는 3~5° 롤; 충돌에는
kicks를 통한 7프레임 플립-셰이크. - 연속적인 움직임 선호 (풀백, 랙 포커스, 크레인, 푸시인). 장소 또는 시간 점프에만 하드 컷, 플래시 포함.
캐릭터:
- 절대 멈추지 않음: 모든 카드에
idle(f, seed)적용, 깜박임에는blinkAt, 강세 단어에 고개 끄덕임. - 동작은 예측 → 오버슛 → 스프링 안정 (
M.anticip,M.back,M.spring). 발 구르기는 2프레임 딥 + 먼지 퍼프 + 킥. 웃음은 번갈아 기울임 + 고개 끄덕임. - 걷기:
walk()는 거리와 단계 위상 제공. 3~7% 바운스로 발 고정 유지.
2차 모션 항상 존재: 천, 잎, 먼지, 물방울, Zzz, 물.
렌즈: 클로즈업 및 미디엄 샷에 피사계 심도 (cInf 8–14px), 눈에 초점. 와이드는 선명 유지. 랙 포커스는 약 14프레임 소요.
4.6 비주얼 체크 (전체 렌더 전 필수)
./short.sh stills "5,40,90,..." a 실행, 각 샷의 중간, 전환 및 주요 동작 선택. 프레임 레이블이 있는 stills/sheet_a.jpg 작성. 열고 모든 문제 수정:
- 프레이밍: 반폭 = d·tan(hfov/2), 여기서 hfov = 2·atan(tan(vfov/2)·0.5625). 4m, fov 40에서 ±0.8m에 불과하므로 캐릭터를 깊이로 배치.
- 장애물: 얼굴 위에 난간이나 기둥 없음; 카메라가 난간, 집, 지붕, 덤불 안에 있지 않음.
- 여유: 전경 소품이 약 2m보다 가깝지 않음; 영웅이 기둥 뒤에 숨겨지지 않음.
- 텍스트 및 부품: 텍스트 반전 없음; 분리된 카드 오프셋 올바름.
- 익스트루드 그룹: 0 = 캡, 1 = 측면 + 상단.
- 잉크: 모든 곳에 존재. 없으면
HASH=#e(에지만) 및HASH=#nd(법선/깊이)로 디버그. 잉크 반경은 1080에서 약 2.5px; 하늘은 깊은 깊이로 간주, 카드 아님. - 핸드폰 크기: 시트를 25%로 보았을 때도 얼굴 읽힘.
시트를 사용자에게 샷당 한 줄 요약과 함께 보내고, 기다리지 않고 전체 렌더 시작.
4.7 사운드: ./short.sh sound
- 먼저 영상 타이밍 고정. 타이밍 변경 시 사운드 재실행.
audio.py는 큐 테이블만 보유. 합성기는synth.py에 있음:- 음악:
march,drone, PROG_MINOR/PROG_MAJOR, pluck, brass, drum. - SFX: whoosh, thunk, rumble, crash, scrape, ting, sting, creak, snap, splash, snore, leaves, water, cuckoo, pop, boing, footstep/steps, wind, crowd.
- 음악:
- 음악은 반전 대사에서 중단 (
march(..., end=TWIST)), 그 후drone이 끝까지 계속. - SFX 스템을
crest_db=14로 저장. 이는 과도 응답을 완화하여 SFX가 피크 캡 아래 50% 부근에 위치 가능. mix.py는 레벨 출력. 음악이 음성 대비 −6.0dB (OK) 및 SFX가 그 이하 (OK)임을 확인. 절대 수동 조정하지 않음; 대신 스템 수정.
4.8 렌더 + 마무리
WORKERS=2 ./short.sh render로 Bashrun_in_background사용하여 렌더. Monitor 루프에서./short.sh progress(완료, 초/프레임, ETA) 확인.- 프레임은 원자적으로 기록. 중단 후
RESUME=1 WORKERS=2 ./short.sh render사용. - 코어 4개 이하 시스템에서는 WORKERS=1 사용. 무거운 Python 병렬 실행 금지.
- 그런 다음
./short.sh finish "제목"실행:- 프레임 완전성 및 연속성 확인.
- 측정된 하나의 선형 게인을 −14 LUFS에 적용하고 −1dBFS 리미터 적용, H.264 CRF 17 + AAC 인코딩.
- QA는 크기, 음성 대비 지속 시간, 정지/검은 프레임, 음량 및 믹스 레벨 확인.
out/qa.txt및out/qa_sheet.jpg작성, FAIL 시 종료 코드 1 반환.
4.9 완료 조건
- 지속 시간 = 음성 지속 시간 (±1프레임); 1080x1920; 30fps.
- 믹스 레벨: 음악 −6.0dB, SFX ≤ −6.0dB (음성 대비).
- 모든 사실 웹 검증됨; 전설은 "전설에 따르면"으로 표시됨.
- 저작권 또는 실제 인물 없음.
- 비디오가 30fps MP4, H.264 + AAC, 올바른 레벨로 제공됨.
- QA 보고서
out/qa.txt에 FAIL 없음.
문제 해결
| 문제 | 해결 방법 |
|---|---|
setup.sh 3으로 종료 | three.js가 없음. node -e "require('three')" 확인. kit/vendor/에서 수동 복사하거나 npm 설치. |
| "Playwright not found" | npm i -g playwright && npx playwright install chromium 실행. |
| 빈 비디오 | 웹 검사기로 three.js 오류 확인. HASH=#e로 잉크 디버그. stills/에서 프레임 확인. |
| 음성이 너무 빠름/느림 | 대본 단어 수 확인. Whisper가 없는 경우 work/phrases.json 수동 조정. |
| 카메라가 세트 내부 | camFromKeys를 조정하거나 카메라를 더 멀리 이동. |
| 잉크 누락 | 스크린샷 확인: 검정 외곽선이 있는가? HASH=#nd로 법선/깊이 디버그. |
| 믹스 레벨 불일치 | mix.py 출력 확인. 음악이 −6.0dB에서 0.5dB 이상 벗어나면 synth.py의 march 판독값 조정. |