AI 비디오 숏 — 내레이션 키프레임 + 이미지-투-비디오은(는) 무엇을 하나요?
Three.js 렌더러를 생성형 파이프라인으로 대체합니다.
../SKILL.md의 엄격함은 그대로 유지됩니다: 사실 우선, 단일 시계로서의 단어 타이밍, 하나의 고정된 스타일, 형용사 대신 측정값, 그리고 다음 단계로 넘어가기 전에 통과해야 하는 게이트.
검증된 기준: ~/Videos/ramayana-part1/part1-startframe.jpg (키프레임) 및
ramayana-part1-v1.mp4 (클립). 프리미엄 2D 인도 신화 만화책 스타일의 일러스트레이션, 두꺼운 검정 잉크, 따뜻한 황금색 키, 720x1280.
세부 사항은 다음에 위치합니다:
PLAN.md— 단계, 게이트, 위험, 아직 열려 있는 결정PIPELINE.md— 단계별 계약, 정확한 명령어, 상태 머신SHOT-PLANNING.md— 타이밍-투-샷 알고리즘STYLE-LOCK.md— 고정된 스타일 블록, 캐릭터 시트, 팔레트 타겟PROMPTS.md— 프롬프트 대수학, 모션 클래스, 중재 사다리AUDIO.md— 생성된 라가 악보 + 합성 SFX, 레벨, 덕킹QA.md— 게이트 검사, 임계값, 결함 분류../references/mythic/— 측정된 스타일 기준: 시작 프레임, 작업 클립, 통과 프롬프트, 팔레트 번호../templates/mythic/— 원샷 분위기 생성기 및 운동 생명 패스tools/CONTRACTS.md— 이 워크플로우가 가정하는 열세 개의 CLImissions/garuda-jatayu.md— 파일럿: 정확한 스크립트, 출연진, 시각적 규칙, 승인 기준
하드 규칙
- 내레이션이 시계입니다. 모든 컷은 실제 단어 타임스탬프에서 파생됩니다.
timeline.json이 존재하기 전에는 어떤 샷 경계도 만들어지지 않습니다. - 정확한 스크립트.
<project>/script-tagged.txt는 사용자의 스크립트와 바이트 단위로 동일합니다.script-spoken.txt는 제거된[...]태그만 다릅니다. 해시 검사는 G0 게이트에서 실행됩니다. - 샷당 두 개의 프롬프트, 절대 하나가 아닙니다.
keyframePrompt는 정지 이미지를 설명합니다.videoPrompt는 해당 정지 이미지에서 시작하는 5초의 움직임을 설명합니다. 키프레임 프롬프트를 비디오 프롬프트로 재사용하는 것은 가장 흔한 품질 버그입니다(생명력 없고 표류하는 클립을 생성합니다). - 하나의 고정된 스타일. 스타일 블록 + 캐릭터 시트는
style-lock.json에서 상수입니다. 프롬프트는 이들로부터 조립되며, 즉흥적으로 작성되지 않습니다. - 클립을 1.12배 이상 늘리지 마십시오. 비트에 더 많은 시간이 필요하면 다른 샷이나 확장(+4초)을 계획하세요. 늘리기는 첫 번째 실행에서 가장 큰 절충안이었습니다.
- 검토되지 않은 프레임이 비디오에 도달하지 않습니다. 키프레임은 먼저 연락처 시트 검토와 텍스트 아티팩트 검사를 통과합니다. 비디오 크레딧은 비용이 많이 드는 단계입니다.
- 구조적으로 재개 가능합니다. 모든 단계는 입력 해시와 함께
state/<stage>.json을 작성합니다. 재실행은 멱등적입니다. 28개 중 6번째 샷에서 죽은 실행은 6번째 샷에서 다시 시작해야 합니다. - 생성된 미디어를 즉시 다운로드하십시오. vibes CDN URL은 만료됩니다.
- 음악과 SFX는 생성되며, 라이선스되지 않습니다. 악보용 로컬 라가 엔진, 효과용 로컬 신디사이저, 선택적 할당량 제한이 있는 ElevenLabs 히어로 테이크. 레벨: 음성 -16, 음악 -24 덕킹 -3, SFX -18. 캡션은 꺼진 상태를 유지합니다.
- 절충안을 보고하고, 절대 숨기지 마십시오. 면제된 모든 게이트는 최종 보고서와
README.md에 포함됩니다.
파이프라인
script-tagged.txt
│ S0 파싱 + 해시 + 비트 맵
▼
script.json ──► S1 TTS (elevenlabs) ──► tts/*.mp3 + tts/*.words.json
│ S2 타임라인 + 일시 정지 계획
▼
timeline.json
│ S3 샷 계획
▼
shots.json
┌────────────────┴────────────────┐
S4 프롬프트 조립 S5 키프레임 (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 클립 (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 사운드 ───┤
큐 -> 음악 + sfx -> 믹스 │ S8 조립 (ffmpeg)
▼
final.mp4 + QA
병렬성: S1 세그먼트는 3개 동시(서비스 제한). S5는 4개. S6는 3개.
script.json이 존재하는 즉시 S1/S2와 S4는 중첩될 수 있습니다. S7은
timeline.json + shots.json만 필요하므로, 음악과 SFX는 S6가 실행되는 동안 렌더링됩니다.
최종 믹스와 S8만 마지막 클립을 기다립니다.
단계 명령어
이름은 tools/CONTRACTS.md의 계약입니다. 표시된 대로 구현하거나 호출하십시오.
PROJ=~/Videos/garuda-jatayu
# S0 — 스크립트 파싱, 해시 유지, 비트 맵 구축
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — 세그먼트별 합성 (eleven_v4 + 인라인 오디오 태그)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — 오디오 측정, 계획된 일시 정지 삽입, 마스터 시계 구축
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — 단어 경계에서 샷 파생 (절대 추측하지 않음)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — 샷당 두 개의 프롬프트 조립
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — 캐릭터 시트 + 위치 플레이트 조건의 키프레임
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — 클립, 3개 동시, 재개 가능, 중재 사다리 내장
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — 사운드: 큐 시트, 악보, sfx, 믹스
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL, xfade/컷 그래프, 믹스와 먹싱
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# 게이트
python tools/qa.py "$PROJ" --gate all
게이트 (게이트 없음, 다음 단계 없음)
| 게이트 | 검사 항목 | 차단 단계 |
|---|---|---|
| G0 스크립트 | 정확한 해시, 모든 문장에 비트 + 출연진 + 위치 있음 | S1 |
| G1 타이밍 | 단어 단조성, 커버리지, 연결 지속 시간 == 타임라인 끝 +-100ms | S3 |
| G2 스토리보드 | 모든 절이 다루어짐, 지속 시간 [4.0, 5.6]초 이내, 단어 끝에서 컷 | S5 |
| G3 키프레임 | 720x1280, 시트 일관성, 텍스트 아티팩트 없음, 캐릭터 수 | S6 |
| G4 클립 | 720x1280/24fps/125프레임, 범위 내 드리프트, 모션 존재 | S7 |
| G5 조립 | 지속 시간 +-0.3초, xfade 오프셋, 검은색/정지 화면 연결 없음 | 전달 |
| G6 최종 | 720x1280, 24fps, AAC 존재, -16 LUFS +-1, 실음 피크 <= -1.0 dBTP | 전달 |
| G6b 오디오 | 음성-배경 마진 >= 6 LU (말하는 구간), 덕킹 2.5-3.5dB, 큐 경계 깔끔, 스템 합이 믹스와 일치 | 전달 |
G3과 G4의 시각적 절반은 배치당 한 번의 비전 검토가 필요합니다. 그 외 모든 것은 기계적으로 확인 가능합니다.
실패 플레이북
| 증상 | 원인 | 해결책 |
|---|---|---|
| TTS 503 / 솔버 오프라인 | 데캡차 레인 다운 | curl 127.0.0.1:8000/health, 레인 재시작 후 재시도 |
제출 시 CONTENT_POLICY | 중재 어휘 | 동일한 프롬프트 두 번, 어휘 중립화 (PROMPTS.md), 그런 다음 단축 |
| 클립 드리프트 / 서 있음 | 포즈-고정 문장 없음 | "첫 번째 프레임에서 자세와 위치 유지" 추가 |
| 클립이 정지 이미지임 | 모션 단락 누락 또는 너무 약함 | 하나의 명시적 카메라 단락 + 하나의 2차 모션 단락 |
| 프레임마다 캐릭터 다름 | 참조 조건 없음 | files=[...]를 통해 캐릭터 시트 전달 |
| Gemini 401 | 쿠키 만료 | Helium CDP에서 __Secure-1PSID + __Secure-1PSIDTS 재추출 |
| vibes 401 | 캐시된 세션 만료 | ~/.vibes-session.json 삭제, autoSession()이 다시 로그인하도록 함 |
| 잘못된 출력 크기 | 시작 프레임이 720x1280이 아님 | ImageOps.fit으로 프레임 재구축 |
| 컷이 비트에 맞지 않음 | 샷 타이밍이 임의로 생성됨 | timeline.json에서 S3 재실행 |
| 실행이 배치 중간에 중단됨 | 상태 없음 | 예상됨: 동일한 명령어 재실행, 재개됨 |
SFX 미리보기가 quota_exceeded 반환 | 익명 ElevenLabs 미리보기 할당량 소진 (~2회 요청) | 예상됨: 로컬 신디사이저가 항상 모든 큐를 렌더링함; 할당량이 새로 생겼을 때만 히어로 테이크 고정 |
결과물
<project>/
final.mp4 720x1280, 24fps, H.264/AAC, -16 LUFS
README.md 파이프라인 + 정확한 명령어 + 절충안
script-tagged.txt 정확한 입력
script-spoken.txt 말한 텍스트만
script.json 파싱된 세그먼트, 비트, 출연진, 위치
timing.json 세그먼트별 단어
timeline.json 일시 정지를 포함한 마스터 시계
shots.json 샷 계획 (EDL)
style-lock.json 스타일 블록 + 캐릭터 시트 + 플레이트
style/ character-sheet.png, plates/*.png
prompts/ <shot>.keyframe.txt, <shot>.video.txt
keyframes/ <shot>.jpg + manifest.json
clips/ <shot>.mp4 + <shot>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <stage>.json
qa/ 게이트 보고서, 연락처 시트
새 비디오를 시작하기 전에 PLAN.md를 참조하십시오: 해결된 결정(음성, 감정 태그, 샷 케이던스, 사운드, 캡션)과 이를 적용하는 단계가 기록되어 있습니다.