Viral Animated Shorts Pipeline (입소문형 애니메이션 Shorts 파이프라인)
유료 타사 래퍼나 Blender 없이 Gemini 미디어 스택과 FFmpeg를 사용하여 9:16 애니메이션 Shorts(2D 스틱맨-인-3D 또는 스타일화된 3D)를 기본적으로 제작합니다.
사전 확인 사항
라이브 비디오 생성 또는 조합을 실행하기 전에 로컬 종속성을 확인하세요(which만 확인하지 말고 --version으로 테스트하세요. macOS의 /usr/bin/python3는 설치되지 않은 Xcode CLT 스텁일 수 있음):
- 비디오/오디오 API:
gemini-api whoami(권장) 또는GEMINI_API_KEY가 설정된 Pythongoogle-genaiSDK (gemini-omni-flash-api및gemini-api-cli스킬 참조). - 캐릭터 시트:
gemini-api image(gemini-nano-banana-2.1) 또는 내장image-generator서브에이전트. - 조합 및 프레임 샘플링:
ffmpeg -version,ffprobe -version,python3 --version(자막 변환용).
gemini-api 또는 ffmpeg가 없는 경우, 1-2단계를 라이브로 완료하고(image-generator로 시트 생성), jobs.json 및 .ass 자막을 생성한 후, 나머지 라이브 렌더/조합 단계에 대한 정확한 설치 명령어를 보고하세요.
6단계 워크플로우
모든 프로젝트 아티팩트는 전용 <project_dir>/(예: shorts/<slug>/) 내에 저장합니다:
shot_plan.json, sheets/, drafts_360p/, qa/, finals_1080p/, audio/, final_short.mp4.
1단계: 스크립트, 스타일 바이블 및 훅 게이트
- 타이트한 스크립트를 작성합니다: 코미디 스킷의 경우 30-45초(2-4장면), 설명형의 경우 130-150단어(45-55초). 인트로나 인사말 없음.
references/shot_plan_schema.json과 일치하는<project_dir>/shot_plan.json을 컴파일합니다:- 모든 장면 프롬프트에서 재사용되는 단일 축어
style_bible문자열을 고정합니다. - 기본 디자인에 고정 소품(zero held props)이 없는 모든 캐릭터를 정의합니다.
- 장면을
[0-3s]비트 타임코드와 평균 샷 길이 1.5-2.5초로 3-15초 Omni 클립으로 분할합니다. audio_mode를native_omni(코미디 대사/SFX) 또는tts_plus_bgm(나레이션 설명형)으로 설정합니다.- 마지막 대사가 비트 1로 구문적으로 반복되도록 작성합니다.
- 모든 장면 프롬프트에서 재사용되는 단일 축어
- 훅 게이트 (렌더링 전 필수): 비트 1(
0-3s)을references/qa_rubric.md(훅 게이트 섹션)에 대해 검증합니다. 비트 1이 프레임 0의 시각적 대비, 즉각적인 움직임, 개방형 언어 전제를 갖출 때까지 비디오를 생성하지 마십시오.
2단계: 불변의 3패널 턴어라운드 시트
references/sheet_prompt_templates.md의 템플릿을 사용하여 캐릭터당 하나의 16:9 3패널 턴어라운드 시트(Front | 3/4 Side | Back)를 구축합니다.- 중립적인 밝은 회색 배경, 평평한 균일 조명, 중립적인 표정, 고정 소품 없음을 강제합니다(소품은 샷 간 손 변형을 유발함).
gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.png로 생성합니다(또는image-generator에 위임하고 출력.jpg/.png를<project_dir>/sheets/로 복사/변환).read_file로 모든 시트를 시각적으로 검사합니다. 패널이 비율, 의상, 선 두께에서 일치하지 않으면 다시 생성합니다.gemini-api를 사용하는 경우, 한 번 승인된 시트를 업로드(gemini-api files upload <sheet> --wait)하여files/<id>URI를 모든 장면에서 재사용합니다.
3단계: 저렴한 360p 드래프트 패스
gemini-api video또는generate_video.py --batch jobs_360p.json을 통해gemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p)로360p에서9:16드래프트를 생성합니다.jobs_360p.json의 각 항목은 다음을 사용합니다:{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"}- 불변의 턴어라운드 시트(
-i/--image, 최대 6개 이미지)를 모든 샷에 전달하고, 업로드 순서대로 자연어로 각 캐릭터를 바인딩합니다(<IMAGE_REF_N>태그 사용 금지). - 축어
style_bible, 명시적 부정 제약(화면 텍스트 없음, 워터마크 없음, 빈 표지판), 단일 샷 또는 타임코드 비트를 포함합니다. - 2-캐릭터 샷의 경우, 캐릭터를 공간적으로 분리(좌/우)하거나 속성 혼동을 방지하기 위해 샷-리버스-샷을 사용합니다.
- 직접 연속 컷의 경우, 장면 N의 마지막 깨끗한 프레임을 보조 앵커로 추출하면서, 기본 앵커로 표준 턴어라운드 시트를 유지합니다.
4단계: 컨텍스트 인식 포렌식 VLM QA (최대 2-3회 재시도)
- 각 드래프트 클립에서 프레임 샘플(
시작,중간,액션 피크,끝)과 이전 샷의 끝 프레임을 추출합니다:bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4] references/qa_rubric.md를 사용하여gemini-api analyze(또는read_file을 통한 시각적 검사)를 실행하고, 턴어라운드 시트, 이전 끝 프레임 및 샘플링된 프레임을 전달합니다.- 정확한 프레임 인덱스와 실패 코드(
HOOK_WEAK,EXTRA_LIMB,STYLE_DRIFT,TEXT_WARP,AUDIO_DESYNC)로 실패를 진단합니다. references/failure_fix_playbook.md에서 일치하는 수정을 적용합니다:- 작은 국부적 결함:
--previous-interaction-id <id>로 제자리 편집("<수정>. 다른 모든 것은 동일하게 유지."). - 주요 해부학/구성 오류: 동작/카메라를 단순화하고 다시 생성.
- 재시도는 샷당 3회로 제한합니다. 새로 발견된 수정 사항은
references/failure_fix_playbook.md에 기록합니다.
- 작은 국부적 결함:
5단계: 1080p 최종 렌더링 및 선택적 2D-to-3D 업그레이드
- 승인된 샷을
1080p에서 다시 렌더링합니다(--resolution 1080p). - 선택적 2D-to-3D 업그레이드:
references/sheet_prompt_templates.md의 3D 변환 템플릿을 사용하여-i <char>_2d.png로 각 승인된 2D 시트를 스타일화된 3D 턴어라운드 시트로 변환합니다.read_file로 검사하고,style_bible을 스타일화된 3D로 업데이트한 후, 입증된shot_plan.json을 다시 실행합니다.
6단계: 결정론적 FFmpeg 어셈블리
- 단어 단위 타임코드
.srt를 생성합니다(gemini-api transcribe -i <audio_or_clip> --format srt) 또는 스크립트 타이밍에서 내보냅니다. .srt를 안전 영역.ass가라오케 자막(하단 35% Shorts UI 위험 영역 위에 배치)으로 변환합니다:python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass- 프로브 -> 컨폼 -> 연결 -> 덕킹 -> 자막 굽기 -> 2패스
-14 LUFS어셈블리 스크립트를 실행합니다:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav] - 전달 전에
final_short.mp4의 치수(1080x1920), 길이, 오디오 음량(-14 LUFS), 시각적 프레임 검사를 확인합니다.