Communitygithub.com

AI 비디오 숏 — 내레이션 키프레임 + 이미지-투-비디오

에이전트가 'AI 비디오 숏'을 계획, 구축 또는 편집하여 최종 완성된 비디오 클립을 생성하는 절차를 제공합니다. 내레이션 기반 키프레임, 이미지-투-비디오, 하드 규칙, 파이프라인을 통해 진행되며, 새로운 작업에서 이 기술이 필요할 때 사용하세요.

AI 비디오 숏 — 내레이션 키프레임 + 이미지-투-비디오란 무엇인가요?

이 스킬은 Three.js 기반 렌더러를 생성형 파이프라인으로 대체하여, 내레이션이 유일한 시간 기준이 되는 엄격한 워크플로우로 AI 비디오 숏을 제작합니다. 사실을 우선시하고, 단어 타이밍을 단일 시계로 사용하며, 하나의 고정된 스타일을 유지하고, 형용사 대신 측정값을 사용하며, 다음 단계로 넘어가기 전에 통과해야 하는 게이트를 정의합니다. Claude Code, Cursor, Codex 등 다양한 AI 에이전트 플랫폼에서 사용할 수 있도록 설계되었으며, 스크립트 파싱(TTS), 타임라인 생성, 샷 계획, 키프레임 생성(Gemini), 비디오 클립 생성(vibes.ai), 오디오 합성(라가 엔진 + SFX), 최종 조립(ffmpeg)의 8단계 파이프라인으로 구성됩니다. 각 단계는 상태 파일을 통해 재개 가능하며, 모든 게이트를 통과해야 최종 결과물이 전달됩니다.

지원 대상✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

AI 비디오 숏 — 내레이션 키프레임 + 이미지-투-비디오은(는) 무엇을 하나요?

Three.js 렌더러를 생성형 파이프라인으로 대체합니다. ../SKILL.md의 엄격함은 그대로 유지됩니다: 사실 우선, 단일 시계로서의 단어 타이밍, 하나의 고정된 스타일, 형용사 대신 측정값, 그리고 다음 단계로 넘어가기 전에 통과해야 하는 게이트.

검증된 기준: ~/Videos/ramayana-part1/part1-startframe.jpg (키프레임) 및 ramayana-part1-v1.mp4 (클립). 프리미엄 2D 인도 신화 만화책 스타일의 일러스트레이션, 두꺼운 검정 잉크, 따뜻한 황금색 키, 720x1280.

세부 사항은 다음에 위치합니다:

  • PLAN.md — 단계, 게이트, 위험, 아직 열려 있는 결정
  • PIPELINE.md — 단계별 계약, 정확한 명령어, 상태 머신
  • SHOT-PLANNING.md — 타이밍-투-샷 알고리즘
  • STYLE-LOCK.md — 고정된 스타일 블록, 캐릭터 시트, 팔레트 타겟
  • PROMPTS.md — 프롬프트 대수학, 모션 클래스, 중재 사다리
  • AUDIO.md — 생성된 라가 악보 + 합성 SFX, 레벨, 덕킹
  • QA.md — 게이트 검사, 임계값, 결함 분류
  • ../references/mythic/ — 측정된 스타일 기준: 시작 프레임, 작업 클립, 통과 프롬프트, 팔레트 번호
  • ../templates/mythic/ — 원샷 분위기 생성기 및 운동 생명 패스
  • tools/CONTRACTS.md — 이 워크플로우가 가정하는 열세 개의 CLI
  • missions/garuda-jatayu.md — 파일럿: 정확한 스크립트, 출연진, 시각적 규칙, 승인 기준

하드 규칙

  1. 내레이션이 시계입니다. 모든 컷은 실제 단어 타임스탬프에서 파생됩니다. timeline.json이 존재하기 전에는 어떤 샷 경계도 만들어지지 않습니다.
  2. 정확한 스크립트. <project>/script-tagged.txt는 사용자의 스크립트와 바이트 단위로 동일합니다. script-spoken.txt는 제거된 [...] 태그만 다릅니다. 해시 검사는 G0 게이트에서 실행됩니다.
  3. 샷당 두 개의 프롬프트, 절대 하나가 아닙니다. keyframePrompt는 정지 이미지를 설명합니다. videoPrompt는 해당 정지 이미지에서 시작하는 5초의 움직임을 설명합니다. 키프레임 프롬프트를 비디오 프롬프트로 재사용하는 것은 가장 흔한 품질 버그입니다(생명력 없고 표류하는 클립을 생성합니다).
  4. 하나의 고정된 스타일. 스타일 블록 + 캐릭터 시트는 style-lock.json에서 상수입니다. 프롬프트는 이들로부터 조립되며, 즉흥적으로 작성되지 않습니다.
  5. 클립을 1.12배 이상 늘리지 마십시오. 비트에 더 많은 시간이 필요하면 다른 샷이나 확장(+4초)을 계획하세요. 늘리기는 첫 번째 실행에서 가장 큰 절충안이었습니다.
  6. 검토되지 않은 프레임이 비디오에 도달하지 않습니다. 키프레임은 먼저 연락처 시트 검토와 텍스트 아티팩트 검사를 통과합니다. 비디오 크레딧은 비용이 많이 드는 단계입니다.
  7. 구조적으로 재개 가능합니다. 모든 단계는 입력 해시와 함께 state/<stage>.json을 작성합니다. 재실행은 멱등적입니다. 28개 중 6번째 샷에서 죽은 실행은 6번째 샷에서 다시 시작해야 합니다.
  8. 생성된 미디어를 즉시 다운로드하십시오. vibes CDN URL은 만료됩니다.
  9. 음악과 SFX는 생성되며, 라이선스되지 않습니다. 악보용 로컬 라가 엔진, 효과용 로컬 신디사이저, 선택적 할당량 제한이 있는 ElevenLabs 히어로 테이크. 레벨: 음성 -16, 음악 -24 덕킹 -3, SFX -18. 캡션은 꺼진 상태를 유지합니다.
  10. 절충안을 보고하고, 절대 숨기지 마십시오. 면제된 모든 게이트는 최종 보고서와 README.md에 포함됩니다.

파이프라인

script-tagged.txt
   │ S0  파싱 + 해시 + 비트 맵
   ▼
script.json ──► S1 TTS (elevenlabs) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 타임라인 + 일시 정지 계획
                                        ▼
                                   timeline.json
                                        │ S3 샷 계획
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 프롬프트 조립               S5 키프레임 (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 클립 (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 사운드 ───┤
                   큐 -> 음악 + sfx -> 믹스           │ S8 조립 (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

병렬성: S1 세그먼트는 3개 동시(서비스 제한). S5는 4개. S6는 3개. script.json이 존재하는 즉시 S1/S2와 S4는 중첩될 수 있습니다. S7은 timeline.json + shots.json만 필요하므로, 음악과 SFX는 S6가 실행되는 동안 렌더링됩니다. 최종 믹스와 S8만 마지막 클립을 기다립니다.

단계 명령어

이름은 tools/CONTRACTS.md의 계약입니다. 표시된 대로 구현하거나 호출하십시오.

PROJ=~/Videos/garuda-jatayu

# S0 — 스크립트 파싱, 해시 유지, 비트 맵 구축
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — 세그먼트별 합성 (eleven_v4 + 인라인 오디오 태그)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — 오디오 측정, 계획된 일시 정지 삽입, 마스터 시계 구축
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — 단어 경계에서 샷 파생 (절대 추측하지 않음)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — 샷당 두 개의 프롬프트 조립
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — 캐릭터 시트 + 위치 플레이트 조건의 키프레임
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — 클립, 3개 동시, 재개 가능, 중재 사다리 내장
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — 사운드: 큐 시트, 악보, sfx, 믹스
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL, xfade/컷 그래프, 믹스와 먹싱
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# 게이트
python tools/qa.py "$PROJ" --gate all

게이트 (게이트 없음, 다음 단계 없음)

게이트검사 항목차단 단계
G0 스크립트정확한 해시, 모든 문장에 비트 + 출연진 + 위치 있음S1
G1 타이밍단어 단조성, 커버리지, 연결 지속 시간 == 타임라인 끝 +-100msS3
G2 스토리보드모든 절이 다루어짐, 지속 시간 [4.0, 5.6]초 이내, 단어 끝에서 컷S5
G3 키프레임720x1280, 시트 일관성, 텍스트 아티팩트 없음, 캐릭터 수S6
G4 클립720x1280/24fps/125프레임, 범위 내 드리프트, 모션 존재S7
G5 조립지속 시간 +-0.3초, xfade 오프셋, 검은색/정지 화면 연결 없음전달
G6 최종720x1280, 24fps, AAC 존재, -16 LUFS +-1, 실음 피크 <= -1.0 dBTP전달
G6b 오디오음성-배경 마진 >= 6 LU (말하는 구간), 덕킹 2.5-3.5dB, 큐 경계 깔끔, 스템 합이 믹스와 일치전달

G3과 G4의 시각적 절반은 배치당 한 번의 비전 검토가 필요합니다. 그 외 모든 것은 기계적으로 확인 가능합니다.

실패 플레이북

증상원인해결책
TTS 503 / 솔버 오프라인데캡차 레인 다운curl 127.0.0.1:8000/health, 레인 재시작 후 재시도
제출 시 CONTENT_POLICY중재 어휘동일한 프롬프트 두 번, 어휘 중립화 (PROMPTS.md), 그런 다음 단축
클립 드리프트 / 서 있음포즈-고정 문장 없음"첫 번째 프레임에서 자세와 위치 유지" 추가
클립이 정지 이미지임모션 단락 누락 또는 너무 약함하나의 명시적 카메라 단락 + 하나의 2차 모션 단락
프레임마다 캐릭터 다름참조 조건 없음files=[...]를 통해 캐릭터 시트 전달
Gemini 401쿠키 만료Helium CDP에서 __Secure-1PSID + __Secure-1PSIDTS 재추출
vibes 401캐시된 세션 만료~/.vibes-session.json 삭제, autoSession()이 다시 로그인하도록 함
잘못된 출력 크기시작 프레임이 720x1280이 아님ImageOps.fit으로 프레임 재구축
컷이 비트에 맞지 않음샷 타이밍이 임의로 생성됨timeline.json에서 S3 재실행
실행이 배치 중간에 중단됨상태 없음예상됨: 동일한 명령어 재실행, 재개됨
SFX 미리보기가 quota_exceeded 반환익명 ElevenLabs 미리보기 할당량 소진 (~2회 요청)예상됨: 로컬 신디사이저가 항상 모든 큐를 렌더링함; 할당량이 새로 생겼을 때만 히어로 테이크 고정

결과물

<project>/
  final.mp4             720x1280, 24fps, H.264/AAC, -16 LUFS
  README.md             파이프라인 + 정확한 명령어 + 절충안
  script-tagged.txt     정확한 입력
  script-spoken.txt     말한 텍스트만
  script.json           파싱된 세그먼트, 비트, 출연진, 위치
  timing.json           세그먼트별 단어
  timeline.json         일시 정지를 포함한 마스터 시계
  shots.json            샷 계획 (EDL)
  style-lock.json       스타일 블록 + 캐릭터 시트 + 플레이트
  style/                character-sheet.png, plates/*.png
  prompts/              <shot>.keyframe.txt, <shot>.video.txt
  keyframes/            <shot>.jpg + manifest.json
  clips/                <shot>.mp4 + <shot>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <stage>.json
  qa/                   게이트 보고서, 연락처 시트

새 비디오를 시작하기 전에 PLAN.md를 참조하십시오: 해결된 결정(음성, 감정 태그, 샷 케이던스, 사운드, 캡션)과 이를 적용하는 단계가 기록되어 있습니다.

관련 스킬