AsLSX99/ai-video-workflow

AI 영상 전체 워크플로우 (Codex 감독판)

이 워크플로우는 하나의 문제를 해결합니다: 최소한의 비용과 최대한 낮은 '뽑기' 확률로, 아이디어 하나에서 만족스러운 AI 영상을 만드는 것입니다. 방법은 Eian의 실전 글(x.com/EianLu/article/2118317430665613741)에서 유래했으며, 본 스킬은 총감독을 Claude에서 Codex로 교체했습니다. Codex만 있다면 Codex가 모든 것을 원스톱으로 처리합니다: 스토리 쓰기, 프롬프트 쓰기, 그림 그리기, 후반 코드 작성.

핵심 원칙: 돈이 들기 전에 오류를 막아라

비용 계층 구조가 모든 작업 순서를 결정합니다:

• 프롬프트에서 몇 글자 수정: 거의 무료
• 그림 한 장 다시 그리기: 추가 비용 없음
• 영상 다시 생성: 초당 과금 (2.5 약 ¥1.5/초, 2.0 mini 약 ¥0.5/초, 720p)

따라서: 텍스트에서 발견할 수 있는 오류는 그림으로 넘기지 않고, 그림에서 발견할 수 있는 오류는 영상으로 넘기지 않습니다. 각 단계마다 독립적인 검수 관문이 있으며, 이전 관문을 '통과'해야 다음 단계로 넘어갑니다.

역할 분담

역할	담당
나(사람)	방향 선택, 스타일 확정, 비용 승인, 동영상 확인, 음성 청취
Codex(총감독+화가)	스토리 및 스토리보드 작성, 모든 프롬프트 작성, 자체 그림 도구로 컨셉 아트/샘플 프레임/첫·마지막 프레임 생성, 프레임별 검수, ffmpeg/Python 후반 코드 작성
Seedance(애니메이터)	첫·마지막 프레임을 몇 초 분량의 영상으로 변환
독립 검수 세션	매 단계마다 새로운 세션을 열고, 자료만 제공하고 결론은 주지 않으며, 오류만 찾고 파일은 수정하지 않음

독립 검수가 낮은 '뽑기' 확률의 비결입니다: 주 세션은 사용자와 오래 대화하여 사용자가 무엇을 말하려는지 알고, 자료를 볼 때 자동으로 내용을 보충합니다. 새 세션은 아무것도 모르기 때문에 이해하지 못하는 부분이 있다면 그것이 진정으로 설명이 부족한 부분입니다. 검수 세션은 현재 단계의 자료만 받고, 어떤 결론도, 다른 파일도 받지 않습니다.

환경 자체 점검 (작업 시작 시 가장 먼저)

python scripts/env_check.py를 실행하여 codex, ffmpeg, Python ≥3.9, 환경 변수 ARK_API_KEY를 확인합니다. 부족한 것이 있으면 먼저 사용자에게 알리고 보충합니다.

새 프로젝트 폴더를 만들고 모든 파일을 그 안에 넣습니다. 권장 구조:

프로젝트 폴더/
├── 00-story/        # 스토리, 스토리보드
├── 01-style/        # 스타일, 컨셉 아트
├── 02-frames/       # 각 컷의 첫·마지막 프레임
├── 03-prompts/      # 각 영상 클립의 프롬프트
├── 04-videos/       # 생성된 클립 (이전 버전은 모두 보관)
├── 05-post/         # 후반 작업 중간 파일, 최종 완성본
└── review-log.md    # 각 단계 검수 결론 및 비용 기록

작업 시작 프롬프트

templates/00-director.md 전체 내용을 Codex에 보내 프로젝트를 시작합니다. Codex가 먼저 길이, 화면비, 총 예산, 배경 음악 및 자막을 묻고, 환경을 자체 점검합니다. 이후에는 Codex와만 소통합니다.

8단계 워크플로우

각 단계에는 다음이 표시됩니다: 무엇을 하는가 → 어떤 템플릿을 사용하는가 → 통과 조건.

1단계: 아이디어 → 완전한 스토리

• 초기 아이디어를 Codex에 설명하고, 함께 스토리 라인이 확정될 때까지 논의합니다. 스토리 구조는 단편식(컷 간 연결 불필요, 가장 안정적)을 우선 선택하고, 연속식은 가장 실수하기 쉽습니다.
• 좋은 스토리의 5가지 기준: ①현실적 논리에 부합(모든 전환에 대해 '왜 그렇게 되는가?', '물건은 어디서 오는가?', '닿을 수 있는가?' 질문) ②한 문장으로 표현하고자 하는 바를 설명 가능 ③처음부터 사람을 사로잡음 ④주변인의 반응이 실제 사람처럼(모든 전환은 3단계로: 문제→주인공이 해결하는 방법→주변인의 반응, 반응은 순서가 있어야 함) ⑤화면이 AI로 촬영 가능(AI 취약점 목록 회피: 인물 교차, 손에든 작은 물건, 문자, 거울 반사, 좌우 비대칭, 한 컷 내에서 조명 변경, 한 사람이 연속 세 동작, 하향 샷으로 얼굴 미노출, 조연 과다).
• 템플릿: templates/01-story.md를 채워 Codex에 보냅니다.
• 통과: 새 검수 세션을 열고, 확정된 스토리만 제공하고 templates/02-story-review.md로 검수하여 '통과'를 받습니다.

2단계: 스토리보드 (前期에서 가장 중요, 구도와 색상이 스토리보다 더 중요)

• 각 컷에 대해 다음을 상세히 기록: 장면 내 시간, 생성 시간(올림하여 0.5초 추가), 샷 크기, 카메라 위치, 카메라 움직임, 누가 어디로 움직이는지(화면 좌우 기준), 어떤 표정으로 진행되는지, 무엇이 움직이는지, 어떻게 다음 컷으로 전환되는지.
• 6가지 엄격 요구사항: ①매 컷마다 각도 변경, 정면 전신 샷은 전체에서 최대 2회 ②화면에 항상 움직이는 무언가가 있어야 함 ③전신/반신/클로즈업을 번갈아 사용 ④매 컷마다 적어도 하나의 사물이 움직여야 하며, 움직여야 할 때 움직이고 가만히 있어야 할 때 가만히 있어야 함 ⑤카메라 움직임에는 이유가 있어야 함(사물 따라가기/천천히 접근/멀어지기) ⑥황금비 구도, 머리나 눈이 왼쪽 38% 또는 62%에 위치.
• 색상은 별도로 설계하고, 각 장면별 색상표를 작성합니다. 흑백으로 변환하여 인물과 배경이 구분되지 않으면 색상을 재조정합니다.
• 참고 영상이 있으면 Codex가 프레임별로 카메라 위치와 출입 비율을 측정하여 모방하도록 합니다.
• 템플릿: templates/03-storyboard.md.
• 통과: 색상 블록 스케치 총표(1920×1080에 38%/62% 표시)를 사용자에게 확인받습니다.

3단계: 스타일 확정, 컨셉 아트 제작

• 참고 이미지가 있으면 가장 좋습니다. 바로 제공합니다. Codex가 프롬프트를 작성하고 직접 그림을 그리며, 사용자는 스타일만 확인합니다.
• 각 캐릭터와 고정 소품에 대해 컨셉 아트 1장: 정면, 측면, 여러 표정. 고정 특징은 위치를 명확히 기록합니다(문신은 왼팔에).
• 통과: 사용자가 스타일을 확인한 후에야 본격적인 컷 제작이 허용됩니다.

4단계: 각 컷의 첫·마지막 프레임 생성 (뽑기 확률 낮추는 가장 중요한 단계)

• 순서: 먼저 AI가 각 컷의 '첫 프레임에 무엇을 그릴지, 마지막 프레임에 무엇을 그릴지, 중간에 무슨 일이 일어날지'를 작성하도록 하고, 검수 통과 후에 그림을 그립니다(크레딧 절약) → 가장 내용이 많은 마지막 프레임을 먼저 그림 → 마지막 프레임에서 첫 프레임을 수정하여 생성(카메라 위치와 구도 일관성 보장) → 같은 장소 같은 카메라 각도면 부분 수정 → 접근 샷은 첫 프레임의 일부를 잘라 확대하여 마지막 프레임으로 사용 → 16:9 비율과 첫·마지막 프레임 크기가 동일한지 확인.
• 그림을 그린 후 templates/04-frame-check.md로 8가지 항목을 하나씩 확인합니다(동작 소품이 첫 프레임부터 존재, 반응 미리 배치, 포즈가 모두 같지 않음, 동작 공간 확보, 바람 방향 통일, 휴대폰 크기로 한 번 확인, 확대하여 불필요한 물체 확인, 첫·마지막 프레임 겹쳐서 위치 어긋남 확인).
• 비, 모자, 문신 같은 작은 물건은 첫·마지막 프레임에 모두 그려야 하며, 텍스트로만 쓰면 촬영 중에 사라집니다.
• 통과: 8가지 항목 모두 통과, 사용자가 그림 수정에 동의한 후 수정.

5단계: 비디오 프롬프트 작성, 제출 전 검수

• 고정된 7단 형식: 【화풍】【카메라】【구도와 색상】【인물】【초 단위】【사운드】【제약사항】, 매초 일어나는 모든 것을 기록합니다. 템플릿: templates/05-video-prompt.md.
• 작성 전에 references/pitfall-table.md의 20가지 실수하기 쉬운 지점을 확인합니다. 문제가 발생하면 먼저 프롬프트를 의심하고, 그다음 모델을 의심합니다.
• 통과: 각 프롬프트를 제출하기 전에 새 검수 세션을 열고, templates/06-pre-submit-review.md로 프롬프트와 이미지의 모든 세부 사항을 대조 확인합니다(역사적으로 컵 크기 13% 차이, 모자 유무 불일치, 좌우 반전 등을 발견). '통과'가 작성된 후에만 제출하며, 견적을 사용자에게 제시하고 동의를 받은 후에야 비용을 지출합니다.

6단계: 영상 생성

• scripts/seedance.py를 사용하여 제출합니다(720p, 첫·마지막 프레임 모드), 폴링하여 클립을 가져옵니다.
• 비용 절감 팁: 720p로 출력한 후 후반 작업에서 1080p로 업스케일링, 테스트 클립 없이 첫 번째 본 클립을 직접 촬영, 새로운 방법은 먼저 가장 까다로운 1~2개 클립을 시도하여 성공하면 전체 제출, 예산이 부족하면 2.0 mini 사용(약 1/3 가격, 복잡하지 않은 클립에 충분), 사운드는 들어본 후에 사용(2.5는 '음악 없음'을 작성해도 종종 음악이 혼입됨).
• 문제 발생 시 처리 순서: ①잘라낼 수 있는지(문제가 시작/끝 몇 프레임에만 있는 경우) ②코드로 수정할 수 있는지 ③그런 다음에야 재촬영, 프롬프트나 첫·마지막 프레임을 먼저 수정한 후에만 이 컷 하나만 촬영. 이전 클립은 절대 삭제하지 않고, 최종적으로 이전과 새 클립 중에서 함께 선택.
• 통과: 사용자가 동영상과 사운드를 확인.

7단계: 이어붙이기, 전환, 색보정, 업스케일링

• 모두 코드로 작업, Codex가 ffmpeg/Python 스크립트를 작성합니다. 템플릿: templates/07-postprocess.md (전환 모션 블러는 8-16분할 반셔터 셔터 사용, 채도와 밝기만 조정하고 색상은 변경하지 않음, BT.601 디코딩 및 중간 무손실 전달, 최종 출력 BT.709, lanczos로 1080p 업스케일링 및 약간의 선명화, 비트 포인트는 원곡에서만 박자 측정).
• 작업 완료 후 컷 전후 3프레임을 무작위 점검.

8단계: 전체 영상 검수 및 전달

• 새 검수 세션을 열고, 최종 완성본만 제공하고 어떤 결론도 주지 않으며, 첫 관객처럼 처음부터 다시 시청합니다. 템플릿: templates/08-final-review.md.
• Codex가 요약을 작성하도록 합니다: 스타일, 프롬프트, 범한 오류를 프로젝트 폴더에 저장하여 다음 영화에 직접 재사용.

4스레드 모드 (선택적 고급 기능)

영화가 복잡하거나 예산이 클 경우 templates/09-four-threads.md를 Codex에 보냅니다: 주 제작+검수+감독+대행 네 개의 세션이 협력하며, 대행은 총 예산 내에서만 제출을 승인할 수 있습니다. 일상적인 짧은 영화에는 필요 없으며, 단일 검수 세션으로 충분합니다.

철칙 (모든 하위 세션에 적용되는 규칙)

1. 내가 스토리를 확인하기 전에는 어떤 그림도 그리지 않습니다. 내가 화풍을 확인하기 전에는 본격적인 컷을 그리지 않습니다.
2. 영상 생성을 제출하기 전에 반드시 독립 검수 '통과'를 받고, 견적에 내가 동의한 후에만 제출합니다.
3. 영상에 문제가 발생하면: 먼저 잘라내고, 그다음 코드로 수정하고, 마지막으로 원고를 수정하여 이 컷 하나만 재촬영합니다.
4. 새 버전은 새 파일로 저장하고, 기존 파일을 덮어쓰거나 삭제하지 않습니다.
5. 동영상이나 사운드를 보거나 듣지 않은 것은 명확히 '보지 못함/듣지 못함'이라고 알립니다.
6. 충전하거나 크레딧을 구매하지 않습니다. 인터페이스가 잔액 부족을 반환하면 즉시 중단하고, 기존 클립을 먼저 대충 편집하여 보여줍니다.
7. Codex 크레딧이 소진되면 복구될 때까지 기다리고, 한 번에 너무 많은 그림을 동시에 그리지 않습니다. 작은 부분을 수정할 때는 수정된 부분을 원본 그림에 붙여넣습니다.

파일 인덱스

• templates/ — 10개의 프롬프트 템플릿, 00–09 번호로 프로세스에 해당, [대괄호]를 채워서 전송
• references/pitfall-table.md — 모델의 20가지 실수하기 쉬운 지점 대조표, 프롬프트 작성 시 하나씩 대조
• references/roles.md — 역할 구분표 및 4스레드 역할 설명
• scripts/env_check.py — 환경 자체 점검
• scripts/seedance.py — Seedance 제출/폴링/다운로드