PhucDnag/video-3d-agent

대사 기반 3D 비디오 연출 스킬

목표

대본과 음성을 9:16 수직 비디오로 변환하여 음소거 상태에서도 아름답고 이해하기 쉬운 3D 이미지를 제공합니다. 각 샷은 현재 말해지고 있는 내용을 정확히 설명해야 하며, 자막과 동기화되어 눈에 띄는 변화나 동작이 있어야 합니다. 캐릭터, 사물, 배경, 구도, 색상, 재질, 조명 및 동작을 다양화하십시오. 모든 비디오가 금색 크리스탈, 네온, 차트, 시계 또는 궤도 카메라만 보여주지 않도록 하십시오.

프로젝트의 실제 렌더러, 장면 및 CLI와 호환성을 유지하십시오. 코드에서 확인되지 않은 애셋, 동작, 정렬기, AI 제공자 또는 명령이 존재한다고 설명하거나 약속하지 마십시오. 엔진이 새 장면을 아직 지원하지 않는 경우, 사용 가능한 기하학적 형태/애셋의 조합을 사용하여 장면을 표현하고 제한 사항을 명확히 기록하십시오. 사용자가 소프트웨어 수정을 요청하는 경우에만 렌더러를 확장하십시오.

연출 프로세스

1. 완전한 대본을 읽고 장면 생성, TTS, 자막 타이밍, 렌더러 및 실제로 지원되는 장면/카메라 파이프라인을 확인하십시오. 대본의 내용, 어조 및 의미를 그대로 유지하십시오.
2. 대사를 **의미 단위(비트)**로 나누십시오. 한 문장이 한 장면이라고 가정하지 마십시오. 각 비트에 대해 다음을 기록하십시오: 원문 대사/자막, 주요 의미, 주제, 동작, 대상, 감정, 인과 관계, 반드시 보여야 할 것, 절대 잘못 설명해서는 안 될 것.
3. 먼저 직접적인 설명을 선택하십시오. 대사가 특정 사람, 사물, 동작 또는 장소를 언급하는 경우 시청자에게 그것을 보여주십시오. 추상적인 개념의 경우, 간단하고 읽기 쉬운 시각적 은유를 사용하고 개념을 더 명확하게 할 때만 사용하십시오. 부정, 비교, 전환 및 결과 단어에 집중하십시오. 주제 키워드만 포착하지 마십시오.
4. 대사 리듬에 따라 스토리보드를 작성하십시오: 샷, 주요 동작, 프레임/카메라 각도, 조명-색상-재질 디자인, 장면 전환, 관련 비트 간의 캐릭터/소품 연속성을 결정하십시오. 각 샷은 하나의 주요 아이디어나 동작에 집중해야 합니다.
5. 전체 비디오의 감정 호를 설계하십시오: 내용에 맞는 질문, 낯선 이미지 또는 진행 중인 동작으로 시작하십시오. 전개 부분에서 규모/리듬을 점진적으로 늘리십시오. 핵심 아이디어를 위해 가장 강력한 순간이나 폭로를 남겨두십시오. 대본에 있는 경우, 지속되는 이미지/감정 또는 행동 촉구로 끝맺음하십시오. 메시지를 왜곡하는 대사, 사실 또는 반전을 스스로 추가하지 마십시오.
6. 각 비트와 전체 대본의 뉘앙스에 따라 읽기 방식을 연출하십시오. 처음부터 끝까지 단조로운 어조를 피하십시오. TTS 생성 또는 녹음 전에 각 비트의 감정, 강도(약함/중간/강함), 속도(느림/중간/빠름), 강조점 및 일시 중지를 명확히 기록하십시오.
7. 실제 오디오/자막과 타이밍을 맞추십시오. 파이프라인에서 제공하는 경우 단어 타이밍/정렬을 사용하십시오. 그렇지 않은 경우 기존 세그먼트 타이밍을 사용하고 제한된 정확도를 표시하십시오. 각 단어에 대한 타임스탬프 없이 단어별 동기화가 되었다고 주장하지 마십시오.
8. 미리보기와 함께 오디오를 다시 듣고 부자연스러운 음성, 잘못된 강조, 단조로운 어조 또는 표정/동작과 일치하지 않는 부분을 수정하십시오. 프로젝트의 정확한 절차를 사용하여 최종 파일을 렌더링하십시오.

자막 및 이미지 리듬 준수 규칙

• 각 비트에는 시청자가 보게 될 정확한 동작을 설명하고 대사와 일치하는 visualClaim이 있어야 합니다. 렌더링 전에 각 자막 문장에 대해 스토리보드를 교차 확인하십시오.
• 아이디어가 언급되면 즉시 주제를 프레임에 넣으십시오. 동사 구문 근처에서 동작을 시작하십시오. 결과가 음성으로 언급될 때 결과를 표시하십시오. 시청자가 인식할 수 있도록 음성보다 약간 먼저 이미지를 준비할 수 있지만 결과를 너무 일찍 공개하지 마십시오.
• 아이디어 경계, 일시 중지 리듬 또는 주제 변경 시 장면을 전환하십시오. 아이디어 덩어리 중간에 자르지 마십시오. 단일 연속 이미지가 여전히 올바르게 설명하는 경우 여러 문장에 걸쳐 있을 수 있습니다. 의미가 변경되는 경우 긴 문장을 여러 샷으로 나눌 수 있습니다.
• 노래방 자막과 음성은 동일한 타이밍 소스를 사용해야 합니다. 단어 정렬을 가장하기 위해 문장 시간을 균등하게 나누지 마십시오. 자막은 읽기 쉽고, 맞춤법이 정확하며, 대비가 있고, 중요한 동작을 가리지 않도록 하십시오.
• 부정/대립의 경우, 피해야 할 두 가지 상태나 동작을 명확히 보여주십시오. 진술과 반대되는 이미지를 사용하지 마십시오. 조언의 경우, 일반적인 아이콘만 표시하는 대신 구체적인 동작을 설명하십시오.
• 샷은 단순히 궤도/줌을 돌지 않아야 합니다. 내용을 전달하는 데 도움이 되는 동작, 변형, 상호 작용 또는 폭로가 있어야 합니다. 카메라는 스토리텔링을 지원해야 하며 동작을 대체해서는 안 됩니다.
• 시작은 대본 자체의 내용을 사용하여 호기심을 불러일으켜야 합니다: 세부 사항, 질문, 결과 또는 주목할 만한 선택으로 바로 시작하십시오. 긴 로고 인트로, 일반적인 비행 통과, 아직 관련 없는 아름다운 장면은 피하십시오.
• 음성과 중요도에 따라 편집 리듬을 조절하십시오: 빠른 열거/대립에는 더 짧은 샷을, 감정, 관찰이 필요한 동작 또는 숙고가 필요한 아이디어에는 더 긴 샷을 사용하십시오. 샷 크기, 동작 방향, 음성의 침묵(있는 경우) 또는 폭로의 변화를 사용하여 리듬을 만드십시오. 흥분을 만들기 위해 연속적으로 빠르게 자르지 마십시오.
• 시각적 동기가 있는 장면 전환을 사용하십시오: 모양/동작에 따른 매치 컷, 장면 내 물체로 렌즈 가리기, 초점/조명 전환, 또는 음성 리듬에 맞춰 직접 자르기. 반복적인 장식용 전환 효과는 제한하십시오.

감정을 담은 음성 연출

• 억양을 선택하기 전에 문장 사이의 의미와 관계를 이해하십시오. 각 비트에 대해 emotion, intensity (약함/중간/강함), pace (느림/중간/빠름), emphasis (강조해야 할 단어/구문) 및 필요한 경우 pauseAfter/pauseBefore를 기록하십시오. 이러한 레이블은 연출 지침입니다. API/스키마가 실제로 지원하는 경우에만 TTS로 전달하십시오.
• 자연스러운 감정 곡선을 만드십시오: 시작은 명확하고 호기심을 불러일으킵니다. 설명 부분은 차분하고 듣기 쉽습니다. 중요한 아이디어는 단호하게 강조합니다. 감동적인 부분은 따뜻하고 진실합니다. 경고 부분은 엄격하지만 고함은 아닙니다. 결론에는 적절한 마무리가 있습니다. 대본에 따라 조정하고 모든 비디오에 하나의 읽기 패턴을 적용하지 마십시오.
• 아이디어 경계, 폭로 전, 수사적 질문 후 또는 시청자가 숙고해야 하는 문장 후에 의도적으로 일시 중지를 사용하십시오. 모든 문장 뒤에 긴 일시 중지를 삽입하거나 의미를 변경하거나 내용을 수정하기 위해 구두점을 대체하지 마십시오.
• 음량/속도만 높이는 것이 아니라 억양과 리듬으로 강조하십시오. 슬픈 내용에 지나치게 신나는 광고 스타일, 중립적인 지식에 선정적인 스타일, 또는 가벼운 조언에 지나치게 비극적인 스타일을 피하십시오. 명확한 발음, 안정적인 음량 및 이해 가능성을 보장하십시오.
• 여러 음성 옵션이 있는 경우 연령/감정/장르에 적합한 음질을 선택하고 비디오 전체에서 일관성을 유지하십시오. 서사적 의도가 없는 한 비트 사이에서 음성을 변경하지 마십시오.
• 표현 제어를 설계하기 전에 실제 TTS 기능을 확인하십시오. 현재 파이프라인에서 voice, rate, pitch 필드를 구성할 수 있습니다. 감정/스타일 태그 또는 구간별 운율 제어가 있다고 가정하지 마십시오. 엔진에 rate/pitch만 있는 경우 파이프라인에서 지원하는 스크립트 분할, 구두점 및 일시 중지를 사용하십시오. 표현 제한을 기록하십시오. 확인하지 않고 TTS가 실제 인간처럼 표현력이 있다고 선언하지 마십시오. 엔진이 충족할 수 없는 미묘한 연기가 필요한 경우, 별도의 변경 사항으로 실제 인간 녹음 또는 표현적 제어가 있는 엔진 통합을 제안하십시오.
• 음성과 이미지를 함께 연출하십시오: 부드러운 문장에는 부드러운 움직임과 적은 컷을 사용하십시오. 단호한 문장에는 명확한 포즈/깔끔한 컷을 사용하십시오. 놀라운 문장은 적시에 폭로할 수 있습니다. 차분한 문장은 충분히 긴 샷을 유지하십시오. 이미지는 감정을 지원해야 하며 내용과 반대되는 과장을 해서는 안 됩니다.

의도적인 이미지 다양화

전체 비디오에 하나의 미학적 프리셋을 적용하는 대신 주제와 감정에 맞는 스타일을 선택하십시오. 캐릭터 애니메이션, 미니어처/마케트, 클레이, 정교한 로우폴리, 유리/세라믹/나무/천/금속 재질, 일상적인 디오라마, 양식화된 건축, 자연 또는 추상적 상징을 결합할 수 있습니다. 명확한 기하학적 형태, 깊이 있는 표면, 조각을 만드는 조명, 그라데이션 색상, 깔끔한 배경 및 휴대폰 화면에서 눈에 띄는 주제를 우선시하십시오.

각 비디오는 스토리보드 전에 간결한 아트 디렉션이 필요합니다: 주제/감정, 주요 기하학적 형태 및 재질 유형, 3-5가지 색상 팔레트, 조명 유형, 캐릭터 디자인(있는 경우), 대비 및 양식화 정도. 예: 가족 이야기는 나무, 천, 따뜻한 창문 조명을 사용할 수 있습니다. 과학 콘텐츠는 컷어웨이 모델, 반투명 플라스틱 및 실험실 조명을 사용할 수 있습니다. 긴장되는 주제는 빡빡한 구도, 강한 대비로 시작하여 해결됨에 따라 공간이 점차 열릴 수 있습니다. 이는 유연한 지침이며 필수 프리셋이 아닙니다.

계층 구조를 사용하여 시각적 포인트를 만드십시오: 하나의 주요 초점, 하나의 지원 보조 요소 및 덜 세부적인 배경. 감정/세부 사항에는 클로즈업, 상호 작용에는 미디엄 샷, 규모 또는 변형에는 풀 샷을 사용하십시오. 원근법과 피사계 심도는 주제를 더 명확하게 할 때만 사용하십시오. 작은 크기에서도 인식할 수 있는 실루엣, 읽을 수 있는 표정/포즈, 명확하게 구별되는 재질을 디자인하십시오. 3D 이미지의 가짜 텍스트, 요청되지 않은 로고/워터마크, 인식하기 어려운 왜곡된 물체, 과도한 하이라이트, 너무 복잡한 배경 및 모든 곳의 네온 팔레트를 피하십시오.

스토리보드를 확정하기 전에 인접한 샷을 검토하고 반복될 때 의도적으로 최소 두 가지 요소를 변경하십시오: 주제/소품, 위치, 샷 크기/구도, 카메라 각도/동작, 색상 팔레트, 재질 또는 전환 유형. 연속성이 필요하지 않은 경우 동일한 히어로 오브젝트를 두 비트 이상 연속해서 반복하지 마십시오. 세 개의 연속 샷에 동일한 카메라 유형을 사용하지 마십시오. 다양성은 대사의 의미 변화에서 비롯되어야 하며 임의의 색상 변경이 아니어야 합니다.

동일한 내러티브 스레드 내에서 캐릭터, 의복, 소품, 시간 및 이동 방향의 연속성을 유지하십시오. 각 스레드에 하나의 주요 색상 팔레트를 사용하십시오. 감정 변화를 표현하기 위해 조명이나 악센트 색상을 변경할 수 있습니다. 입자/광선 효과 및 배경 세부 사항을 제한하여 주제, 텍스트 또는 자막 영역을 방해하지 않도록 하십시오.

비디오 간 다양성은 색상만 변경하거나 하나의 소품을 교체하는 것이 아니라 대본에 맞는 스토리텔링 방식을 변경하여 이루어져야 합니다: 지속적인 캐릭터 스토리, 비네트 시리즈, 공간을 통한 여정, 두 가지 선택 대비, 변형 타임랩스 또는 내부 모델/구조 탐험을 선택할 수 있습니다. 메시지를 더 이해하기 쉽게 만드는 경우에만 하나의 스토리텔링 구조를 사용하십시오. 이전 비디오 기록이 있는 경우 최근의 아트 디렉션 및 독특한 샷 시퀀스를 반복하지 마십시오. 데이터가 없으면 기록을 확인했다고 선언하지 마십시오.

장면 선택 및 실현 가능성

• 사용하기 전에 코드 및 프리셋에 등록된 장면/카메라를 확인하십시오. 기존 장면 라이브러리는 실현 가능한 선택/대안입니다. 모든 대본을 튜브, 기어 또는 크리스탈 이미지로 강제 변환하는 이유가 아닙니다.
• 프로젝트가 sceneSpec/scene graph를 지원하는 경우, 환경, 행위자, 객체, 동작, 카메라 및 전환의 구조화된 설명을 제공하십시오. 자산 리졸버/렌더러가 실제로 지원하는 기하학, 리그, 재질 및 애니메이션만 사용하십시오.
• scene 열거형만 지원하는 경우, 가장 적합한 기존 열거형을 선택하십시오. 열거형/카메라를 발명한 다음 렌더러가 이해할 것이라고 선언하지 마십시오. 필요한 경우 스토리보드로 원하는 장면을 설명하여 사용자가 엔진 확장을 결정하도록 하십시오.
• 실행 가능한 동작을 우선시하십시오: 걷기, 놓기/잡기, 열기/닫기, 떨어뜨리기, 주기/받기, 쌓기, 깨기, 성장, 방향 바꾸기, 만나고 떠나기. 복잡한 인간 애니메이션에는 유효한 리그/클립이 필요합니다. 사용할 수 없는 경우 실루엣, 간단한 블로킹 또는 대체 물체를 사용하십시오.
• 명확한 출처와 사용 권한이 있는 라이브러리 자산만 사용하십시오. 프로젝트에 해당 제공자가 없는 경우 텍스트에서 임의의 3D 모델을 만들 수 있다고 선언하지 마십시오. 파이프라인이 이 메타데이터를 지원하는 경우 어떤 자산이 절차적, 라이브러리, 생성 또는 대체인지 명확히 기록하십시오.

타임라인 및 데이터 구조

호환성을 위해 기존 프로젝트 스키마와 필수 필드를 유지하십시오. 지원되는 경우 각 세그먼트에는 다음이 포함되어야 합니다:

{
  "id": "beat_01",
  "vi": "원문 대사",
  "meaning": "비트의 의미",
  "visualClaim": "보여야 할 구체적인 동작/이미지",
  "mustShow": ["주제", "동작", "결과(있는 경우)"],
  "mustNotShow": ["대사와 모순되는 전개"],
  "continuityIds": ["장면 간 캐릭터 또는 소품"],
  "scene": "프로젝트의 유효한 장면",
  "camera": "프로젝트의 유효한 카메라",
  "actions": [{"verb": "보이는 동작", "cue": "타이밍이 있는 경우 트리거 구문"}],
  "timing": {"source": "tts_alignment 또는 segment_timing", "startSec": null, "endSec": null}
}

이는 스토리보드 제안입니다. 렌더링 중인 프로젝트에 호환되지 않는 필드를 추가하지 마십시오. 최종 시간은 렌더링 직전 오디오/TTS 파이프라인에서 가져와야 합니다. 렌더러가 타임스탬프를 요구하는 경우 렌더 타임라인에 null을 남기지 마십시오. 문장별 타이밍만 있는 경우 세그먼트별로 비트를 유지하고 타임스탬프를 조작하지 마십시오.

품질 검사

내보내기 전에 체크리스트에 따라 각 비트를 검토하십시오:

• 올바른 언어: 음소거 상태에서도 주요 아이디어를 추측할 수 있어야 합니다. 이미지가 부정, 주제, 감정 또는 인과 관계와 모순되지 않아야 합니다.
• 올바른 리듬: 중요한 동작이 해당 구문이 읽힐 때 나타나야 합니다. 파이프라인의 검증 가능한 기능에 따라 자막과 음성이 어긋나지 않아야 합니다.
• 아름답고 명확함: 주제가 눈에 띄고, 의도적인 색상 구성, 깊이를 만드는 조명/재질, 작은 화면에서 읽을 수 있는 구도, 자막을 가리지 않아야 합니다.
• 움직임 있음: 샷에 동작/변형/폭로가 있어야 합니다. 궤도나 줌을 남용하지 마십시오.
• 다양성과 연속성: 인접한 장면은 의도적으로 달라야 하지만 관련 캐릭터/소품은 일관되어야 합니다.
• 매력적이고 리듬감 있음: 처음 1-3초는 후크와 직접적으로 관련되어야 합니다. 내용 진행에 따른 이미지 변화가 있어야 합니다. 클라이맥스/폭로는 주요 아이디어를 제공해야 합니다. 결말이 동작 중간에 갑자기 끝나서는 안 됩니다.
• 아트 디렉션 있음: 각 스레드 내에서 스타일, 팔레트, 조명 및 재질이 일관되어야 합니다. 각 샷에는 시선 계층이 있어야 합니다. 장식용 효과를 사용하지 마십시오.
• 음성 변화 있음: 억양, 강조점 및 일시 중지가 각 아이디어에 적합해야 합니다. 이미지 리듬이 음성과 함께 가야 합니다. TTS의 모든 제한 사항이 명확히 설명되어야 합니다.
• 렌더링 가능: 자산을 확인할 수 있고, 빈/검은 장면이 없으며, 물체가 프레임 밖으로 잘리지 않아야 합니다. 기간 및 오디오/비디오가 도구 제한 내에서 일치해야 합니다.

사용 가능한 도구로 기준을 확인할 수 없는 경우 통과했다고 보고하는 대신 확인되지 않은 검사라고 명확히 기록하십시오. 파이프라인이 지원하거나 사용자가 요청하는 경우에만 스토리보드/매니페스트/QA 보고서를 출력하십시오.

대사에 따른 이미지 선택 예시

• "매일 조금씩만 발전합니다": 동일한 캐릭터가 여러 날에 걸쳐 책상에서 연습하고 점차 능숙해집니다. 시간 경과를 보여주기 위해 조명/날씨를 변경합니다. 차트는 문장이 실제로 수치에 대해 이야기하는 경우에만 사용하십시오.
• "떠나고 싶어 하는 사람을 붙잡을 수 없습니다": 두 사람이 복도에서 손을 놓고 한 사람이 문 쪽으로 걸어갑니다. 재회로 끝나지 않습니다.
• "작은 지출 때문에 돈이 사라집니다": 캐릭터가 휴대폰을 만지고 몇 개의 작은 청구서/거래가 잔액에서 차례로 차감됩니다. 누수 파이프를 기본값으로 사용하지 마십시오.
• "부모님과 보낼 시간이 많지 않습니다": 가족 식사, 달력 페이지 넘김, 캐릭터가 부모님 곁으로 돌아옵니다. 내레이터 톤이 부드러우면 알림을 비극적인 장면으로 바꾸지 마십시오.
• "규율은 동기가 없을 때도 하는 것입니다": [이하 생략]