음성 ↔ 영상 동기화
규칙 제로: 음성 트랙이 클록을 주도한다. 영상은 측정된 오디오에 맞춰 타이밍을 정하며, 추정된 길이로 절대 정하지 않는다.
1. 내레이션 작성하기
- 정의가 아닌 시청자의 상황에서 시작한다. 하나의 스토리라인; 원인이 결과보다 먼저 온다.
- 숫자를 체감 가능한 척도로 변환한다("3.2MB"가 아닌 "전화번호부 크기").
- 은유는 무게를 가져야 하며, 내레이터는 관점을 가진다.
- 영상이 이미 보여주는 것을 설명하지 말고, 영상이 보여줄 수 없는 것을 말한다.
- 시작 부분을 다시 언급하며 끝맺는다. 챕터 경계는 이어지도록 한다: N챕터의 마지막 줄은 N+1챕터의 첫 줄을 준비한다.
- 말하기 속도로 예산을 책정한다: 영어 ≈ 분당 125–150단어(TTS 음성에 따라 다름 — 하나의 샘플을 측정); 포르투갈어 ≈ 분당 140–160단어; 중국어 ≈ 초당 4–5.5자.
스크립트 파일 형식 (한 문단 = 하나의 샷, |는 캡션 블록을 구분):
# CHAPTER 1 지도가 거짓말하는 이유
당신이 본 모든 지도는 | 누군가가 | 이유를 가지고 그린 것입니다.
메르카토르는 선원들이 | 직선 항로를 유지하기를 원했습니다.
## gap 0.6
## gap <초>는 해당 문단 이후에 최소한 그 시간만큼의 일시 정지를 요청합니다(마지막 영상에 머무름). 오디오에서 이를 생성합니다 — TTS의 경우 SSML <break time="600ms"/>, 문단별 파일을 조립할 때는 묵음 삽입. 타임라인 도구는 타이밍을 절대 변경하지 않으며, 일시 정지를 검증합니다.
2. 스크립트 확정하기
전체 스크립트를 단어 수와 예상 시간과 함께 보여주고 명시적인 "승인"을 받습니다. 확정 후에는 모든 타이밍이 오디오에서 파생되며, 단어를 변경하면 이후의 모든 샷의 타이밍이 다시 조정됩니다.
3. 음성 제작하기
- TTS (녹음이 없을 때 기본값): 사용자에게 선호하는 엔진/음성을 요청합니다. 클라우드 TTS(ElevenLabs, Azure, OpenAI, Google, edge-tts)에 텍스트를 보내면 해당 제공업체와 스크립트를 공유하게 됩니다 — 먼저 확인합니다. 로컬 옵션(Kokoro, Piper)은 기기 내에서 처리합니다.
- 녹음 VO: WAV 48kHz를 허용합니다. 묵음을 자르고, 호흡은 자연스럽게 유지하며, 나중에 믹스에서 노멀라이즈합니다.
- 문단별로 하나의 파일 또는 하나의 마스터 파일과 타임스탬프를 유지합니다. 둘 다 타임라인 도구와 함께 작동합니다.
4. 타임스탬프 얻기
TTS API 응답의 단어 또는 세그먼트 수준 타임스탬프를 사용하거나, 오디오를 스크립트에 강제 정렬합니다(WhisperX, whisper-timestamped, stable-ts, 또는 word_timestamps=True 옵션의 Whisper). 다음 JSON 형식으로 정규화합니다:
{"segments": [{"text": "당신이 본 모든 지도는", "start": 0.00, "end": 1.42,
"words": [{"word": "당신이", "start": 0.00, "end": 0.21}]}]}
5. 타임라인 구축하기
python3 <plugin-root>/scripts/build_timeline.py words.json --script script.txt --fps 30 \
--out-dir timeline/ --max-chars 42 --min-dwell 1.0
다음을 생성합니다: timeline.json (시작/종료 프레임, 캡션 블록, 챕터 시작을 포함한 샷), captions.srt, captions.vtt, 그리고 다음에 대한 경고: 오디오에 없는 스크립트 단어(또는 스크립트에 없는 오디오 단어), 너무 길거나 읽기에 너무 빠른 캡션, 마지막 캡션이 다음 샷 전에 --min-dwell초 미만으로 남는 샷(오디오에 일시 정지를 추가하거나 병합), 요청된 ## gap 일시 정지가 오디오에 없는 경우, 3초 이상의 묵음. 강제 정렬기가 타이밍을 남기지 않은 단어(WhisperX에서 숫자에 흔함)는 이웃 단어 사이에서 보간됩니다. timeline.json을 컴포지션에 입력하고, 절대 프레임 번호를 수동으로 다시 입력하지 마십시오.
6. 캡션 규칙
- 줄당 ≤42자, ≤2줄, 화면 표시 ≥1.0초, 최대 읽기 속도 약 17자/초.
- 구 경계에서 끊고, 관사와 명사 사이에서 절대 끊지 않습니다.
- 9:16 비디오에서 하단 플랫폼 UI 영역과 화면상 UI 텍스트를 피해 캡션을 배치합니다.
- 소셜 미디어용으로는 캡션을 영상에 내장하고, YouTube 및 웹 플레이어용으로는 사이드카 SRT/VTT를 사용합니다.
7. 믹스
| 레이어 | 목표 |
|---|---|
| 통합 라우드니스 (최종) | 소셜/웹용 −14 LUFS (−16 허용); 방송용 −23 LUFS |
| 트루 피크 | ≤ −1 dBTP |
| 음성 아래 음악 | 음성이 있는 동안 8–12dB 덕킹, 150–300ms 어택/릴리즈 |
| SFX | 음악보다 약 10dB 낮게; 원인이 되는 프레임에, 이후가 아님 |
<plugin-root>/scripts/qc.sh loudness final.mp4로 측정합니다 (방송용은 -23 추가). HyperFrames 오디오 스킬이 설치된 경우, hyperframes-audio는 컴포지션 내에서 덕킹("보이스오버 카브"), EQ 및 자동화를 제공합니다. 그렇지 않으면 FFmpeg sidechaincompress와 loudnorm(2패스)을 사용합니다.
8. 미리보기 체크포인트
음성, 캡션, 음악이 포함된 처음 ≤30초를 렌더링하고 질문합니다: "음성, 속도, 캡션 크기 및 리듬 — 괜찮습니까?" 이 시점 이후에 속도를 변경하면 TTS를 다시 실행하고 모든 것을 다시 타이밍해야 합니다.