Communitygithub.com

음성, 영상 및 사운드

영화에서 들리는 모든 것을, 듣지 않고 만들어냅니다. 내레이터의 음성을 생성 및 검증하고, 함께 목소리를 선택하며, 음악이 분위기를 따라가도록 스코어링하고, 음향 효과를 배치하며, 음성 아래에 음악을 깔고, 목표 음량을 맞춥니다. 대본이 작성된 후, 그리고 대사, 음성, 음악 또는 믹스가 변경될 때마다 사용합니다.

음성, 영상 및 사운드란 무엇인가요?

이 스킬은 청각 장애가 있는 사용자(또는 사운드를 들을 수 없는 AI 에이전트)가 영화의 전체 오디오 포스트 프로덕션을 수행할 수 있도록 설계되었습니다. ElevenLabs를 사용하여 내레이터의 음성을 생성하고, 단어별 타임라인을 기반으로 컷과 카드를 배치하며, 생성된 음성을 전사(transcribe)하여 대본과 비교 검증합니다. LUFS(음량 측정 단위)를 기반으로 각 트랙의 레벨을 측정하고 설정하여 일관된 음량을 보장합니다. 또한, 사용자와 협력하여 목소리를 선택하고, 영화의 각 파트 분위기에 맞는 음악 트랙을 매핑하며, 음향 효과를 배치하고, 음성 아래에 음악을 자동으로 덕킹(ducking)하는 믹스를 생성합니다. 최종 렌더링된 파일의 통합 음량과 최고 피크(peak)를 측정하여 약 -16 LUFS 및 -1 dBFS 이하를 목표로 합니다. 모든 단계에서 측정값과 검증 결과를 바탕으로 의사 결정을 내리며, 사람에게 전달할 청취 포인트 목록을 제공합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

음성과 사운드

당신은 들을 수 없습니다. 측정값을 바탕으로 결정하고, 전사를 통해 검증한 후, 사람에게 무엇을 들어야 하는지 알려주세요.

1. 음성

scripts/vo.py lines.json assets/vo-raw <voice_id> 명령으로 한 줄당 하나의 파일을 생성하세요. 이 명령은 ElevenLabs에 단어 타이밍을 요청하고 앞뒤 줄을 함께 전달하여 억양이 줄에서 줄로 자연스럽게 이어지도록 합니다. 이 단어 타이밍이 영화의 시계 역할을 하며, 모든 컷과 카드는 단어 위에 배치됩니다.

그런 다음 scripts/vo_finish.py assets/vo-raw assets/vo를 실행합니다:

  • 모든 줄을 -17 LUFS로 레벨링합니다(생성된 테이크는 10 dB 이상 차이가 날 수 있음).
  • --tighten <prefix> 옵션을 사용하면 빠른 구간에서 0.34초 이상의 멈춤(pause)을 줄입니다. 조각으로 작성된 줄(예: "Kabir. Designer. ...")은 0.5초 이상의 간격이 생겨 영화가 느리게 느껴질 수 있습니다.

모든 줄을 검증하세요. 파일을 결합하고, 전사합니다(npx hyperframes transcribe file.wav --json). 그런 다음 전사된 텍스트를 대본과 비교하세요. 생성된 음성은 작은 단어를 빠뜨리거나 바꿉니다: "couldn't"가 "could"로 잘못 생성될 수 있습니다. 이런 줄은 다시 작성("could not")하고 다시 생성하세요. 전사기와 대본이 불일치하는 모든 내용을 보고하세요. 전사기가 틀렸다고 생각되더라도 말입니다.

속도. 작업을 마친 후, 영화의 음성은 활기찬 작품의 경우 초당 2.4~2.8 단어로 진행되어야 합니다. 차분하고 느린 내레이터는 컷팅과 상관없이 영화를 느리게 만듭니다. 이것이 첫 번째 초안이 지루하다는 평가를 받는 가장 흔한 이유입니다.

단일 줄 재작업은 --only id,id로 수행하며, 타이밍 파일은 병합됩니다.

2. 사용자와 함께 내레이터 선택하기

목소리는 취향의 문제이며, 사용자의 것입니다. 영화가 하나의 목소리에 기반하기 전에 미리 샘플을 제공하세요. 새로운 목소리는 모든 줄의 길이와 모든 큐를 변경하기 때문입니다.

  • 악센트, 성별 및 용도별로 음성 라이브러리를 검색합니다(API는 공유 음성 목록과 설명을 제공함).
  • 5~8개의 목소리로 동일한 구절을 생성합니다: vo.py lines.json samples A,B,C --sample 5. 이름과 브랜드 이름이 포함된 구절을 사용하세요.
  • 각 파일에 라이브러리의 설명과 측정된 속도를 한 줄씩 제공하세요. 귀로 순위를 매길 수 없으니, 그렇게 말하세요.

이름. 목소리가 다른 언어의 이름을 잘못 발음할 수 있습니다. 이름 줄에 대해 A/B 테스트를 만드세요: 원본 표기와 해당 리더에 맞게 다시 표기한 버전(예: Kabeer, Urjun)을 준비하세요. 사용자가 선택하도록 하세요. 브랜드 이름의 발음을 청취 확인하는 것은 사용자의 몫입니다. 명시적으로 요청하세요.

3. 분위기를 따라가는 음악

처음부터 끝까지 하나의 트랙은 이야기를 평평하게 만듭니다. 먼저 각 막(act)을 분위기(mood)에 매핑한 다음, 각각에 맞는 트랙을 찾으세요:

영화의 부분분위기찾아야 할 것
오프닝, 사람들을 만나는 장면가볍고, 희망적조용한 피아노 또는 부드러운 맥박, 타악기 거의 없음
문제긴장되고, 무거움천천히 고조되는 어두운 베이스; 심장 박동 또는 낮은 웅장한 소리 추가
요점을 요약하는 대사거의 침묵한 번의 낮은 히트, 그 후 말 아래에는 거의 아무것도 없음
제품 등장고양감시작은 절제되고 나중에 폭발하는 경쾌한 트랙
엔딩 및 엔드 카드안도감같은 트랙의 더 부드러운 섹션

듣지 않고 선택하기. 각 후보에 대해 시간에 따른 레벨(scripts/levels.py track 2)과 템포를 측정하세요. 모양(shape)을 찾고 있습니다: 오프닝을 위한 꾸준히 조용한 구간; 긴장감을 위한 느린 상승; 트랙이 폭발하는 5dB 이상의 명확한 점프. 폭발 지점을 제품의 해답이 나타나는 순간에 배치하세요. 비트에 맞춰 편집할 섹션이 있다면 비트 그리드(템포와 첫 번째 다운비트 시간)를 찾으세요.

트랙 편집하기. 마디선(bar line)에서만 잘라내고, 40ms 크로스페이드를 적용하며, 접합부를 화면 컷으로 가리세요. 트랙을 일찍 끝내려면, 큰 소리 섹션의 마디선에서 부드러운 섹션의 마디선으로 점프하세요. 편집 후, 레벨이 의도한 대로 변경되었는지 접합부를 측정하여 확인하세요.

트랙 변경하기. 화면의 하드 컷과 함께 변경하고, 컷에 히트(hit)를 넣으세요. 나가는 트랙을 0.3초에 걸쳐 페이드 아웃하세요.

4. 음향 효과

작은 소리들은 카드와 컷이 의도적으로 배치된 느낌을 줍니다. 키트를 준비하세요: 서너 개의 짧은 팝, 탭, 송수신 톤, 종이에 펜, 부드러운 윙 소리, 낮은 붐, 어두운 상승음, 심장 박동.

  • 각 효과의 피크 위치를 측정하세요(levels.py file 0.1). 상승음은 파일 시작 후 1.9초에 피크가 올 수 있고, 히트는 먼저 0.25초의 침묵이 있을 수 있습니다. 피크가 화면에 맞도록 파일을 시작하세요.
  • 소리는 화면보다 약 20ms 후에 배치하고, 절대 먼저 배치하지 마세요.
  • 카드가 연속될 때 두세 가지 다른 팝을 번갈아 사용하세요.
  • 긴장감 있는 부분 아래에 심장 박동: 처음에는 조용하게(0.3), 점점 커지고(0.4, 그다음 0.6), 음악이 멈출 때 1초 동안 그대로 둡니다.

5. 믹스

루트 컴포지션의 클립: 음악은 data-volume="1"이 있는 자체 클립에, 음성은 레벨링 후 1.25, 효과는 파일에 따라 0.35에서 2.0 사이.

scripts/mix.py index.html mix.json 명령은 음성 아래에 음악을 덕킹(duck)하는 볼륨 레인을 작성합니다. 트랙의 측정된 레벨에서 레벨을 선택하세요: 베드는 음성보다 11~13 dB 아래에 위치해야 합니다.

측정된 베드음성 아래간격 중
조용한 피아노, -25 dBFS0.91.5
어두운 베드, -21 dBFS0.550.95
경쾌한 트랙, 절제된 오프닝, -17 dBFS0.340.62
같은 트랙의 풀 편곡, -11 dBFS0.190.4
부드러운 섹션, -15 dBFS0.30.75

음성 클립이 이동할 때마다 mix.py를 다시 실행하세요.

목표. 렌더링된 파일을 측정하세요: ffmpeg -i film.mp4 -af ebur128=peak=true -f null -. 통합 음량(integrated) 약 -16 LUFS, 실제 피크(true peak)는 -1 dBFS 이하를 목표로 하세요.

6. 사람에게 무엇을 알릴 것인가

모든 인계 시, 평범한 언어로 다음을 명시하세요: 아무것도 듣지 못했습니다; 음성 라인은 다시 전사되어 일치했습니다(또는 어떤 라인이 일치하지 않았는지); 음량 수치; 그리고 브랜드 이름이 어떻게 발음되는지, 특정 구간에서 음성이 음악 아래에 너무 큰지, 음악 변경이 깔끔한지 등 구체적으로 들어야 할 사항들.

7. 라이선스 및 키

음악과 효과는 사용자가 계정을 보유한 라이브러리 또는 라이선스가 사용을 허용하는 출처에서 가져옵니다. 제목과 계정을 CREDITS.md에 기록하고, 플랜이 영화가 상영될 장소를 커버하는지 확인하도록 상기시키세요. 키는 환경 변수 또는 프로젝트 외부 파일에서 읽으며, 프로젝트 내에 절대 작성하지 않습니다.

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

관련 스킬