다중 역할 / 대화 더빙 (Multi-voice Dubbing)
'여러 인물 대화 / 다중 역할 대본'을 여러 음색의 오디오 트랙으로 합성합니다. 각 캐릭터는 설정에 맞는 목소리를 가지며, 더 이상 '하나의 목소리로全程'이 아닙니다. 핵심 엔진 skills/shared/scripts/multivoice.py:
줄별로 tts.py(edge-tts 무료 다중 음색) 또는 voice_clone.py(클라우드 표현력 제공자 / 음색 복제)를 호출하여 합성하고,
각 줄의 emotion을 제공자의 진정한 감정 채널에 공급하며, ffmpeg로 하나의 트랙으로 병합 + 정렬된 화자 자막을 생성합니다.
창의성(누가 무엇을 말할지, 어떤 감정인지)은 LLM이 생성합니다. 음색 매핑은 cast에 있습니다. 결정적 IO(줄별 합성/병합/자막)는 엔진이 처리합니다. 결과물
voice.mp3는 바로 내레이션으로auto-short-video/assemble.py에 공급하거나 모든 비디오에 추가할 수 있습니다.voice.srt는 캐릭터 이름이 포함된 자막입니다.
더빙 품질 계층 (중요: 'AI처럼 평평하게 읽는 것' 해결)
edge-tts에는 감정 엔진이 없습니다. 속도와 음높이만 조절할 수 있어 아무리 조정해도 기계처럼 읽습니다. '사람처럼' 들리려면 감정 채널이 있는 클라우드 제공자를 사용해야 합니다(사용자 자체 키 필요, GPU 불필요):
엔진 (cast의 engine) | 품질 | 필요 사항 | 감정 메커니즘 |
|---|---|---|---|
edge (기본값, 무료 백업) | ⚠️ 평평함, 기계적 느낌, 초안용 | 키 불필요, 외부 네트워크 | rate/pitch/volume 미세 조정만 가능 |
clone+openai-compatible→SiliconFlow CosyVoice2 (권장) | 좋음, 중국어 자연스러움 | VOICE_API_KEY (저렴함/신규 사용자 무료 크레딧) | 인라인 `< |
clone+gemini | 좋음, 진짜 무료 | GEMINI_API_KEY (Google 무료 계층, 국내에서 프록시 필요) | 자연어 접두사 |
clone+minimax / dashscope | 좋음, 감정 표현 가능 | 각 제공자의 키 | emotion 열거 / 안내 |
SiliconFlow 권장(클라우드 CosyVoice2, GPU 불필요, 중국어 가장 안정적) .env 설정:
VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<your key>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline
cast의 캐릭터: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8가지 음색 alex/anna/benjamin/…).
- 줄별 감정 자동 연기 추진:
lines.json각 줄의emotion(분노/오열/비웃음/부드러움…) → 엔진이 제공자에 따라 해당 감정 매개변수로 변환합니다. 구체적일수록 연기에 더 좋습니다. - '사람처럼' 만들고 싶다면 → 최소한 주인공/핵심 캐릭터에 클라우드 제공자를 할당하세요(
engine=clone). 키가 있어야 감정이 적용되고, 키가 없으면 자동으로 edge(평평함)로 폴백되며 경고가 표시됩니다. - 제공자 설정은
voice_clone.py헤더(각 제공자의 env)를 참조하세요.voice_clone.py check --provider <name>으로 키가 준비되었는지 오프라인으로 확인할 수 있습니다.
누가 사용할까
쇼트 드라마 대사 (short-drama에서 이미 내부적으로 위임됨), 논문 2인 질의응답 설명 (paper-explainer: 발표자 + 질문자), 인터뷰/팟캐스트 대본, 오디오 드라마, '여러 화자'가 있는 모든 내레이션. 단일 화자 전체 내레이션은 tts-voiceover를 사용하세요.
입력
| 필드 | 필수 | 설명 |
|---|---|---|
| cast.json | 예 | 캐스팅 테이블: 각 화자 → 음색 (edge 음색 + pitch/rate, 또는 복제 음색). '내레이터/발표자' 항목 포함 |
| lines.json | 예 | 줄별 대사: 순서 있는 [{speaker, text, emotion}] (speaker는 cast의 이름 사용; emotion(예: 냉담/분노/긴장/부드러움)은 자동으로 어조 매칭) |
| 출력 경로 | 아니요 | voice.mp3 (기본값은 호출자와 협의); voice.srt 동일한 이름 |
실행 단계
1. 캐스팅 (cast.json) — 캐스팅 가이드를 읽고 음색 결정
먼저 skills/shared/references/voice-casting.md (음색 → 캐릭터 원형 대조 + 동성 구분 + 내레이터 독립 + 감정 리듬)를 읽으세요.
각 화자에 대해 성별/나이/기질/신분에 맞는 음색을 하나 정하고, 내레이터/발표자는 별도로 모든 캐릭터와 다른 음색을 사용하세요:
python skills/shared/scripts/multivoice.py cast init --cast <path>/cast.json
python skills/shared/scripts/multivoice.py cast add --cast <path>/cast.json \
--name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "차가운 남주" # 음수 값은 등호 사용
python skills/shared/scripts/multivoice.py cast add --cast <path>/cast.json \
--name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "온화한 여주"
python skills/shared/scripts/multivoice.py cast check --cast <path>/cast.json # 검증: 음색 유효성/내레이터 독립/음색 충돌 없음
cast.json은 직접 JSON으로 작성할 수도 있습니다. 특정 캐릭터를 사람처럼 감정 표현하게 하려면 (AI 평평한 읽기 해결) → 해당 캐릭터에 클라우드 제공자를 사용하세요:
python skills/shared/scripts/multivoice.py cast add --cast <path>/cast.json \ --name 霸总 --role male_lead --engine clone --providerminimax --voice-id <your voice id> --note "복제/표현력 음색"
.env에 해당 제공자의 키를 설정해야 합니다 (voice_clone.py check --provider minimax); 키가 없으면 해당 캐릭터는 자동으로 edge(평평함)로 폴백되고 경고가 표시됩니다.
2. 줄별 대사 (lines.json)
대본 / 대화 내용을 순서 있는 줄별로 분할합니다:
{"lines":[
{"speaker":"발표자","text":"이 논문은 핵심 문제를 해결합니다.","emotion":"평범"},
{"speaker":"질문자","text":"잠깐만요, 왜 기존 방법으로는 안 되는 거죠?","emotion":"놀람"},
{"speaker":"발표자","text":"그 이유는 시간적 의존성을 무시했기 때문입니다.","emotion":"확신"}
]}
speaker는 cast의 이름과 일치해야 합니다 (일치하지 않으면 내레이터 음색으로 폴백되고 경고가 표시됨); emotion은 선택 사항입니다.
3. 다중 음색 오디오 트랙 + 자막 합성
python skills/shared/scripts/multivoice.py dub \
--cast <path>/cast.json --lines <path>/lines.json -o <path>/voice.mp3
voice.mp3 (각 캐릭터의 독립적인 음색, 감정 자동 리듬 조절) + voice.srt (캐릭터 이름 포함, 타임라인은 줄별 실제 지속 시간에 따라 정렬)를 생성합니다.
dub는 사용된 음색 수를 출력합니다. 2개 이상인지 확인하세요 (여러 인물 대화에서 하나의 목소리만 나와서는 안 됩니다).
4. 비디오에 적용
voice.mp3를 내레이션으로,voice.srt를 자막으로 사용하여auto-short-video/scripts/assemble.py(이미지/비디오 합성)에 공급합니다.- 또는 BGM과 믹싱 (audio-mix)하거나 기존 비디오 (video-editing)에 추가합니다.
폴백
- 외부 네트워크가 없거나 edge-tts가 작동하지 않으면 → 합성 불가, 사실대로 알림 (다중 음색은 edge-tts에 의존함).
- cast가 복제 음색을 지정했지만 키가 없거나 실패하면 → 해당 캐릭터는 자동으로 edge 무료 음색으로 폴백되고 경고가 표시되며, 작업은 차단되지 않습니다.
- 화자가 cast에 없으면 → 내레이터 음색으로 폴백되고 경고가 표시됩니다 (cast에 추가하는 것이 좋습니다).
프로필 인식
- 프로필 있음:
style.md가 음색 기질 선택에 통합됨 (캐릭터 기질 → 음색);preferences.md레드라인이 대사를 필터링함. - 프로필 없음: voice-casting.md 기본 대조표에 따라 음색 선택.
규칙
- 여러 인물 대화는 반드시 다중 음색: 각 화자 독립 음색, 내레이터/발표자 별도 — 절대 전체를 하나의 목소리로 하지 않음 (
cast check+dub음색 수 확인). - 사람처럼 만들려면 클라우드 제공자 사용: edge는 초안용; 완성품/핵심 캐릭터는
engine=clone+provider 사용 (진정한 감정 채널 보유), GPU 불필요. - 음색은 캐릭터에 맞게: voice-casting.md의 원형 대조 + 동성은 pitch/rate로 구분.
- 감정 라벨은 구체적으로: lines의 각 줄에 emotion 라벨 지정 (분노/오열/비웃음/부드러움…), 제공자의 감정 채널에 공급되어 연기 추진.
- 결정적 기록: cast.json / lines.json을 파일로 저장하고, 대사 변경/음색 교체 시
dub을 다시 실행하기만 하면 되며, 처음부터 다시 할 필요 없음.
참고 출처
EASEL-META.md 참조. 다중 음색 더빙 (cast + 줄별 lines + 캐릭터별 음색 줄별 합성 + ffmpeg 병합 + 화자 자막)은 Easel이 자체 개발함;
하위 레벨은 edge-tts (tts.py) 및 클라우드 복제 (voice_clone.py)를 캡슐화함.