Communitygithub.com

ZJU-REAL/Easel

다중 역할 대화 더빙: cast와 줄별 대사를 기반으로 각 캐릭터에 음색과 감정을 할당하여 다중 음색 오디오 트랙과 캐릭터 이름이 포함된 자막을 합성합니다.

Easel란 무엇인가요?

Easel은 '다중 역할 대화 더빙'을 위한 AI 에이전트 스킬로, 여러 등장인물이 등장하는 대본을 각 캐릭터에 맞는 개별 음색과 감정이 담긴 오디오 트랙으로 합성합니다. Claude Code, Cursor 등 주요 AI 에이전트 플랫폼에서 사용 가능하며, 사용자는 cast.json(캐릭터-음색 매핑)과 lines.json(줄별 대사 및 감정 태그)만 제공하면 됩니다. 핵심 엔진은 `multivoice.py`로, 무료 edge-tts(초안용)와 감정 표현이 가능한 클라우드 기반 제공자(예: SiliconFlow CosyVoice2, Gemini, MiniMax)를 지원하며, FFmpeg로 음성을 병합하고 화자별 자막(.srt)을 생성합니다. 감정 태그(예: 분노, 우는 웃음, 부드러움)를 각 대사에 부착하면 제공자의 감정 채널을 통해 자연스러운 연기를 구현하며, 클라우드 제공자 사용 시 GPU가 필요 없고 API 키만 있으면 됩니다. 이 스킬은 쇼트 드라마, 논문 설명(2인 토론), 인터뷰, 팟캐스트 등 여러 화자가 등장하는 모든 콘텐츠에 적합하며, 단순 단일 화자 더빙은 별도의 `tts-voiceover` 스킬을 권장합니다.

지원 대상~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/multi-voice-dubbing

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

다중 역할 / 대화 더빙 (Multi-voice Dubbing)

'여러 인물 대화 / 다중 역할 대본'을 여러 음색의 오디오 트랙으로 합성합니다. 각 캐릭터는 설정에 맞는 목소리를 가지며, 더 이상 '하나의 목소리로全程'이 아닙니다. 핵심 엔진 skills/shared/scripts/multivoice.py: 줄별로 tts.py(edge-tts 무료 다중 음색) 또는 voice_clone.py(클라우드 표현력 제공자 / 음색 복제)를 호출하여 합성하고, 각 줄의 emotion을 제공자의 진정한 감정 채널에 공급하며, ffmpeg로 하나의 트랙으로 병합 + 정렬된 화자 자막을 생성합니다.

창의성(누가 무엇을 말할지, 어떤 감정인지)은 LLM이 생성합니다. 음색 매핑은 cast에 있습니다. 결정적 IO(줄별 합성/병합/자막)는 엔진이 처리합니다. 결과물 voice.mp3는 바로 내레이션으로 auto-short-video/assemble.py에 공급하거나 모든 비디오에 추가할 수 있습니다. voice.srt는 캐릭터 이름이 포함된 자막입니다.

더빙 품질 계층 (중요: 'AI처럼 평평하게 읽는 것' 해결)

edge-tts에는 감정 엔진이 없습니다. 속도와 음높이만 조절할 수 있어 아무리 조정해도 기계처럼 읽습니다. '사람처럼' 들리려면 감정 채널이 있는 클라우드 제공자를 사용해야 합니다(사용자 자체 키 필요, GPU 불필요):

엔진 (cast의 engine)품질필요 사항감정 메커니즘
edge (기본값, 무료 백업)⚠️ 평평함, 기계적 느낌, 초안용키 불필요, 외부 네트워크rate/pitch/volume 미세 조정만 가능
clone+openai-compatible→SiliconFlow CosyVoice2 (권장)좋음, 중국어 자연스러움VOICE_API_KEY (저렴함/신규 사용자 무료 크레딧)인라인 `<
clone+gemini좋음, 진짜 무료GEMINI_API_KEY (Google 무료 계층, 국내에서 프록시 필요)자연어 접두사
clone+minimax / dashscope좋음, 감정 표현 가능각 제공자의 키emotion 열거 / 안내

SiliconFlow 권장(클라우드 CosyVoice2, GPU 불필요, 중국어 가장 안정적) .env 설정:

VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<your key>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline

cast의 캐릭터: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8가지 음색 alex/anna/benjamin/…).

  • 줄별 감정 자동 연기 추진: lines.json 각 줄의 emotion (분노/오열/비웃음/부드러움…) → 엔진이 제공자에 따라 해당 감정 매개변수로 변환합니다. 구체적일수록 연기에 더 좋습니다.
  • '사람처럼' 만들고 싶다면 → 최소한 주인공/핵심 캐릭터에 클라우드 제공자를 할당하세요(engine=clone). 키가 있어야 감정이 적용되고, 키가 없으면 자동으로 edge(평평함)로 폴백되며 경고가 표시됩니다.
  • 제공자 설정은 voice_clone.py 헤더(각 제공자의 env)를 참조하세요. voice_clone.py check --provider <name>으로 키가 준비되었는지 오프라인으로 확인할 수 있습니다.

누가 사용할까

쇼트 드라마 대사 (short-drama에서 이미 내부적으로 위임됨), 논문 2인 질의응답 설명 (paper-explainer: 발표자 + 질문자), 인터뷰/팟캐스트 대본, 오디오 드라마, '여러 화자'가 있는 모든 내레이션. 단일 화자 전체 내레이션은 tts-voiceover를 사용하세요.

입력

필드필수설명
cast.json예캐스팅 테이블: 각 화자 → 음색 (edge 음색 + pitch/rate, 또는 복제 음색). '내레이터/발표자' 항목 포함
lines.json예줄별 대사: 순서 있는 [{speaker, text, emotion}] (speaker는 cast의 이름 사용; emotion(예: 냉담/분노/긴장/부드러움)은 자동으로 어조 매칭)
출력 경로아니요voice.mp3 (기본값은 호출자와 협의); voice.srt 동일한 이름

실행 단계

1. 캐스팅 (cast.json) — 캐스팅 가이드를 읽고 음색 결정

먼저 skills/shared/references/voice-casting.md (음색 → 캐릭터 원형 대조 + 동성 구분 + 내레이터 독립 + 감정 리듬)를 읽으세요. 각 화자에 대해 성별/나이/기질/신분에 맞는 음색을 하나 정하고, 내레이터/발표자는 별도로 모든 캐릭터와 다른 음색을 사용하세요:

python skills/shared/scripts/multivoice.py cast init  --cast <path>/cast.json
python skills/shared/scripts/multivoice.py cast add   --cast <path>/cast.json \
    --name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "차가운 남주"   # 음수 값은 등호 사용
python skills/shared/scripts/multivoice.py cast add   --cast <path>/cast.json \
    --name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "온화한 여주"
python skills/shared/scripts/multivoice.py cast check --cast <path>/cast.json    # 검증: 음색 유효성/내레이터 독립/음색 충돌 없음

cast.json은 직접 JSON으로 작성할 수도 있습니다. 특정 캐릭터를 사람처럼 감정 표현하게 하려면 (AI 평평한 읽기 해결) → 해당 캐릭터에 클라우드 제공자를 사용하세요:

python skills/shared/scripts/multivoice.py cast add --cast <path>/cast.json \
    --name 霸总 --role male_lead --engine clone --providerminimax --voice-id <your voice id> --note "복제/표현력 음색"

.env에 해당 제공자의 키를 설정해야 합니다 (voice_clone.py check --provider minimax); 키가 없으면 해당 캐릭터는 자동으로 edge(평평함)로 폴백되고 경고가 표시됩니다.

2. 줄별 대사 (lines.json)

대본 / 대화 내용을 순서 있는 줄별로 분할합니다:

{"lines":[
  {"speaker":"발표자","text":"이 논문은 핵심 문제를 해결합니다.","emotion":"평범"},
  {"speaker":"질문자","text":"잠깐만요, 왜 기존 방법으로는 안 되는 거죠?","emotion":"놀람"},
  {"speaker":"발표자","text":"그 이유는 시간적 의존성을 무시했기 때문입니다.","emotion":"확신"}
]}

speaker는 cast의 이름과 일치해야 합니다 (일치하지 않으면 내레이터 음색으로 폴백되고 경고가 표시됨); emotion은 선택 사항입니다.

3. 다중 음색 오디오 트랙 + 자막 합성

python skills/shared/scripts/multivoice.py dub \
    --cast <path>/cast.json --lines <path>/lines.json -o <path>/voice.mp3

voice.mp3 (각 캐릭터의 독립적인 음색, 감정 자동 리듬 조절) + voice.srt (캐릭터 이름 포함, 타임라인은 줄별 실제 지속 시간에 따라 정렬)를 생성합니다. dub는 사용된 음색 수를 출력합니다. 2개 이상인지 확인하세요 (여러 인물 대화에서 하나의 목소리만 나와서는 안 됩니다).

4. 비디오에 적용

  • voice.mp3를 내레이션으로, voice.srt를 자막으로 사용하여 auto-short-video/scripts/assemble.py (이미지/비디오 합성)에 공급합니다.
  • 또는 BGM과 믹싱 (audio-mix)하거나 기존 비디오 (video-editing)에 추가합니다.

폴백

  • 외부 네트워크가 없거나 edge-tts가 작동하지 않으면 → 합성 불가, 사실대로 알림 (다중 음색은 edge-tts에 의존함).
  • cast가 복제 음색을 지정했지만 키가 없거나 실패하면 → 해당 캐릭터는 자동으로 edge 무료 음색으로 폴백되고 경고가 표시되며, 작업은 차단되지 않습니다.
  • 화자가 cast에 없으면 → 내레이터 음색으로 폴백되고 경고가 표시됩니다 (cast에 추가하는 것이 좋습니다).

프로필 인식

  • 프로필 있음: style.md가 음색 기질 선택에 통합됨 (캐릭터 기질 → 음색); preferences.md 레드라인이 대사를 필터링함.
  • 프로필 없음: voice-casting.md 기본 대조표에 따라 음색 선택.

규칙

  1. 여러 인물 대화는 반드시 다중 음색: 각 화자 독립 음색, 내레이터/발표자 별도 — 절대 전체를 하나의 목소리로 하지 않음 (cast check + dub 음색 수 확인).
  2. 사람처럼 만들려면 클라우드 제공자 사용: edge는 초안용; 완성품/핵심 캐릭터는 engine=clone+provider 사용 (진정한 감정 채널 보유), GPU 불필요.
  3. 음색은 캐릭터에 맞게: voice-casting.md의 원형 대조 + 동성은 pitch/rate로 구분.
  4. 감정 라벨은 구체적으로: lines의 각 줄에 emotion 라벨 지정 (분노/오열/비웃음/부드러움…), 제공자의 감정 채널에 공급되어 연기 추진.
  5. 결정적 기록: cast.json / lines.json을 파일로 저장하고, 대사 변경/음색 교체 시 dub을 다시 실행하기만 하면 되며, 처음부터 다시 할 필요 없음.

참고 출처

EASEL-META.md 참조. 다중 음색 더빙 (cast + 줄별 lines + 캐릭터별 음색 줄별 합성 + ffmpeg 병합 + 화자 자막)은 Easel이 자체 개발함; 하위 레벨은 edge-tts (tts.py) 및 클라우드 복제 (voice_clone.py)를 캡슐화함.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

관련 스킬