Communitygithub.com

ZJU-REAL/Easel

Doblaje multivoice para diálogos con múltiples personajes: asigna voces y emociones a cada rol según el reparto y los diálogos línea por línea, generando pistas de audio con múltiples tonos y subtítulos con nombres de personajes.

¿Qué es Easel?

Easel es una habilidad especializada en doblaje multivoice diseñada para convertir guiones con múltiples personajes en pistas de audio con distintas voces, cada una adecuada a la personalidad del rol. Su motor central, `skills/shared/scripts/multivoice.py`, procesa cada línea llamando a `tts.py` (basado en edge-tts, gratuito y multitonos) o a `voice_clone.py` (para voces clonadas con proveedores en la nube), e inyecta emociones específicas en los canales de sentimiento del proveedor. Luego, `ffmpeg` une todas las pistas en un solo archivo y genera subtítulos alineados con los nombres de los hablantes. La habilidad produce `voice.mp3` (que puede usarse como narración en `auto-short-video/assemble.py`) y `voice.srt` con los nombres de los personajes en los subtítulos. Para lograr un resultado natural y evitar el sonido robótico del doblaje plano, se recomienda usar proveedores en la nube (como SiliconFlow con CosyVoice2, Gemini, MiniMax o DashScope) para los roles principales, ya que edge-tts carece de motor emocional y solo ofrece ajustes básicos de velocidad y tono. Easel es ideal para doblaje de series cortas, explicaciones de artículos académicos con preguntas y respuestas entre dos personas, entrevistas, podcasts, audiolibros dramatizados y cualquier contenido con múltiples hablantes.

Compatible con~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/multi-voice-dubbing

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Doblaje Multivoice (Multi-voice Dubbing)

Convierte un guion con múltiples personajes / diálogos en una pista de audio con múltiples tonos de voz — cada personaje con una voz acorde a su personalidad, sin que todo suene a la misma voz. El motor central es skills/shared/scripts/multivoice.py: procesa línea por línea llamando a tts.py (edge-tts, multitonos gratuito) o voice_clone.py (proveedor en la nube con capacidad expresiva / clonación de voz), inyecta la emoción de cada línea en el canal de sentimiento real del proveedor, y ffmpeg une todo en una sola pista + genera subtítulos alineados con los nombres de los hablantes.

La creatividad (quién dice qué y con qué emoción) la aporta el LLM; el mapeo de voces está en cast. El IO determinista (síntesis línea por línea / concatenación / subtítulos) lo maneja el motor. El producto voice.mp3 puede usarse directamente como narración para auto-short-video/assemble.py o añadirse a cualquier vídeo; voice.srt son los subtítulos con nombres de personajes.

Capas de Calidad en el Doblaje (Importante: evita el sonido robótico)

edge-tts no tiene motor emocional, solo ajusta velocidad y tono, por mucho que se intente sigue sonando como una máquina. Para que suene "humano" es necesario usar un proveedor en la nube con canal de emociones (el usuario proporciona su propia clave, no necesita GPU):

Motor (engine en cast)CalidadRequiereMecanismo de Emoción
edge (por defecto, gratuito de respaldo)⚠️ Plano, robótico, solo para borradoresSin clave, acceso a InternetSolo ajustes de rate/pitch/volume
clone+openai-compatible → SiliconFlow CosyVoice2 (recomendado)Buena, chino naturalVOICE_API_KEY (barato / nuevo usuario con crédito gratuito)Instrucciones inline `<
clone+geminiBuena, realmente gratuitoGEMINI_API_KEY (nivel gratuito de Google, necesita proxy en China)Prefijo en lenguaje natural
clone+minimax / dashscopeBuena, con emociónClave de cada proveedorEnumeración de emociones / instrucciones

Recomendado SiliconFlow (CosyVoice2 en la nube, sin GPU, el más estable en chino). Configurar en .env:

VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<tu clave>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline

En cast, un personaje: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 tonos: alex/anna/benjamin/…).

  • La emoción de cada línea impulsa automáticamente la interpretación: cada línea de lines.json tiene un campo emotion (enfado/llanto desgarrador/risa fría/suavidad…) → el motor lo convierte en el parámetro de emoción correspondiente según el proveedor. Cuanto más específica, mejor.
  • Si quieres que suene "humano" → al menos asigna un proveedor en la nube a los personajes principales o clave (engine=clone). Con clave hay emoción, sin clave se degrada automáticamente a edge (plano) y muestra una advertencia.
  • Configuración del proveedor en la cabecera de voice_clone.py (variables de entorno de cada uno); voice_clone.py check --provider <nombre> verifica offline si la clave está completa.

¿Quién lo usa?

Diálogos de series cortas (ya delegado internamente en short-drama), explicaciones de artículos académicos con preguntas y respuestas entre dos personas (paper-explainer: presentador + interlocutor), guiones de entrevistas/podcasts, audiolibros dramatizados, cualquier contenido hablado con múltiples hablantes. Para una sola narración continua, usa tts-voiceover.

Entrada

CampoObligatorioDescripción
cast.jsonSíTabla de reparto: cada hablante → tono de voz (tono edge + pitch/rate, o tono clonado). Incluye entrada para "narrador / presentador"
lines.jsonSíDiálogos línea por línea: [{speaker, text, emotion}] (speaker debe coincidir con un nombre en cast; emotion puede ser frío/ira/tensión/suavidad, se ajusta automáticamente al tono)
Ruta de salidaNovoice.mp3 (por defecto según convenio con quien llama); voice.srt con el mismo nombre

Pasos de Ejecución

1. Reparto (cast.json) — Lee la guía de reparto para definir los tonos

Primero lee skills/shared/references/voice-casting.md (correspondencia tono → arquetipo de personaje + diferenciación entre géneros + narrador independiente + ritmo emocional). Asigna a cada hablante un tono acorde a su sexo/edad/temperamento/identidad; el narrador/presentador va por separado y es diferente de todos los personajes:

python skills/shared/scripts/multivoice.py cast init  --cast <ruta>/cast.json
python skills/shared/scripts/multivoice.py cast add   --cast <ruta>/cast.json \
    --name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Protagonista frío"   # los parámetros negativos usan =
python skills/shared/scripts/multivoice.py cast add   --cast <ruta>/cast.json \
    --name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Protagonista dulce"
python skills/shared/scripts/multivoice.py cast check --cast <ruta>/cast.json    # Verificar: tono válido/narrador independiente/sin tonos duplicados

cast.json también se puede escribir directamente (es JSON). Si quieres que un personaje suene humano con emociones (evitar sonido robótico) → usa un proveedor en la nube para ese personaje:

python skills/shared/scripts/multivoice.py cast add --cast <ruta>/cast.json \
    --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <id de tu tono> --note "Tono clonado / expresivo"

Necesitas configurar la clave del proveedor correspondiente en .env (voice_clone.py check --provider minimax); si falta la clave, ese personaje se degrada automáticamente a edge (plano) y muestra una advertencia.

2. Diálogos línea por línea (lines.json)

Divide el guion / diálogo en líneas ordenadas:

{"lines":[
  {"speaker":"Presentador","text":"Este artículo resuelve un problema clave.","emotion":"neutral"},
  {"speaker":"Interlocutor","text":"Espera, ¿por qué los métodos actuales no funcionan?","emotion":"sorpresa"},
  {"speaker":"Presentador","text":"Porque ignoran las dependencias temporales.","emotion":"firme"}
]}

speaker debe coincidir exactamente con los nombres en cast (si no coincide, se degrada al tono del narrador y muestra advertencia); emotion es opcional.

3. Sintetizar pista multivoice + subtítulos

python skills/shared/scripts/multivoice.py dub \
    --cast <ruta>/cast.json --lines <ruta>/lines.json -o <ruta>/voice.mp3

Genera voice.mp3 (cada personaje con tono independiente, emoción que ajusta automáticamente el ritmo) + voice.srt (con nombres de personajes, temporizado según la duración real de cada línea). dub imprime cuántos tonos se usaron — confirma que sean ≥2 (en una conversación múltiple no debería haber una sola voz).

4. Usar en vídeo

  • voice.mp3 como narración + voice.srt como subtítulos, se alimenta a auto-short-video/scripts/assemble.py (síntesis de imagen/vídeo).
  • O mezclar con música de fondo (audio-mix), o añadir a un vídeo existente (video-editing).

Degradación

  • Sin acceso a Internet / edge-tts no funciona → no se puede sintetizar, se informa claramente (el multivoice depende de edge-tts).
  • Si cast especifica un tono clonado pero falta la clave o falla → ese personaje se degrada automáticamente al tono gratuito de edge y muestra advertencia, no bloquea.
  • Si un hablante no está en cast → se degrada al tono del narrador y muestra advertencia (se recomienda añadirlo a cast).

Sensibilidad al Perfil

  • Con Perfil: style.md se integra en la selección del tono de voz (temperamento del personaje → tono); preferences.md filtra líneas según reglas.
  • Sin Perfil: se selecciona el tono según las correspondencias por defecto de voice-casting.md.

Reglas

  1. Las conversaciones múltiples deben tener multivoice: cada hablante con tono independiente, narrador/presentador por separado — nunca permitir una sola voz durante todo el diálogo (cast check + recuento de tonos en dub como control).
  2. Para sonar humano, usa proveedor en la nube: edge solo para borradores; para producto final / personajes clave, usa engine=clone+provider (con canal de emociones real), sin GPU.
  3. Tono acorde al personaje: según las correspondencias de arquetipos en voice-casting.md + diferenciación entre personajes del mismo sexo usando pitch/rate.
  4. Las emociones deben ser específicas: cada línea en lines debe tener emotion (enfado/llanto desgarrador/risa fría/suavidad…), que se inyecta en el canal de emociones del proveedor para impulsar la interpretación.
  5. Registro determinista: cast.json / lines.json se guardan como archivos; si cambias líneas o tonos, solo ejecuta de nuevo dub, no hace falta empezar desde cero.

Fuentes de Referencia

Ver EASEL-META.md. El doblaje multivoice (reparto + líneas línea por línea + síntesis por personaje según tono + concatenación con ffmpeg + subtítulos con hablante) es desarrollo propio de Easel; las capas inferiores envuelven edge-tts (tts.py) y clonación en la nube (voice_clone.py).

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Skills relacionados