Communitygithub.com

ZJU-REAL/Easel

Dublagem de diálogos com múltiplos personagens: atribui vozes e emoções a diferentes personagens por elenco e fala a fala, sintetizando faixas de áudio com múltiplas vozes e legendas com nomes dos personagens.

O que é Easel?

Easel é uma skill especializada em dublagem de diálogos multi-personagem, convertendo scripts de conversas em faixas de áudio com vozes distintas para cada personagem, cada uma com emoção adequada ao contexto. Ela resolve o problema comum de narração monótona com uma única voz, permitindo produções mais naturais e envolventes para podcasts, audiodramas, explicações de artigos acadêmicos com dois participantes e cenas de curtas-metragens. A skill suporta múltiplos motores de voz, desde o gratuito `edge` (baseado no edge-tts, adequado apenas para rascunhos) até provedores em nuvem como SiliconFlow (CosyVoice2), Google Gemini, MiniMax e DashScope, que oferecem canais de emoção reais para uma atuação mais humana. O fluxo de trabalho é determinístico: o usuário define um elenco (`cast.json`) mapeando personagens para timbres de voz e parâmetros, e um script de falas (`lines.json`) com emoções por linha. Em seguida, o comando `dub` sintetiza cada fala com o motor apropriado, concatena com `ffmpeg` e gera legendas sincronizadas com o nome do falante (`voice.srt`). A skill é ideal para cenários onde múltiplos personagens falam, e integra-se com outras skills como `auto-short-video` e `audio-mix`.

Funciona com~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/multi-voice-dubbing

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Dublagem Multi-Voz (Multi-voice Dubbing)

Transforme "diálogos com múltiplos personagens / scripts de vários personagens" em uma faixa de áudio com múltiplas vozes — cada personagem com uma voz que combina com sua personalidade, não mais "uma voz única do início ao fim". O mecanismo central é skills/shared/scripts/multivoice.py: chama linha a linha tts.py (edge-tts gratuito com múltiplos timbres) ou voice_clone.py (provedor em nuvem com capacidade de expressão / clonagem de voz) para sintetizar, alimenta a emoção de cada linha no canal de emoção real do provedor, e ffmpeg concatena em uma faixa + gera legendas alinhadas com o nome do falante.

A criatividade (quem diz o quê, com qual emoção) é produzida pelo seu LLM; o mapeamento de timbres está no cast. E/S determinística (síntese linha a linha / concatenação / legendas) segue o mecanismo. O produto voice.mp3 pode ser usado diretamente como narração para auto-short-video/assemble.py ou adicionado a qualquer vídeo; voice.srt são legendas com nomes dos personagens.

Níveis de Qualidade de Dublagem (Importante: para evitar "leitura robótica")

O edge-tts não possui mecanismo de emoção, apenas ajusta velocidade e tom. Por mais que se ajuste, ainda soa como leitura robótica. Para soar "como humano", é necessário usar provedores em nuvem com canal de emoção (o usuário fornece a própria chave, sem necessidade de GPU):

Motor (engine no cast)QualidadeNecessárioMecanismo de Emoção
edge (padrão, gratuito para fallback)⚠️ Plano, robótico, apenas para rascunhosSem chave, acesso à internetApenas ajustes de rate/pitch/volume
clone+openai-compatible→SiliconFlow CosyVoice2 (recomendado)Bom, chinês naturalVOICE_API_KEY (barato / novos usuários ganham saldo)Instruções inline <|endofprompt|>
clone+geminiBom, realmente gratuitoGEMINI_API_KEY (camada gratuita do Google, precisa de proxy na China)Prefixo em linguagem natural
clone+minimax / dashscopeBom, com emoçãoChaves de cada provedorEnumeração de emotion / instruções

Recomendado SiliconFlow (CosyVoice2 em nuvem, sem GPU, mais estável para chinês) configure no .env:

VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<sua chave>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline

No cast, para cada personagem: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 timbres: alex/anna/benjamin/…).

  • Emoção linha a linha impulsiona a atuação automaticamente: a emotion de cada linha no lines.json (raiva/chorar aos prantos/sorriso sarcástico/suave…) → o motor converte para parâmetros de emoção correspondentes conforme o provedor. Quanto mais específico, melhor a atuação.
  • Quer "soar como humano"? → Pelo menos para os personagens principais / papéis-chave, configure um provedor em nuvem (engine=clone); com a chave, há emoção; sem chave, cai automaticamente para edge (plano) com alerta.
  • Configuração dos provedores veja no cabeçalho do voice_clone.py (env vars de cada um); voice_clone.py check --provider <nome> verifica offline se as chaves estão completas.

Quem vai usar

Diálogos de curtas (short-drama já delegado internamente), explicação de artigos acadêmicos com dois participantes (paper-explainer: palestrante + perguntador), roteiros de entrevistas/podcasts, audiodramas, qualquer narração com "múltiplos falantes". Para narração contínua de um único locutor, use tts-voiceover.

Entrada

CampoObrigatórioDescrição
cast.jsonSimTabela de elenco: cada falante → timbre de voz (timbre edge + pitch/rate, ou timbre clonado). Inclui entrada para "Narrador / Palestrante"
lines.jsonSimFalas linha a linha: ordenadas [{speaker, text, emotion}] (speaker deve usar o nome no cast; emotion ex: frio/raiva/tensão/suave, combina automaticamente com o tom)
Caminho de saídaNãovoice.mp3 (padrão conforme combinado com quem chama); voice.srt com mesmo nome

Passos de Execução

1. Elenco (cast.json) — Leia o guia de elenco para definir timbres

Primeiro leia skills/shared/references/voice-casting.md (correspondência timbre → arquétipo de personagem + diferenciação entre mesmo gênero + narrador independente + ritmo emocional). Defina para cada falante um timbre que combine com seu gênero/idade/temperamento/identidade. Narrador/palestrante deve ser listado separadamente e ser diferente de todos os personagens:

python skills/shared/scripts/multivoice.py cast init  --cast <caminho>/cast.json
python skills/shared/scripts/multivoice.py cast add   --cast <caminho>/cast.json \
    --name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Protagonista frio"   # Parâmetros negativos usam =
python skills/shared/scripts/multivoice.py cast add   --cast <caminho>/cast.json \
    --name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Protagonista gentil"
python skills/shared/scripts/multivoice.py cast check --cast <caminho>/cast.json    # Verificação: timbre válido/narrador independente/sem conflito de timbres

cast.json também pode ser escrito diretamente (é JSON). Se quiser que um personagem soe como humano com emoção (evitar leitura robótica) → use provedor em nuvem para esse personagem:

python skills/shared/scripts/multivoice.py cast add --cast <caminho>/cast.json \
    --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <seu id de timbre> --note "Timbre clonado/expressivo"

É necessário configurar a chave do provedor correspondente no .env (voice_clone.py check --provider minimax); sem chave, o personagem cai automaticamente para edge (plano) com alerta.

2. Falas linha a linha (lines.json)

Divida o script / roteiro de diálogo em linhas ordenadas:

{"lines":[
  {"speaker":"Palestrante","text":"Este artigo resolve um problema fundamental.","emotion":"neutro"},
  {"speaker":"Perguntador","text":"Espere, por que os métodos existentes não funcionam?","emotion":"surpreso"},
  {"speaker":"Palestrante","text":"Porque eles ignoram a dependência temporal.","emotion":"firme"}
]}

speaker deve coincidir com os nomes no cast (se não coincidir, cai para o timbre do narrador com alerta); emotion é opcional.

3. Sintetizar faixa de áudio com múltiplas vozes + legendas

python skills/shared/scripts/multivoice.py dub \
    --cast <caminho>/cast.json --lines <caminho>/lines.json -o <caminho>/voice.mp3

Produz voice.mp3 (cada personagem com timbre independente, emoção ajusta automaticamente o ritmo) + voice.srt (com nome do personagem, tempo alinhado conforme duração real de cada fala). O comando dub imprime quantos timbres diferentes foram usados — confirme que ≥2 (um diálogo com várias pessoas não deve ter apenas uma voz).

4. Usar em vídeos

  • voice.mp3 como narração + voice.srt como legenda, alimente auto-short-video/scripts/assemble.py (síntese de imagem/vídeo).
  • Ou misture com música de fundo (audio-mix), adicione a vídeo existente (video-editing).

Degradação

  • Sem internet / edge-tts não funciona → impossível sintetizar, informe honestamente (dublagem multi-voz depende de edge-tts).
  • Cast especifica timbre clonado mas falta chave/falha → o personagem cai automaticamente para timbre gratuito edge com alerta, sem bloquear.
  • Falante não está no cast → cai para timbre do narrador com alerta (recomenda-se adicionar ao cast).

Consciência de Perfil

  • Com Perfil: style.md influencia a escolha do timbre (temperamento do personagem → timbre); preferences.md filtra falas conforme regras.
  • Sem Perfil: segue o padrão do voice-casting.md para escolha de timbres.

Regras

  1. Diálogo com múltiplas pessoas deve ter múltiplas vozes: cada falante com timbre independente, narrador/palestrante listado separadamente — nunca permitir uma única voz do início ao fim (cast check + dub contam o número de vozes).
  2. Para soar humano, use provedor em nuvem: edge serve apenas para rascunhos; para produto final / personagens-chave use engine=clone+provider (com canal de emoção real), sem necessidade de GPU.
  3. Timbre deve combinar com o personagem: siga a correspondência de arquétipos no voice-casting.md + diferencie mesmo gênero com pitch/rate.
  4. Anotação de emoção deve ser específica: cada linha em lines deve ter emotion (raiva/chorar aos prantos/sorriso sarcástico/suave…), que será alimentada no canal de emoção do provedor para impulsionar a atuação.
  5. Registro determinístico: cast.json / lines.json salvos em arquivo; para alterar falas ou trocar timbres, basta reexecutar dub, sem precisar recomeçar.

Referências

Veja EASEL-META.md. Dublagem multi-voz (cast + lines linha a linha + síntese linha a linha por timbre de personagem + concatenação com ffmpeg + legendas com nome do falante) é pesquisa própria do Easel; empacota edge-tts (tts.py) e clonagem em nuvem (voice_clone.py) como camada inferior.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Habilidades Relacionadas