Communitygithub.com

ZJU-REAL/Easel

Doublage vocal multi-personnage : attribue un timbre et une émotion à chaque personnage en fonction du casting et des répliques, puis synthétise une piste audio multi-voix avec des sous-titres nommés par personnage.

Qu'est-ce que Easel ?

Easel (ZJU-REAL/Easel) est une compétence spécialisée dans le doublage vocal multi-personnage pour les dialogues de scénarios, les pièces radiophoniques, les interviews ou les podcasts. Elle transforme un script comportant plusieurs intervenants en une piste audio unique avec des voix distinctes pour chaque personnage, chacune adaptée à son profil (timbre, âge, caractère), et génère simultanément des sous-titres horodatés mentionnant le nom du locuteur. Le cœur du système repose sur `multivoice.py`, qui orchestre la synthèse ligne par ligne via `tts.py` (basé sur edge-tts, gratuit et multilingue) ou `voice_clone.py` (pour les providers cloud avec canal émotionnel réel), puis assemble le tout avec `ffmpeg`. L'utilisateur fournit un fichier `cast.json` (mapping personnage → voix) et un fichier `lines.json` (répliques ordonnées avec émotion). Pour une qualité proche de l'humain, il est fortement recommandé d'utiliser un provider cloud (SiliconFlow CosyVoice2, Gemini, Minimax, DashScope) avec une clé API, ce qui permet d'injecter l'émotion (colère, tristesse, rire glacial, tendresse) directement dans le rendu vocal, contrairement à edge-tts qui reste monocorde. Le résultat (`voice.mp3` et `voice.srt`) peut être intégré dans des vidéos courtes (`auto-short-video`) ou mixé avec de la musique (`audio-mix`). La compétence est conçue pour fonctionner sans GPU et s'adapte automatiquement en cas de clé API manquante (fallback sur edge avec alerte).

Compatible avec~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/multi-voice-dubbing

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Doublage Multi-Voix (Multi-voice Dubbing)

Transformez un dialogue à plusieurs personnages / un script multi-rôle en une piste audio multi-voix : chaque personnage reçoit une voix adaptée à son profil, au lieu d'une seule voix uniforme. Le moteur central est skills/shared/scripts/multivoice.py : il appelle ligne par ligne tts.py (edge-tts, gratuit et multi-timbres) ou voice_clone.py (provider cloud expressif / clonage vocal) pour la synthèse, injecte l'émotion de chaque ligne dans le canal émotionnel réel du provider, puis utilise ffmpeg pour assembler le tout et générer des sous-titres alignés avec le nom du locuteur.

La créativité (qui dit quoi, avec quelle émotion) est produite par votre LLM ; le mappage des timbres est défini dans le cast. Les opérations déterministes de sortie (synthèse ligne par ligne, assemblage, sous-titres) sont gérées par le moteur. Le fichier produit voice.mp3 peut être directement utilisé comme narration pour auto-short-video/assemble.py ou intégré dans n'importe quelle vidéo ; voice.srt contient les sous-titres avec le nom du personnage.

Hiérarchie de Qualité du Doublage (Important : Éviter la Lecture Robotique)

Edge-tts n'a pas de moteur émotionnel : il ne peut que modifier la vitesse et la hauteur, ce qui donne un résultat mécanique. Pour obtenir un rendu "humain", il faut utiliser un provider cloud avec canal émotionnel (vous fournissez la clé, pas besoin de GPU) :

Moteur (engine dans le cast)QualitéNécessiteMécanisme Émotionnel
edge (par défaut, gratuit)⚠️ Plat, robotique, seulement pour brouillonPas de clé, accès internetAjustement limité rate/pitch/volume
clone+openai-compatible→SiliconFlow CosyVoice2 (recommandé)Bonne, naturelle en chinoisVOICE_API_KEY (peu coûteux / crédit offert pour nouveaux utilisateurs)Instructions via `<
clone+geminiBonne, vraiment gratuitGEMINI_API_KEY (niveau gratuit Google, proxy nécessaire en Chine)Préfixe en langage naturel
clone+minimax / dashscopeBonne, avec émotionClé du fournisseurÉnumération / instruction d'émotion

Recommandation SiliconFlow (CosyVoice2 cloud, sans GPU, plus stable pour le chinois) : configuration dans .env :

VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<votre_clé>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline

Dans le cast, pour un personnage : --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 timbres : alex/anna/benjamin/…).

  • Interprétation automatique ligne par ligne via l'émotion : l'emotion de chaque ligne dans lines.json (colère, effondrement en larmes, rire glacial, tendresse…) est convertie par le provider en paramètres émotionnels correspondants. Plus vous êtes précis, meilleur est le rendu.
  • Pour un résultat "humain" → attribuez au moins aux personnages principaux / clés un provider cloud (engine=clone) ; avec une clé, l'émotion est active ; sans clé, le système retombe automatiquement sur edge (plat) avec un avertissement.
  • La configuration des providers se trouve en tête de voice_clone.py (variables d'environnement) ; exécutez voice_clone.py check --provider <nom> pour vérifier que la clé est bien présente.

À qui cela s'adresse ?

Doublage de mini-séries (déjà intégré dans short-drama), explication d'articles scientifiques en duo (paper-explainer : présentateur + questionneur), scripts d'interviews/podcasts, pièces radiophoniques, ou toute production avec plusieurs intervenants. Pour une voix unique continue, utilisez plutôt tts-voiceover.

Entrées

ChampObligatoireDescription
cast.jsonOuiTable de casting : chaque locuteur → timbre (timbre edge + pitch/rate, ou timbre cloné). Inclut une entrée pour le narrateur / présentateur
lines.jsonOuiRépliques ligne par ligne : [{speaker, text, emotion}] (speaker doit correspondre à un nom du cast ; emotion ex : froid/colère/tension/tendresse, adaptée automatiquement au ton)
Chemin de sortieNonvoice.mp3 (par défaut selon la convention avec l'appelant) ; voice.srt au même emplacement

Étapes d'exécution

1. Casting (cast.json) – Consultez le guide de casting pour définir les timbres

Lisez d'abord skills/shared/references/voice-casting.md (correspondance timbre → archétype de personnage, distinction entre personnages de même sexe, indépendance du narrateur, prosodie émotionnelle). Définissez pour chaque locuteur un timbre correspondant à son sexe/âge/tempérament/statut, le narrateur/présentateur doit être distinct et listé à part :

python skills/shared/scripts/multivoice.py cast init  --cast <chemin>/cast.json
python skills/shared/scripts/multivoice.py cast add   --cast <chemin>/cast.json \
    --name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Héros froid"   # les paramètres négatifs utilisent =
python skills/shared/scripts/multivoice.py cast add   --cast <chemin>/cast.json \
    --name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Héroïne douce"
python skills/shared/scripts/multivoice.py cast check --cast <chemin>/cast.json    # Validation : timbre valide, narrateur distinct, pas de doublon de timbre

cast.json peut aussi être écrit directement (c'est du JSON). Pour qu'un personnage ait une émotion réaliste (éviter la lecture robotique) → utilisez un provider cloud pour ce personnage :

python skills/shared/scripts/multivoice.py cast add --cast <chemin>/cast.json \
    --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <votre_identifiant_de_timbre> --note "Timbre cloné/expressif"

La clé du provider correspondant doit être configurée dans .env (voice_clone.py check --provider minimax) ; si la clé manque, le personnage retombe automatiquement sur edge (plat) avec un avertissement.

2. Répliques ligne par ligne (lines.json)

Découpez le script / dialogue en lignes ordonnées :

{"lines":[
  {"speaker":"Présentateur","text":"Cet article résout un problème clé.","emotion":"neutre"},
  {"speaker":"Questionneur","text":"Attendez, pourquoi les méthodes actuelles ne fonctionnent-elles pas ?","emotion":"surprise"},
  {"speaker":"Présentateur","text":"Parce qu'elles ignorent les dépendances temporelles.","emotion":"ferme"}
]}

Le champ speaker doit correspondre exactement à un nom du cast (sinon, retour au timbre narrateur avec avertissement) ; emotion est facultatif.

3. Synthèse de la piste multi-voix + sous-titres

python skills/shared/scripts/multivoice.py dub \
    --cast <chemin>/cast.json --lines <chemin>/lines.json -o <chemin>/voice.mp3

Produit voice.mp3 (chaque personnage a son timbre distinct, l'émotion ajuste automatiquement la prosodie) + voice.srt (avec le nom du personnage, synchronisé temporellement en fonction de la durée réelle de chaque ligne). dub affiche le nombre de timbres utilisés — vérifiez qu'il y en a ≥2 (un dialogue à plusieurs personnages ne doit pas avoir une seule voix).

4. Utilisation dans une vidéo

  • voice.mp3 comme narration + voice.srt comme sous-titres, à passer à auto-short-video/scripts/assemble.py (composition image/vidéo).
  • Ou mixez avec de la musique de fond (audio-mix), ou intégrez à une vidéo existante (video-editing).

Dégradations

  • Pas d'accès internet / edge-tts indisponible → impossible de synthétiser, informez l'utilisateur (le multi-voix dépend d'edge-tts).
  • Cast spécifie un timbre cloné mais clé manquante/échec → le personnage retombe automatiquement sur le timbre gratuit edge avec avertissement, sans bloquer le processus.
  • Locuteur absent du cast → retour au timbre narrateur avec avertissement (suggérez de l'ajouter au cast).

Sensibilité au Profil

  • Avec Profil : style.md influence le choix du timbre (tempérament du personnage → timbre) ; preferences.md filtre les répliques selon les limites définies.
  • Sans Profil : sélection des timbres selon les correspondances par défaut du guide voice-casting.md.

Règles

  1. Un dialogue à plusieurs personnages doit impérativement avoir plusieurs timbres : chaque locuteur a un timbre distinct, le narrateur/présentateur est listé à part — interdiction d'avoir une seule voix pour tout le dialogue (contrôle via cast check + nombre de timbres affiché par dub).
  2. Pour un rendu humain, utilisez un provider cloud : edge ne convient que pour les brouillons ; pour un résultat final ou des personnages clés, utilisez engine=clone+provider (avec vrai canal émotionnel), pas besoin de GPU.
  3. Le timbre doit correspondre au personnage : suivez les archétypes du guide voice-casting.md et différenciez les personnages de même sexe avec pitch/rate.
  4. Les émotions doivent être précises : chaque ligne doit indiquer une émotion (colère, effondrement en larmes, rire glacial, tendresse…), qui sera injectée dans le canal émotionnel du provider pour guider l'interprétation.
  5. Conservation déterministe : les fichiers cast.json / lines.json sont sauvegardés ; pour modifier des répliques ou changer un timbre, relancez simplement dub, sans recommencer depuis le début.

Sources de Référence

Voir EASEL-META.md. Le doublage multi-voix (cast + répliques lignes + synthèse ligne par ligne selon le timbre + assemblage ffmpeg + sous-titres par locuteur) est une création originale d'Easel ; les couches sous-jacentes utilisent edge-tts (tts.py) et le clonage cloud (voice_clone.py).

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Skills associés