Communitygithub.com

ZJU-REAL/Easel

Multi-Rollen-Dialog-Vertonung: Weise verschiedenen Charakteren basierend auf Cast und Dialogzeilen unterschiedliche Stimmen und Emotionen zu, synthetisiere Mehrspur-Audiospuren und Untertitel mit Rollennamen.

Was ist Easel?

Easel ist ein professionelles Multi-Rollen-Dialog-Vertonungssystem, das speziell für KI-Agenten entwickelt wurde. Es ermöglicht die automatische Synthese von Dialogen mit mehreren Sprechern in eine einzige Audiospur mit verschiedenen Stimmen und emotionalen Nuancen. Das Kernskript `multivoice.py` orchestriert die gesamte Pipeline: Es liest Cast- und Dialogdateien, synthetisiert jede Zeile mit der passenden Stimme (edge-tts oder Cloud-Provider), fügt die Zeilen mit ffmpeg zusammen und generiert SRT-Untertitel mit Sprechernamen. Die Qualität reicht von einfachen, kostenlosen edge-tts-Stimmen für Entwürfe bis hin zu hochwertigen, emotional ausdrucksstarken Cloud-Stimmen (z. B. SiliconFlow CosyVoice2, Gemini, Minimax), die per API-Schlüssel aktiviert werden. Easel eignet sich für Kurzdramen, wissenschaftliche Präsentationen mit zwei Sprechern, Interviews, Podcasts und Hörspiele – überall dort, wo mehrere Sprecher natürlich klingen sollen. Die Plattform unterstützt die gängigsten Cloud-Provider und erfordert keine GPU.

Funktioniert mit~Claude Code✓Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/multi-voice-dubbing

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Multi-Rollen / Dialog-Vertonung (Multi-voice Dubbing)

Wandeln Sie ein "Multi-Personen-Dialog / Multi-Rollen-Skript" in eine Mehrspur-Audiospur um – jeder Charakter erhält eine zu seiner Persönlichkeit passende Stimme, kein "einheitlicher Monolog" mehr. Der Kernmotor skills/shared/scripts/multivoice.py: Ruft zeilenweise tts.py (edge-tts kostenlose Multi-Stimmen) oder voice_clone.py (Cloud-Provider mit Ausdruckskraft / Stimmklon) auf, speist die Emotion jeder Zeile in den echten Emotionskanal des Providers ein, fügt mit ffmpeg zu einer Spur zusammen und generiert synchronisierte Sprecher-Untertitel.

Die Kreativität (wer sagt was, mit welcher Emotion) stammt von Ihnen (LLM); die Stimmzuordnung erfolgt im Cast. Die deterministische IO (zeilenweise Synthese/Zusammenfügen/Untertitel) wird vom Motor übernommen. Das Ergebnis voice.mp3 kann direkt als Erzählung an auto-short-video/assemble.py übergeben oder in jedes Video eingefügt werden; voice.srt sind die Untertitel mit Rollennamen.

Vertonungs-Qualitätsstufen (Wichtig: Gegen die "KI-flache-Lesung")

edge-tts hat keinen Emotionsmotor, kann nur Geschwindigkeit und Tonhöhe variieren – egal wie man es einstellt, es klingt wie eine maschinelle Vorlesung. Um "menschlich" zu klingen, muss ein Cloud-Provider mit Emotionskanal verwendet werden (Benutzer stellt eigenen Schlüssel, keine GPU erforderlich):

Engine (im Cast engine)QualitätErfordertEmotionsmechanismus
edge (Standard, kostenlose Absicherung)⚠️ Flach, roboterhaft, nur für EntwürfeKein Schlüssel, InternetNur rate/pitch/volume Feintuning
clone+openai-compatible→SiliconFlow CosyVoice2 (empfohlen)Gut, natürliches ChinesischVOICE_API_KEY (günstig/Neukundengeschenke)Inline `<
clone+geminiGut, wirklich kostenlosGEMINI_API_KEY (Google Free Tier, benötigt ggf. Proxy in China)Natürlichsprachliches Präfix
clone+minimax / dashscopeGut, mit EmotionSchlüssel des Anbietersemotion Enumeration / instruct

Empfehlung: SiliconFlow (Cloud-CosyVoice2, keine GPU nötig, stabilstes Chinesisch) Konfiguration in .env:

VOICE_PROVIDER=openai-compatible
VOICE_BASE_URL=https://api.siliconflow.cn/v1
VOICE_API_KEY=<Ihr Schlüssel>
VOICE_MODEL=FunAudioLLM/CosyVoice2-0.5B
VOICE_INSTRUCT_MODE=inline

Im Cast für Charaktere: --engine clone --provider openai-compatible --voice-id FunAudioLLM/CosyVoice2-0.5B:alex (8 Stimmen alex/anna/benjamin/…).

  • Zeilenweise Emotionsautomatik: Die emotion jeder Zeile in lines.json (wütend/weinen/kalt lächeln/sanft…) wird vom Provider in entsprechende Emotionsparameter umgesetzt. Je konkreter, desto besser für die Darstellung.
  • Für "menschlich" klingen → mindestens dem Protagonisten/Hauptcharakter einen Cloud-Provider zuweisen (engine=clone); mit Schlüssel gibt es Emotionen, ohne Schlüssel automatischer Rückfall auf edge (flach) mit Warnung.
  • Provider-Konfiguration siehe Kopf von voice_clone.py (Umgebungsvariablen der Anbieter); voice_clone.py check --provider <Name> überprüft offline, ob der Schlüssel vollständig ist.

Wer nutzt es

Kurzdrama-Dialoge (short-drama intern bereits delegiert), wissenschaftliche Präsentationen mit zwei Sprechern (paper-explainer: Vortragender + Frager), Interview-/Podcast-Skripte, Hörspiele, jede Art von "mehreren Sprechern". Für einzelne durchgehende Erzählungen reicht tts-voiceover.

Eingabe

FeldPflichtBeschreibung
cast.jsonJaBesetzungsliste: Jeder Sprecher → Stimme (edge-Stimme + pitch/rate oder Klon-Stimme). Enthält Eintrag für "Erzähler/Vortragender"
lines.jsonJaZeilenweiser Dialog: Geordnete Liste [{speaker, text, emotion}] (speaker verwendet Namen aus Cast; emotion z.B. kalt/wütend/angespannt/sanft, wird automatisch an den Tonfall angepasst)
AusgabepfadNeinvoice.mp3 (Standard gemäß Vereinbarung mit Aufrufer); voice.srt mit gleichem Namen

Ausführungsschritte

1. Cast (cast.json) – Lesen Sie den Casting-Leitfaden zur Stimmauswahl

Lesen Sie zuerst skills/shared/references/voice-casting.md (Stimme → Archetyp-Vergleich + Unterscheidung gleichen Geschlechts + separates Intro + Emotionsrhythmus). Weisen Sie jedem Sprecher eine zu Geschlecht/Alter/Temperament/Identität passende Stimme zu; Erzähler/Vortragender separat und anders als alle anderen Charaktere:

python skills/shared/scripts/multivoice.py cast init  --cast <Pfad>/cast.json
python skills/shared/scripts/multivoice.py cast add   --cast <Pfad>/cast.json \
    --name 林策 --role male_lead --voice zh-CN-YunxiNeural --rate=-5% --pitch=-3Hz --note "Kühler Hauptdarsteller"   # Negative Parameter mit Gleichheitszeichen
python skills/shared/scripts/multivoice.py cast add   --cast <Pfad>/cast.json \
    --name 苏晚 --role female_lead --voice zh-CN-XiaoxiaoNeural --note "Sanfte Hauptdarstellerin"
python skills/shared/scripts/multivoice.py cast check --cast <Pfad>/cast.json    # Überprüfung: Stimme gültig/Erzähler separat/keine Doppelbelegung

cast.json kann auch direkt geschrieben werden (ist JSON). Möchte man, dass ein Charakter menschlich mit Emotion klingt (gegen KI-flache Lesung) → diesem Charakter einen Cloud-Provider zuweisen:

python skills/shared/scripts/multivoice.py cast add --cast <Pfad>/cast.json \
    --name 霸总 --role male_lead --engine clone --provider minimax --voice-id <Ihre Stimmen-ID> --note "Klon/Ausdrucksstimme"

Benötigt den Schlüssel des entsprechenden Providers in .env (voice_clone.py check --provider minimax); fehlt der Schlüssel, fällt dieser Charakter automatisch auf edge zurück (flach) mit Warnung.

2. Zeilenweiser Dialog (lines.json)

Zerlegen Sie das Skript/Dialogskript in geordnete Zeilen:

{"lines":[
  {"speaker":"Vortragender","text":"Dieses Papier löst ein Kernproblem.","emotion":"neutral"},
  {"speaker":"Frager","text":"Moment, warum funktionieren bestehende Methoden nicht?","emotion":"überrascht"},
  {"speaker":"Vortragender","text":"Weil sie die zeitliche Abhängigkeit ignorieren.","emotion":"bestimmt"}
]}

speaker muss mit dem Namen im Cast übereinstimmen (bei Abweichung Rückfall auf Erzählerstimme mit Warnung); emotion optional.

3. Mehrspur-Audiospur + Untertitel synthetisieren

python skills/shared/scripts/multivoice.py dub \
    --cast <Pfad>/cast.json --lines <Pfad>/lines.json -o <Pfad>/voice.mp3

Ausgabe: voice.mp3 (jeder Charakter eigene Stimmlage, Emotionen automatisch an Rhythmus angepasst) + voice.srt (mit Rollennamen, zeitlich synchronisiert mit tatsächlicher Zeilenlänge). dub gibt die Anzahl der verwendeten Stimmlagen aus – stellen Sie sicher, dass es ≥2 sind (bei mehreren Sprechern sollte es nicht nur eine Stimme geben).

4. Ins Video einbinden

  • voice.mp3 als Erzählung + voice.srt als Untertitel, an auto-short-video/scripts/assemble.py übergeben (Bild/Video-Synthese).
  • Oder mit Hintergrundmusik mischen (audio-mix), in bestehendes Video einfügen (video-editing).

Degradation

  • Kein Internet/edge-tts nicht erreichbar → Synthese nicht möglich, ehrlich mitteilen (Mehrspur-Vertonung benötigt edge-tts).
  • Cast spezifiziert Klon-Stimme, aber Schlüssel fehlt/schlug fehl → dieser Charakter fällt automatisch auf edge kostenlose Stimme zurück mit Warnung, blockiert nicht.
  • Sprecher nicht im Cast → Rückfall auf Erzählerstimme mit Warnung (empfehle, in Cast aufzunehmen).

Profil-Wahrnehmung

  • Mit Profil: style.md beeinflusst die Stimmauswahl (Charaktertemperament → Stimme); preferences.md filtert Dialogzeilen gemäß Richtlinien.
  • Ohne Profil: Standardmäßige Stimmauswahl gemäß voice-casting.md.

Regeln

  1. Mehrpersonen-Dialog MUSS mehrere Stimmen haben: Jeder Sprecher eigene Stimme, Erzähler/Vortragender separat – auf keinen Fall eine einzige Stimme durchgängig (cast check + dub überwacht Anzahl der Stimmlagen).
  2. Menschlich klingen → Cloud-Provider verwenden: edge nur für Entwürfe; für Endprodukt/Hauptcharaktere engine=clone+Provider (mit echtem Emotionskanal) nutzen, keine GPU nötig.
  3. Stimme passend zum Charakter: Gemäß Archetyp-Vergleich in voice-casting.md + Unterscheidung gleichen Geschlechts durch pitch/rate.
  4. Emotionsangaben konkret: Jede Zeile in lines mit emotion markieren (wütend/weinen/kalt lächeln/sanft…), wird in den Emotionskanal des Providers eingespeist und treibt die Darstellung.
  5. Deterministische Archivierung: cast.json/lines.json als Dateien ablegen; Dialogänderungen/Stimmwechsel durch erneutes dub umsetzen, kein Neuanfang nötig.

Quellen

Siehe EASEL-META.md. Multi-Rollen-Vertonung (Cast + zeilenweise lines + stimmbasierte Zeilensynthese + ffmpeg-Zusammenfügung + Sprecher-Untertitel) ist Eigenentwicklung von Easel; unter der Haube verwendet es edge-tts (tts.py) und Cloud-Klon (voice_clone.py).

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Verwandte Skills