Kontext → Video
Wandle jeden beliebigen Eingabekontext in ein MP4 mit Sprachausgabe + Folien + Untertiteln + (optional) Avatar um.
Wann verwenden
動画化,解説動画作って,ブログを動画に,記事を動画化,explainer video,context to video- Release-Blog / PR-Beschreibung / Meeting-Notizen / Design-Notizen / Release-Notizen / Lerninhalte in kurze Videos verwandeln
- Material für YouTube / interne Workshops / Teams / X in kurzer Zeit in Massen produzieren
- Für Kundenkontakt: TTS durch Azure Speech (offizielle Version) ersetzen (Standard ist edge-tts kostenloser Endpunkt)
Eingabequellen (beliebig davon)
| Eingabe | Vorgehen |
|---|---|
| Blog/Artikel-URL | web_fetch zum Abrufen des Texts |
| Eingefügter Text | Direkt zusammenfassen |
| PR / Commit-Diff | gh pr view + gh pr diff |
| Meeting-Notizen / Design-Notizen | Datei einlesen |
| Release-Notizen | URL oder Markdown |
| Freier Prompt | LLM direkt beauftragen, Struktur zu erstellen |
→ Nach der Quellenerfassung ist der Ablauf gleich (LLM schreibt notes/script.json).
Stack (alle kostenlos, lokal)
| Rolle | Tool |
|---|---|
| Drehbucherstellung | LLM (dieses Skill aufrufend) |
| Folien | Pillow (BIZ UDGothic usw.) |
| Sprachausgabe | edge-tts (Edge Neural Voices, kostenlos, inoffiziell) |
| Videosynthese | ffmpeg (imageio-ffmpeg mitgelieferte Binärdatei möglich) |
| Untertitel | .srt automatisch generiert |
| Avatar (optional) | SadTalker (GPU empfohlen) + ffmpeg elliptische Maske |
Schnellablauf (ohne Avatar)
pip install edge-tts imageio-ffmpeg pillow
# 1. Aus Eingabe script.json generieren (LLM)
# 2. Video generieren
python scripts\build_video.py --project D:\pfad\zu\projekt
# → output\final.mp4 + final.srt
Details: references/script-schema.md / references/setup.md
Avatar-Modus (Sprechender Kopf in der Ecke)
Wenn eine GPU (VRAM 8GB+) vorhanden ist, kann mit SadTalker ein Avatar in der unteren rechten Ecke hinzugefügt werden. Erstmalige Einrichtung dauert in einer separaten venv (Python 3.10) 30-40 Minuten, danach +20-30 Minuten pro Video.
# Vorhandenes Video + 8 Audiodateien → Avatar-Synthese
python scripts\add_avatar.py --project D:\pfad\zu\projekt --face D:\pfad\zu\gesicht.jpg
# Elliptische Maskenversion erstellen
python scripts\ellipse_overlay.py --project D:\pfad\zu\projekt
# → output\final_with_avatar.mp4 und final_with_avatar_ellipse.mp4
Einrichtung, Fallstricke, Charakterauswahl: references/avatar.md
Ausgabestruktur
<projekt>/
├── notes/script.json Drehbuch (von LLM geschrieben)
├── slides/slide_XX.png 1920x1080
├── audio/audio_XX.mp3 Sprachausgabe pro Folie
├── avatar/ (optional)
│ ├── input/face.jpg Ursprungsfoto für Avatar
│ ├── SadTalker/ Repo + Checkpoints
│ ├── venv/ Python 3.10 + torch cu121
│ └── clips/audio_XX.mp4 Avatar-Video pro Sprachdatei
└── output/
├── final.mp4 Standard (Folien + Sprachausgabe)
├── final.srt Untertitel
├── final_with_avatar.mp4 (optional) Avatar rechteckig
└── final_with_avatar_ellipse.mp4 (optional) Avatar kreisförmiger Wipe
Standardeinstellungen
- Auflösung: 1920x1080 30fps (16:9)
- Stimme:
ja-JP-NanamiNeural(weiblich, ruhig). Für männlich:ja-JP-KeitaNeural - Folienanzahl: Titel + 5-7 Hauptfolien (insgesamt 6-8 Folien)
- Farbschema: slate-900 / sky-400 / BIZ UDGothic
- Pro Folie 15-25 Sekunden, insgesamt 2-4 Minuten
Stimme, Farbschema, Schriftart, Seitenverhältnis ändern: references/customization.md
Produktive Nutzung
Das kostenlose edge-tts ist inoffiziell, ohne SLA, kommerziell rechtlich grau. Für Kundenverteilung oder dauerhaften Betrieb:
- Sprachausgabe → gegen Azure Speech (Neural TTS) austauschen
- Avatar kommerziell → Azure TTS Avatar (Lisa usw., offiziell, $0.30/Minute)
Details: references/production-upgrade.md
Häufige Varianten
- 9:16 Kurzversion (X/Reels):
W,H = 1080, 1920, Sprachausgabe auf 60 Sekunden komprimieren - Untertitel einbrennen: ffmpeg
subtitles=final.srtFilter zum Einbrennen in das Video (ffmpeg-advanced-filters.md) - Hintergrundmusik hinzufügen: Separate mp3 in niedriger Lautstärke mischen (ffmpeg-advanced-filters.md)
- Kapitel/Kurs erstellen (Lernmaterial): script.json in Kapitel aufteilen, gemeinsames Intro/Outro
- Mehrsprachige Version:
voiceumschalten + Script übersetzen - Kanal-maskottchen-generierung: SDXL für Maskottchen, seed speichern (avatar-generation-sdxl.md)
- VOICEVOX + offizielle Charakter-Standbilder: Für „lockere Erklärung“-Kanäle wie Zundamon, PSD-Ebenen-Diff für echten Lippensync (voiced-mascot.md)
- Runder Avatar-Wipe: ffmpeg geq Filter für kreisförmige Maske + Akzentring (ffmpeg-advanced-filters.md)
- Automatische YouTube-Veröffentlichung: API für geplante Veröffentlichung + Thumbnail (youtube-upload.md)
- PoC → Regelmäßiger Sendekanal: Verzeichnisumstrukturierung (scale-up-production.md)
Erfüllungskriterien
-
<out>/output/final.mp4(oder Avatar-Version) ist abspielbar, Audio und Video sind synchron - Folientext mindestens 28pt / Titel mindestens 56pt lesbar
- Sprachausgabe spiegelt die Hauptaussagen der Eingabe korrekt wider
-
final.srtist mit der Sprachausgabe synchron - Urheberrecht der Eingabequelle wird nicht verletzt (kein Volltext-Vorlesen, sondern Zusammenfassung + Zitatrahmen)
- (Bei Avatar) GPU-Speicher läuft nicht über, Mundbewegungen sind nicht extrem versetzt