ElevenLabs Sprachsynthese-Generierung
Erstellen Sie professionelle KI-Sprachaufnahmen für Remotion-Videos mit der ElevenLabs-API.
Voraussetzungen
ELEVEN_API_KEYin.env.local
Kurzanleitung
# Sprachaufnahme aus Text generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Ihr Text hier" --output public/audio/voiceover.mp3
# Mit Erzähler-Stil generieren (natürlicher)
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Ihr Text" --character narrator --output voiceover.mp3
# Szenen mit Request-Stitching generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes remotion/scenes.json --output-dir public/audio/project/
# Einzelne Szene neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --scene scene2 --new-text "Aktualisierter Text"
# Verfügbare Stimmen und Charakter-Voreinstellungen anzeigen
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-voices
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-characters
Charakter-Voreinstellungen
Verwenden Sie Charakter-Voreinstellungen für natürlichere Sprachaufnahmen anstatt wörtlicher Bildschirmtext-Lesungen:
| Charakter | Beschreibung | Am besten geeignet für |
|---|---|---|
literal | Liest Text genau wie geschrieben | Bildschirmtexte, Zitate |
narrator | Professioneller Geschichtenerzähler, glatt, fesselnd | Erklärvideos, Dokumentationen |
salesperson | Begeistert, überzeugend, energisch | Marketing, Werbung |
expert | Autoritär, selbstbewusst, sachkundig | Rechtliche Inhalte, Tutorials |
conversational | Lässig, freundlich, natürlich | Soziale Medien, lockere Inhalte |
dramatic | Intensiv, emotional, eindrucksvoll | Aufhänger, Problemdarstellungen |
calm | Beruhigend, beruhigend, sanft | Vertrauensbildung, Schlussfolgerungen |
# Erzähler-Stil global verwenden
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --character narrator --output-dir public/audio/
# Oder pro Szene in scenes.json festlegen
{
"scenes": [
{ "id": "scene1", "text": "Problemdarstellung", "character": "dramatic" },
{ "id": "scene2", "text": "Lösung", "character": "calm" }
]
}
Szenenbasierte Generierung mit Request-Stitching
Generieren Sie mehrere Szenen mit konsistenter Prosodie unter Verwendung des ElevenLabs Request-Stitchings:
scenes.json Format
{
"name": "produkt-demo",
"voice": "George",
"character": "narrator",
"scenes": [
{
"id": "scene1",
"text": "Generische Text-to-Speech klingt roboterhaft. Ihre Marke verdient etwas Besseres.",
"duration": 4.5,
"character": "dramatic"
},
{
"id": "scene2",
"text": "Mit Sprachklonierung können Sie Ihre eigene Stimme für unbegrenzte Inhalte verwenden.",
"duration": 5.5
},
{
"id": "scene3",
"text": "Nehmen Sie eine kurze Probe auf. Klonen Sie sie. Erstellen Sie in Minuten professionelle Sprachaufnahmen.",
"duration": 6,
"delay": 0.3
}
]
}
Alle Szenen generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/produkt-demo-szenen.json \
--output-dir public/audio/produkt-demo/
Dies erstellt:
produkt-demo-szene1.mp3bisszeneN.mp3produkt-demo-kombiniert.mp3(alle Szenen zusammengefügt)produkt-demo-info.json(Metadaten mit Dauern)
Einzelszenen-Neugenerierung
Wenn eine Szene zu früh beginnt, falsches Timing hat oder anderen Text benötigt:
# Szene2 mit neuem Text neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/szenen.json \
--scene scene2 \
--new-text "Aktualisierter Szenentext 2" \
--output-dir public/audio/projekt/
# Szene3 mit anderem Charakter neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/szenen.json \
--scene scene3 \
--character salesperson \
--output-dir public/audio/projekt/
# Einfach neu generieren (gleicher Text, gleicher Charakter)
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/szenen.json \
--scene scene1 \
--output-dir public/audio/projekt/
# Ein Thumbnail in ein MP4-Video einbetten
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/mein-video.mp4 \
--thumbnail public/videos/mein-thumbnail.png \
--output public/videos/mein-video-mit-thumb.mp4
Das Werkzeug automatisch:
- Verwendet Request-Stitching von vorherigen Szenen für konsistente Prosodie
- Aktualisiert die info.json-Datei mit neuen Metadaten
- Aktualisiert scenes.json, wenn
--new-textangegeben wird
Thumbnail-Einbettung
Betten Sie ein Thumbnail-Bild in MP4-Videos ein, sodass Plattformen wie Twitter, YouTube und Videoplayer Ihr benutzerdefiniertes Thumbnail anstelle des ersten Frames anzeigen.
Thumbnail in Video einbetten
# Grundlegende Verwendung - Ausgabe in video-thumb.mp4
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/promo.mp4 \
--thumbnail public/videos/thumbnail.png
# Benutzerdefinierter Ausgabepfad
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/promo.mp4 \
--thumbnail public/videos/thumbnail.png \
--output public/videos/promo-final.mp4
Arbeitsablauf mit Remotion
# 1. Video rendern
npx remotion render MyVideo public/videos/mein-video.mp4
# 2. Thumbnail rendern (Still-Komposition verwenden)
npx remotion still MyVideoThumbnail public/videos/mein-thumbnail.png
# 3. Thumbnail einbetten
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/mein-video.mp4 \
--thumbnail public/videos/mein-thumbnail.png \
--output public/videos/mein-video-final.mp4
Unterstützte Formate
- Video: MP4 (H.264/H.265)
- Thumbnail: PNG, JPG, JPEG
Die Einbettung verwendet ffmpegs -disposition:v:1 attached_pic-Flag, um das Thumbnail als angehängtes Bild zu setzen, das von den meisten Videoplayern und Plattformen erkannt wird.
Timing-Validierung
Die Fähigkeit validiert automatisch das Timing nach der Generierung mit ffprobe:
Was geprüft wird
| Prüfung | Schwelle | Beschreibung |
|---|---|---|
| Dauerabweichung | >15% | Warnt, wenn die tatsächliche Dauer von der erwarteten abweicht |
| Führende Stille | >200ms | Audio beginnt zu spät (Sprachaufnahme verzögert) |
| Nachlaufende Stille | >500ms | Unnötige Stille am Ende |
| Sprechgeschwindigkeit | 2-4.5 Wörter/s | Optimal ~3 Wörter/Sekunde |
Vorhandenes Audio validieren
# Alle Szenen eines Projekts validieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --validate public/audio/produkt-demo/
Ausgabebeispiel:
🔍 Validiere produkt-demo (6 Szenen)
❌ scene1: 3.00s (erwartet: 4.5s)
❌ Audio 1.50s kürzer als erwartet
👍 8 Wörter @ 3.1 Wörter/s
⚠️ scene2: 6.35s (erwartet: 5.5s)
⚠️ Führende Stille: 235ms (könnte zu spät beginnen)
🐢 10 Wörter @ 1.8 Wörter/s
✅ scene4: 4.36s (erwartet: 4s)
👍 9 Wörter @ 2.3 Wörter/s
📊 Gesamtdauer: 30.80s (erwartet: 30.00s)
Aktualisierte info.json
Nach der Validierung enthält die info.json tatsächliche Messungen:
{
"scenes": [
{
"id": "scene1",
"duration": 4.5,
"actualDuration": 3.0,
"leadingSilence": 0.05,
"wordsPerSecond": 3.1
}
]
}
Verwenden Sie actualDuration in Ihrer Remotion-Komposition für präzise Synchronisation.
Optionen
| Option | Beschreibung | Standard |
|---|---|---|
--text, -t | Text zur Umwandlung in Sprache | Erforderlich (oder --file/--scenes) |
--file, -f | Text aus Datei lesen | - |
--output, -o | Ausgabedateipfad | output.mp3 |
--output-dir | Ausgabeverzeichnis für Szenen | public/audio |
--voice, -v | Stimmname oder -ID | George |
--model, -m | Modell-ID | eleven_multilingual_v2 |
--character, -c | Charakter-Voreinstellung | literal |
--scenes | JSON-Datei mit Szenen | - |
--scene | Einzelne Szenen-ID zur Neugenerierung | - |
--new-text | Neuer Text für Szenen-Neugenerierung | - |
--validate | Vorhandenes Audio-Verzeichnis validieren | - |
--skip-validation | Automatische Validierung überspringen | false |
--embed-thumbnail | Videodatei zum Einbetten des Thumbnails | - |
--thumbnail | Thumbnail-Bilddatei (PNG/JPG) | - |
--stability | Stimmstabilität (0-1) | variiert je nach Charakter |
--similarity | Stimmähnlichkeit (0-1) | variiert je nach Charakter |
--style | Stil-Übertreibung (0-1) | variiert je nach Charakter |
--no-combined | Kombinierte Datei überspringen | false |
Empfohlene Stimmen
| Stimme | Stil | Am besten geeignet für |
|---|---|---|
George | Warm, fesselnd britisch | Erzählungen, Erklärvideos |
Antoni | Professionell, warm | Rechtliche Inhalte, Tutorials |
Arnold | Autoritär, tief | Unternehmensinhalte, ernste Themen |
Josh | Freundlich, gesprächig | Marketing, lockere Inhalte |
Integration mit Remotion
Nach der Generierung von Szenen-Sprachaufnahmen verwenden Sie diese in Ihrer Komposition:
import { Audio, Sequence, staticFile } from "remotion";
// Einzelne Szenen-Audiodateien für präzise Synchronisation verwenden
const SZENEN_DAUER = {
scene1: 4.5, // Aus info.json
scene2: 5.5,
scene3: 8.0,
};
export const VideoMitSprachaufnahme: React.FC = () => {
const { fps } = useVideoConfig();
const szene1Frames = Math.round(SZENEN_DAUER.scene1 * fps);
const szene2Frames = Math.round(SZENEN_DAUER.scene2 * fps);
return (
<>
<Sequence from={0} durationInFrames={szene1Frames}>
<Audio src={staticFile("audio/projekt/projekt-szene1.mp3")} />
<Szene1Visual />
</Sequence>
<Sequence from={szene1Frames} durationInFrames={szene2Frames}>
<Audio src={staticFile("audio/projekt/projekt-szene2.mp3")} />
<Szene2Visual />
</Sequence>
</>
);
};
Tipps für beste Ergebnisse
- Charakter-Voreinstellungen verwenden: Lesen Sie Bildschirmtext nicht wörtlich vor - verwenden Sie
narratoroderexpertfür natürlichen Fluss - Interpunktion ist wichtig: Verwenden Sie Punkte für Pausen, Kommas für kurze Unterbrechungen
- Zahlen: Schreiben Sie Zahlen aus ("fünfhundert" nicht "500") für natürliche Sprache
- Abkürzungen: Schreiben Sie vollständige Wörter ("vierundzwanzig Stunden" nicht "24h")
- Szene für Szene: Verschiedene Szenen können unterschiedliche Charaktere haben (dramatische Einleitung, ruhiger CTA)
- Feinabstimmung: Verwenden Sie
--scene, um einzelne Szenen neu zu generieren, ohne alles wiederholen zu müssen - Request-Stitching: Hält die Stimme über alle Szenen hinweg konsistent
Arbeitsablauf-Beispiel
# 1. scenes.json mit Ihrem Skript erstellen
# 2. Alle Szenen mit Erzähler-Stil generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/mein-video-szenen.json \
--character narrator \
--output-dir public/audio/mein-video/
# 3. In Remotion vorschauen, bemerken, dass Szene2 zu früh beginnt
# 4. Nur Szene2 mit aktualisiertem Text neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/mein-video-szenen.json \
--scene scene2 \
--new-text "Etwas längerer Text, um das visuelle Timing zu füllen" \
--output-dir public/audio/mein-video/
# 5. Videokomposition mit neuer Dauer aus info.json aktualisieren
# 6. Wiederholen, bis das Timing perfekt ist