Communitygithub.com

ElevenLabs Sprachsynthese

Erstellen Sie professionelle KI-Sprachaufnahmen für Remotion-Videos mit der ElevenLabs-API. Unterstützt mehrere Stimmen und Charakter-Voreinstellungen (Erzähler, Verkäufer, Experte) für natürliche Darbietungen. Inklusive Einzelszenen-Neugenerierung zur Feinabstimmung.

Was ist ElevenLabs Sprachsynthese?

Diese Fähigkeit generiert professionelle KI-Sprachaufnahmen für Remotion-Videos unter Verwendung der ElevenLabs-API. Sie ist besonders nützlich für Entwickler, die Voiceover für Erklärvideos, Marketinginhalte, Tutorials und Social-Media-Beiträge benötigen. Die Fähigkeit unterstützt mehrere Stimmen und Charakter-Voreinstellungen wie Erzähler, Verkäufer oder Experte, um eine natürliche und kontextgerechte Darbietung zu gewährleisten. Sie bietet Funktionen wie szenenbasierte Generierung mit Request-Stitching für konsistente Prosodie, Einzelszenen-Neugenerierung zur Feinabstimmung, Thumbnail-Einbettung in MP4-Videos und automatische Timing-Validierung mit ffprobe. Die Fähigkeit ist für die Verwendung in der Kommandozeile ausgelegt und integriert sich nahtlos in Remotion-Workflows, sodass Entwickler Audio-Dateien für jede Szene generieren, validieren und in Remotion-Kompositionen einbinden können.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/delorenj/skills/tree/HEAD/elevenlabs-remotion

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

ElevenLabs Sprachsynthese-Generierung

Erstellen Sie professionelle KI-Sprachaufnahmen für Remotion-Videos mit der ElevenLabs-API.

Voraussetzungen

  • ELEVEN_API_KEY in .env.local

Kurzanleitung

# Sprachaufnahme aus Text generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Ihr Text hier" --output public/audio/voiceover.mp3

# Mit Erzähler-Stil generieren (natürlicher)
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Ihr Text" --character narrator --output voiceover.mp3

# Szenen mit Request-Stitching generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes remotion/scenes.json --output-dir public/audio/project/

# Einzelne Szene neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --scene scene2 --new-text "Aktualisierter Text"

# Verfügbare Stimmen und Charakter-Voreinstellungen anzeigen
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-voices
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-characters

Charakter-Voreinstellungen

Verwenden Sie Charakter-Voreinstellungen für natürlichere Sprachaufnahmen anstatt wörtlicher Bildschirmtext-Lesungen:

CharakterBeschreibungAm besten geeignet für
literalLiest Text genau wie geschriebenBildschirmtexte, Zitate
narratorProfessioneller Geschichtenerzähler, glatt, fesselndErklärvideos, Dokumentationen
salespersonBegeistert, überzeugend, energischMarketing, Werbung
expertAutoritär, selbstbewusst, sachkundigRechtliche Inhalte, Tutorials
conversationalLässig, freundlich, natürlichSoziale Medien, lockere Inhalte
dramaticIntensiv, emotional, eindrucksvollAufhänger, Problemdarstellungen
calmBeruhigend, beruhigend, sanftVertrauensbildung, Schlussfolgerungen
# Erzähler-Stil global verwenden
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --character narrator --output-dir public/audio/

# Oder pro Szene in scenes.json festlegen
{
  "scenes": [
    { "id": "scene1", "text": "Problemdarstellung", "character": "dramatic" },
    { "id": "scene2", "text": "Lösung", "character": "calm" }
  ]
}

Szenenbasierte Generierung mit Request-Stitching

Generieren Sie mehrere Szenen mit konsistenter Prosodie unter Verwendung des ElevenLabs Request-Stitchings:

scenes.json Format

{
  "name": "produkt-demo",
  "voice": "George",
  "character": "narrator",
  "scenes": [
    {
      "id": "scene1",
      "text": "Generische Text-to-Speech klingt roboterhaft. Ihre Marke verdient etwas Besseres.",
      "duration": 4.5,
      "character": "dramatic"
    },
    {
      "id": "scene2",
      "text": "Mit Sprachklonierung können Sie Ihre eigene Stimme für unbegrenzte Inhalte verwenden.",
      "duration": 5.5
    },
    {
      "id": "scene3",
      "text": "Nehmen Sie eine kurze Probe auf. Klonen Sie sie. Erstellen Sie in Minuten professionelle Sprachaufnahmen.",
      "duration": 6,
      "delay": 0.3
    }
  ]
}

Alle Szenen generieren

node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/produkt-demo-szenen.json \
  --output-dir public/audio/produkt-demo/

Dies erstellt:

  • produkt-demo-szene1.mp3 bis szeneN.mp3
  • produkt-demo-kombiniert.mp3 (alle Szenen zusammengefügt)
  • produkt-demo-info.json (Metadaten mit Dauern)

Einzelszenen-Neugenerierung

Wenn eine Szene zu früh beginnt, falsches Timing hat oder anderen Text benötigt:

# Szene2 mit neuem Text neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/szenen.json \
  --scene scene2 \
  --new-text "Aktualisierter Szenentext 2" \
  --output-dir public/audio/projekt/

# Szene3 mit anderem Charakter neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/szenen.json \
  --scene scene3 \
  --character salesperson \
  --output-dir public/audio/projekt/

# Einfach neu generieren (gleicher Text, gleicher Charakter)
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/szenen.json \
  --scene scene1 \
  --output-dir public/audio/projekt/

# Ein Thumbnail in ein MP4-Video einbetten
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/mein-video.mp4 \
  --thumbnail public/videos/mein-thumbnail.png \
  --output public/videos/mein-video-mit-thumb.mp4

Das Werkzeug automatisch:

  • Verwendet Request-Stitching von vorherigen Szenen für konsistente Prosodie
  • Aktualisiert die info.json-Datei mit neuen Metadaten
  • Aktualisiert scenes.json, wenn --new-text angegeben wird

Thumbnail-Einbettung

Betten Sie ein Thumbnail-Bild in MP4-Videos ein, sodass Plattformen wie Twitter, YouTube und Videoplayer Ihr benutzerdefiniertes Thumbnail anstelle des ersten Frames anzeigen.

Thumbnail in Video einbetten

# Grundlegende Verwendung - Ausgabe in video-thumb.mp4
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/promo.mp4 \
  --thumbnail public/videos/thumbnail.png

# Benutzerdefinierter Ausgabepfad
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/promo.mp4 \
  --thumbnail public/videos/thumbnail.png \
  --output public/videos/promo-final.mp4

Arbeitsablauf mit Remotion

# 1. Video rendern
npx remotion render MyVideo public/videos/mein-video.mp4

# 2. Thumbnail rendern (Still-Komposition verwenden)
npx remotion still MyVideoThumbnail public/videos/mein-thumbnail.png

# 3. Thumbnail einbetten
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/mein-video.mp4 \
  --thumbnail public/videos/mein-thumbnail.png \
  --output public/videos/mein-video-final.mp4

Unterstützte Formate

  • Video: MP4 (H.264/H.265)
  • Thumbnail: PNG, JPG, JPEG

Die Einbettung verwendet ffmpegs -disposition:v:1 attached_pic-Flag, um das Thumbnail als angehängtes Bild zu setzen, das von den meisten Videoplayern und Plattformen erkannt wird.

Timing-Validierung

Die Fähigkeit validiert automatisch das Timing nach der Generierung mit ffprobe:

Was geprüft wird

PrüfungSchwelleBeschreibung
Dauerabweichung>15%Warnt, wenn die tatsächliche Dauer von der erwarteten abweicht
Führende Stille>200msAudio beginnt zu spät (Sprachaufnahme verzögert)
Nachlaufende Stille>500msUnnötige Stille am Ende
Sprechgeschwindigkeit2-4.5 Wörter/sOptimal ~3 Wörter/Sekunde

Vorhandenes Audio validieren

# Alle Szenen eines Projekts validieren
node ~/.agents/skills/elevenlabs-remotion/generate.js --validate public/audio/produkt-demo/

Ausgabebeispiel:

🔍 Validiere produkt-demo (6 Szenen)

❌ scene1: 3.00s (erwartet: 4.5s)
   ❌ Audio 1.50s kürzer als erwartet
   👍 8 Wörter @ 3.1 Wörter/s
⚠️ scene2: 6.35s (erwartet: 5.5s)
   ⚠️ Führende Stille: 235ms (könnte zu spät beginnen)
   🐢 10 Wörter @ 1.8 Wörter/s
✅ scene4: 4.36s (erwartet: 4s)
   👍 9 Wörter @ 2.3 Wörter/s

📊 Gesamtdauer: 30.80s (erwartet: 30.00s)

Aktualisierte info.json

Nach der Validierung enthält die info.json tatsächliche Messungen:

{
  "scenes": [
    {
      "id": "scene1",
      "duration": 4.5,
      "actualDuration": 3.0,
      "leadingSilence": 0.05,
      "wordsPerSecond": 3.1
    }
  ]
}

Verwenden Sie actualDuration in Ihrer Remotion-Komposition für präzise Synchronisation.

Optionen

OptionBeschreibungStandard
--text, -tText zur Umwandlung in SpracheErforderlich (oder --file/--scenes)
--file, -fText aus Datei lesen-
--output, -oAusgabedateipfadoutput.mp3
--output-dirAusgabeverzeichnis für Szenenpublic/audio
--voice, -vStimmname oder -IDGeorge
--model, -mModell-IDeleven_multilingual_v2
--character, -cCharakter-Voreinstellungliteral
--scenesJSON-Datei mit Szenen-
--sceneEinzelne Szenen-ID zur Neugenerierung-
--new-textNeuer Text für Szenen-Neugenerierung-
--validateVorhandenes Audio-Verzeichnis validieren-
--skip-validationAutomatische Validierung überspringenfalse
--embed-thumbnailVideodatei zum Einbetten des Thumbnails-
--thumbnailThumbnail-Bilddatei (PNG/JPG)-
--stabilityStimmstabilität (0-1)variiert je nach Charakter
--similarityStimmähnlichkeit (0-1)variiert je nach Charakter
--styleStil-Übertreibung (0-1)variiert je nach Charakter
--no-combinedKombinierte Datei überspringenfalse

Empfohlene Stimmen

StimmeStilAm besten geeignet für
GeorgeWarm, fesselnd britischErzählungen, Erklärvideos
AntoniProfessionell, warmRechtliche Inhalte, Tutorials
ArnoldAutoritär, tiefUnternehmensinhalte, ernste Themen
JoshFreundlich, gesprächigMarketing, lockere Inhalte

Integration mit Remotion

Nach der Generierung von Szenen-Sprachaufnahmen verwenden Sie diese in Ihrer Komposition:

import { Audio, Sequence, staticFile } from "remotion";

// Einzelne Szenen-Audiodateien für präzise Synchronisation verwenden
const SZENEN_DAUER = {
  scene1: 4.5,  // Aus info.json
  scene2: 5.5,
  scene3: 8.0,
};

export const VideoMitSprachaufnahme: React.FC = () => {
  const { fps } = useVideoConfig();

  const szene1Frames = Math.round(SZENEN_DAUER.scene1 * fps);
  const szene2Frames = Math.round(SZENEN_DAUER.scene2 * fps);

  return (
    <>
      <Sequence from={0} durationInFrames={szene1Frames}>
        <Audio src={staticFile("audio/projekt/projekt-szene1.mp3")} />
        <Szene1Visual />
      </Sequence>

      <Sequence from={szene1Frames} durationInFrames={szene2Frames}>
        <Audio src={staticFile("audio/projekt/projekt-szene2.mp3")} />
        <Szene2Visual />
      </Sequence>
    </>
  );
};

Tipps für beste Ergebnisse

  1. Charakter-Voreinstellungen verwenden: Lesen Sie Bildschirmtext nicht wörtlich vor - verwenden Sie narrator oder expert für natürlichen Fluss
  2. Interpunktion ist wichtig: Verwenden Sie Punkte für Pausen, Kommas für kurze Unterbrechungen
  3. Zahlen: Schreiben Sie Zahlen aus ("fünfhundert" nicht "500") für natürliche Sprache
  4. Abkürzungen: Schreiben Sie vollständige Wörter ("vierundzwanzig Stunden" nicht "24h")
  5. Szene für Szene: Verschiedene Szenen können unterschiedliche Charaktere haben (dramatische Einleitung, ruhiger CTA)
  6. Feinabstimmung: Verwenden Sie --scene, um einzelne Szenen neu zu generieren, ohne alles wiederholen zu müssen
  7. Request-Stitching: Hält die Stimme über alle Szenen hinweg konsistent

Arbeitsablauf-Beispiel

# 1. scenes.json mit Ihrem Skript erstellen
# 2. Alle Szenen mit Erzähler-Stil generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/mein-video-szenen.json \
  --character narrator \
  --output-dir public/audio/mein-video/

# 3. In Remotion vorschauen, bemerken, dass Szene2 zu früh beginnt
# 4. Nur Szene2 mit aktualisiertem Text neu generieren
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/mein-video-szenen.json \
  --scene scene2 \
  --new-text "Etwas längerer Text, um das visuelle Timing zu füllen" \
  --output-dir public/audio/mein-video/

# 5. Videokomposition mit neuer Dauer aus info.json aktualisieren
# 6. Wiederholen, bis das Timing perfekt ist

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

delorenj/skills

Plan and generate terminal ASCII animations/screensaver-style output (FPS, refresh rules, loop policy, low-flicker guidance), with a static poster frame and an optional local demo script.

delorenj/skills

ASCII video: convert video/audio to colored ASCII MP4/GIF.

delorenj/skills

Plan, build and quality-check a premium short commercial for a real business (roofing, property, ecommerce, B2B software) using AI-generated footage, code-built motion (HTML/GSAP), selective Three.js and an independent-critic "Gauntlet" loop. Use when asked to make a launch-style / SaaS-style video, business ad, explainer, sample reel or pitch video, or to review and improve one. Encodes motion principles distilled from 28 professional launch films, a quality bar, audio rules and a business-offer playbook.

delorenj/skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

delorenj/skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

delorenj/skills

Asset preprocessing for HyperFrames compositions — text-to-speech narration (Kokoro), audio/video transcription (Whisper), and background removal for transparent overlays (u2net). Use when generating voiceover from text, transcribing speech for captions, removing the background from a video or image to use as a transparent overlay, choosing a TTS voice or whisper model, or chaining these (TTS → transcribe → captions). Each command downloads its own model on first run.

delorenj/skills

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

delorenj/skills

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

delorenj/skills

Manim CE animations: 3Blue1Brown math/algo videos.

delorenj/skills

Join a Google Meet or Zoom call as a video meeting agent via PikaStreaming. Trigger: user drops a Google Meet or Zoom link, or asks to join a meeting.

delorenj/skills

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames (e.g. "port my Remotion project to HyperFrames"). Do NOT use when (a) authoring a NEW HyperFrames composition (even if A/B-testing a Remotion video); (b) Remotion is mentioned in passing; (c) Remotion code is shared as reference, not for translation; (d) the user wants "the same video as my Remotion one" without explicitly asking to migrate the source — treat as a fresh HyperFrames build. When in doubt, default to the `hyperframes` skill. Detects unsupported patterns (useState, useEffect side effects, async calculateMetadata, third-party React component libraries, `@remotion/lambda`) and recommends the runtime interop escape hatch instead of a lossy translation.

delorenj/skills

Generate speech using the self-hosted voxxy (vox) TTS service at https://vox.delo.sh. Use when the user asks to speak, say, narrate, synthesize speech, clone a voice, create a voice, add or register a voice, pipe TTS, or control voice qualities by description (e.g. "a young woman with a cheerful voice"). Handles HTTP API usage, voice profile management, description-based voice design, cloning, MCP registration, and integration patterns for new platforms.

delorenj/skills

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

delorenj/skills

YouTube transcripts to summaries, threads, blogs.

Verwandte Skills