Communitygithub.com

Generación de Locuciones con ElevenLabs

Genera locuciones profesionales con IA utilizando ElevenLabs. Útil cuando el usuario necesita crear narraciones de audio para videos, contenido de audio o conversión de texto a voz. Admite múltiples voces con presets de personajes (narrador, vendedor, experto) para una entrega natural. Incluye regeneración de escenas individuales para ajustes finos.

¿Qué es Generación de Locuciones con ElevenLabs?

Esta habilidad permite generar locuciones profesionales de alta calidad utilizando la API de ElevenLabs, específicamente diseñada para integrarse con proyectos de Remotion y otros flujos de trabajo de producción de video. Es útil para creadores de contenido, desarrolladores y equipos de marketing que necesitan convertir texto en voz natural con diferentes estilos (narrador, vendedor, experto, dramático, etc.) sin requerir un estudio de grabación. La habilidad soporta múltiples plataformas (línea de comandos, integración con Remotion, y archivos JSON de escenas) y ofrece características avanzadas como la regeneración de escenas individuales para ajustar tiempos y texto, la incrustación de miniaturas en videos MP4, y la validación automática de sincronización mediante ffprobe. Funciona mediante un script Node.js que lee escenas desde un archivo JSON o texto plano, y utiliza request stitching de ElevenLabs para mantener una prosodia consistente entre escenas. Además, incluye presets de personajes que transforman el tono y estilo de la locución, y opciones para controlar estabilidad, similitud y énfasis vocal.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/delorenj/skills/tree/HEAD/elevenlabs-remotion

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace Generación de Locuciones con ElevenLabs?

Genera locuciones profesionales con IA para videos de Remotion utilizando la API de ElevenLabs.

Requisitos previos

  • ELEVEN_API_KEY en .env.local

Inicio rápido

# Generar locución a partir de texto
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Tu texto aquí" --output public/audio/voiceover.mp3

# Generar con estilo de narrador (más natural)
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Tu texto" --character narrator --output voiceover.mp3

# Generar escenas con request stitching
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes remotion/scenes.json --output-dir public/audio/project/

# Regenerar una sola escena
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --scene scene2 --new-text "Texto actualizado"

# Listar voces disponibles y presets de personajes
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-voices
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-characters

Presets de personajes

Usa presets de personajes para locuciones más naturales en lugar de leer el texto de pantalla literalmente:

PersonajeDescripciónMejor para
literalLee el texto exactamente como está escritoTexto en pantalla, citas
narratorNarrador profesional, fluido, atractivoVideos explicativos, documentales
salespersonEntusiasta, persuasivo, enérgicoMarketing, anuncios
expertAutoritario, seguro, conocedorContenido legal, tutoriales
conversationalCasual, amigable, naturalRedes sociales, contenido casual
dramaticIntenso, emocional, impactanteGanchos, enunciados de problemas
calmCalmado, tranquilizador, suaveGeneración de confianza, conclusiones
# Usar estilo narrador globalmente
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --character narrator --output-dir public/audio/

# O establecer por escena en scenes.json
{
  "scenes": [
    { "id": "scene1", "text": "Enunciado del problema", "character": "dramatic" },
    { "id": "scene2", "text": "Solución", "character": "calm" }
  ]
}

Generación por escenas con Request Stitching

Genera múltiples escenas con prosodia consistente usando el request stitching de ElevenLabs:

Formato de scenes.json

{
  "name": "product-demo",
  "voice": "George",
  "character": "narrator",
  "scenes": [
    {
      "id": "scene1",
      "text": "La conversión genérica de texto a voz suena robótica. Tu marca merece algo mejor.",
      "duration": 4.5,
      "character": "dramatic"
    },
    {
      "id": "scene2",
      "text": "Con la clonación de voz, puedes usar tu propia voz para contenido ilimitado.",
      "duration": 5.5
    },
    {
      "id": "scene3",
      "text": "Graba una muestra corta. Clónala. Crea locuciones profesionales en minutos.",
      "duration": 6,
      "delay": 0.3
    }
  ]
}

Generar todas las escenas

node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/product-demo-scenes.json \
  --output-dir public/audio/product-demo/

Esto crea:

  • product-demo-scene1.mp3 hasta sceneN.mp3
  • product-demo-combined.mp3 (todas las escenas unidas)
  • product-demo-info.json (metadatos con duraciones)

Regeneración de una sola escena

Si una escena comienza demasiado pronto, tiene un tiempo incorrecto o necesita texto diferente:

# Regenerar scene2 con nuevo texto
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/scenes.json \
  --scene scene2 \
  --new-text "Texto actualizado de la escena 2" \
  --output-dir public/audio/project/

# Regenerar scene3 con diferente personaje
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/scenes.json \
  --scene scene3 \
  --character salesperson \
  --output-dir public/audio/project/

# Solo regenerar (mismo texto, mismo personaje)
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/scenes.json \
  --scene scene1 \
  --output-dir public/audio/project/

# Incrustar una miniatura en un video MP4
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/my-video.mp4 \
  --thumbnail public/videos/my-thumbnail.png \
  --output public/videos/my-video-with-thumb.mp4

La herramienta automáticamente:

  • Usa request stitching de escenas anteriores para prosodia consistente
  • Actualiza el archivo info.json con nuevos metadatos
  • Actualiza scenes.json si se proporciona --new-text

Incrustación de miniaturas

Incrusta una imagen de miniatura en videos MP4 para que plataformas como Twitter, YouTube y reproductores de video muestren tu miniatura personalizada en lugar del primer fotograma.

Incrustar miniatura en video

# Uso básico - genera video-thumb.mp4
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/promo.mp4 \
  --thumbnail public/videos/thumbnail.png

# Ruta de salida personalizada
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/promo.mp4 \
  --thumbnail public/videos/thumbnail.png \
  --output public/videos/promo-final.mp4

Flujo de trabajo con Remotion

# 1. Renderiza tu video
npx remotion render MyVideo public/videos/my-video.mp4

# 2. Renderiza tu miniatura (usa composición Still)
npx remotion still MyVideoThumbnail public/videos/my-thumbnail.png

# 3. Incrusta la miniatura
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --embed-thumbnail public/videos/my-video.mp4 \
  --thumbnail public/videos/my-thumbnail.png \
  --output public/videos/my-video-final.mp4

Formatos soportados

  • Video: MP4 (H.264/H.265)
  • Miniatura: PNG, JPG, JPEG

La incrustación usa el flag -disposition:v:1 attached_pic de ffmpeg para establecer la miniatura como imagen adjunta, que la mayoría de reproductores y plataformas reconocen.

Validación de sincronización

La habilidad valida automáticamente la sincronización después de la generación usando ffprobe:

Qué verifica

VerificaciónUmbralDescripción
Diferencia de duración>15%Advierte si la duración real difiere de la esperada
Silencio inicial>200msEl audio comienza tarde (locución retrasada)
Silencio final>500msSilencio innecesario al final
Velocidad de habla2-4.5 palabras/segÓptimo ~3 palabras/segundo

Validar audio existente

# Validar todas las escenas de un proyecto
node ~/.agents/skills/elevenlabs-remotion/generate.js --validate public/audio/product-demo/

Ejemplo de salida:

🔍 Validando product-demo (6 escenas)

❌ scene1: 3.00s (esperado: 4.5s)
   ❌ El audio es 1.50s más corto de lo esperado
   👍 8 palabras @ 3.1 palabras/seg
⚠️ scene2: 6.35s (esperado: 5.5s)
   ⚠️ Silencio inicial: 235ms (puede comenzar tarde)
   🐢 10 palabras @ 1.8 palabras/seg
✅ scene4: 4.36s (esperado: 4s)
   👍 9 palabras @ 2.3 palabras/seg

📊 Duración total: 30.80s (esperada: 30.00s)

info.json actualizado

Después de la validación, el archivo info.json incluye mediciones reales:

{
  "scenes": [
    {
      "id": "scene1",
      "duration": 4.5,
      "actualDuration": 3.0,
      "leadingSilence": 0.05,
      "wordsPerSecond": 3.1
    }
  ]
}

Usa actualDuration en tu composición de Remotion para una sincronización precisa.

Opciones

OpciónDescripciónValor por defecto
--text, -tTexto a convertir en vozRequerido (o --file/--scenes)
--file, -fLeer texto desde archivo-
--output, -oRuta del archivo de salidaoutput.mp3
--output-dirDirectorio de salida para escenaspublic/audio
--voice, -vNombre o ID de la vozGeorge
--model, -mID del modeloeleven_multilingual_v2
--character, -cPreset de personajeliteral
--scenesArchivo JSON con escenas-
--sceneID de escena única a regenerar-
--new-textNuevo texto para regeneración de escena-
--validateValidar directorio de audio existente-
--skip-validationOmitir validación automáticafalse
--embed-thumbnailArchivo de video para incrustar miniatura-
--thumbnailArchivo de imagen de miniatura (PNG/JPG)-
--stabilityEstabilidad de la voz (0-1)varía según el personaje
--similaritySimilitud de la voz (0-1)varía según el personaje
--styleExageración de estilo (0-1)varía según el personaje
--no-combinedOmitir archivo combinadofalse

Voces recomendadas

VozEstiloMejor para
GeorgeBritánica cálida y cautivadoraNarración, videos explicativos
AntoniProfesional y cálidaContenido legal, tutoriales
ArnoldAutoritaria y profundaCorporativo, temas serios
JoshAmigable y conversacionalMarketing, contenido casual

Integración con Remotion

Después de generar las locuciones de escena, úsalas en tu composición:

import { Audio, Sequence, staticFile } from "remotion";

// Usa archivos de audio de escena individuales para sincronización precisa
const SCENE_DURATIONS = {
  scene1: 4.5,  // De info.json
  scene2: 5.5,
  scene3: 8.0,
};

export const VideoWithVoiceover: React.FC = () => {
  const { fps } = useVideoConfig();

  const scene1Frames = Math.round(SCENE_DURATIONS.scene1 * fps);
  const scene2Frames = Math.round(SCENE_DURATIONS.scene2 * fps);

  return (
    <>
      <Sequence from={0} durationInFrames={scene1Frames}>
        <Audio src={staticFile("audio/project/project-scene1.mp3")} />
        <Scene1Visual />
      </Sequence>

      <Sequence from={scene1Frames} durationInFrames={scene2Frames}>
        <Audio src={staticFile("audio/project/project-scene2.mp3")} />
        <Scene2Visual />
      </Sequence>
    </>
  );
};

Consejos para mejores resultados

  1. Usa presets de personajes: No leas el texto de pantalla literalmente; usa narrator o expert para un flujo natural
  2. La puntuación importa: Usa puntos para pausas, comas para breves descansos
  3. Números: Escribe los números en palabras ("quinientos" no "500") para un habla natural
  4. Abreviaturas: Escribe las palabras completas ("veinticuatro horas" no "24h")
  5. Escena por escena: Diferentes escenas pueden tener diferentes personajes (introducción dramática, CTA calmado)
  6. Ajuste fino: Usa --scene para regenerar escenas individuales sin rehacer todo
  7. Request stitching: Mantiene la voz consistente en todas las escenas

Ejemplo de flujo de trabajo

# 1. Crea scenes.json con tu guión
# 2. Genera todas las escenas con estilo narrador
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/my-video-scenes.json \
  --character narrator \
  --output-dir public/audio/my-video/

# 3. Previsualiza en Remotion, nota que scene2 comienza demasiado pronto
# 4. Regenera solo scene2 con texto actualizado
node ~/.agents/skills/elevenlabs-remotion/generate.js \
  --scenes remotion/my-video-scenes.json \
  --scene scene2 \
  --new-text "Texto ligeramente más largo para llenar el tiempo visual" \
  --output-dir public/audio/my-video/

# 5. Actualiza la composición del video con la nueva duración de info.json
# 6. Repite hasta que la sincronización sea perfecta

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

delorenj/skills

Plan and generate terminal ASCII animations/screensaver-style output (FPS, refresh rules, loop policy, low-flicker guidance), with a static poster frame and an optional local demo script.

delorenj/skills

ASCII video: convert video/audio to colored ASCII MP4/GIF.

delorenj/skills

Plan, build and quality-check a premium short commercial for a real business (roofing, property, ecommerce, B2B software) using AI-generated footage, code-built motion (HTML/GSAP), selective Three.js and an independent-critic "Gauntlet" loop. Use when asked to make a launch-style / SaaS-style video, business ad, explainer, sample reel or pitch video, or to review and improve one. Encodes motion principles distilled from 28 professional launch films, a quality bar, audio rules and a business-offer playbook.

delorenj/skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

delorenj/skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

delorenj/skills

Asset preprocessing for HyperFrames compositions — text-to-speech narration (Kokoro), audio/video transcription (Whisper), and background removal for transparent overlays (u2net). Use when generating voiceover from text, transcribing speech for captions, removing the background from a video or image to use as a transparent overlay, choosing a TTS voice or whisper model, or chaining these (TTS → transcribe → captions). Each command downloads its own model on first run.

delorenj/skills

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

delorenj/skills

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

delorenj/skills

Manim CE animations: 3Blue1Brown math/algo videos.

delorenj/skills

Join a Google Meet or Zoom call as a video meeting agent via PikaStreaming. Trigger: user drops a Google Meet or Zoom link, or asks to join a meeting.

delorenj/skills

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames (e.g. "port my Remotion project to HyperFrames"). Do NOT use when (a) authoring a NEW HyperFrames composition (even if A/B-testing a Remotion video); (b) Remotion is mentioned in passing; (c) Remotion code is shared as reference, not for translation; (d) the user wants "the same video as my Remotion one" without explicitly asking to migrate the source — treat as a fresh HyperFrames build. When in doubt, default to the `hyperframes` skill. Detects unsupported patterns (useState, useEffect side effects, async calculateMetadata, third-party React component libraries, `@remotion/lambda`) and recommends the runtime interop escape hatch instead of a lossy translation.

delorenj/skills

Generate speech using the self-hosted voxxy (vox) TTS service at https://vox.delo.sh. Use when the user asks to speak, say, narrate, synthesize speech, clone a voice, create a voice, add or register a voice, pipe TTS, or control voice qualities by description (e.g. "a young woman with a cheerful voice"). Handles HTTP API usage, voice profile management, description-based voice design, cloning, MCP registration, and integration patterns for new platforms.

delorenj/skills

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

delorenj/skills

YouTube transcripts to summaries, threads, blogs.

Skills relacionados