¿Qué hace Generación de Locuciones con ElevenLabs?
Genera locuciones profesionales con IA para videos de Remotion utilizando la API de ElevenLabs.
Requisitos previos
ELEVEN_API_KEYen.env.local
Inicio rápido
# Generar locución a partir de texto
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Tu texto aquí" --output public/audio/voiceover.mp3
# Generar con estilo de narrador (más natural)
node ~/.agents/skills/elevenlabs-remotion/generate.js --text "Tu texto" --character narrator --output voiceover.mp3
# Generar escenas con request stitching
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes remotion/scenes.json --output-dir public/audio/project/
# Regenerar una sola escena
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --scene scene2 --new-text "Texto actualizado"
# Listar voces disponibles y presets de personajes
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-voices
node ~/.agents/skills/elevenlabs-remotion/generate.js --list-characters
Presets de personajes
Usa presets de personajes para locuciones más naturales en lugar de leer el texto de pantalla literalmente:
| Personaje | Descripción | Mejor para |
|---|---|---|
literal | Lee el texto exactamente como está escrito | Texto en pantalla, citas |
narrator | Narrador profesional, fluido, atractivo | Videos explicativos, documentales |
salesperson | Entusiasta, persuasivo, enérgico | Marketing, anuncios |
expert | Autoritario, seguro, conocedor | Contenido legal, tutoriales |
conversational | Casual, amigable, natural | Redes sociales, contenido casual |
dramatic | Intenso, emocional, impactante | Ganchos, enunciados de problemas |
calm | Calmado, tranquilizador, suave | Generación de confianza, conclusiones |
# Usar estilo narrador globalmente
node ~/.agents/skills/elevenlabs-remotion/generate.js --scenes scenes.json --character narrator --output-dir public/audio/
# O establecer por escena en scenes.json
{
"scenes": [
{ "id": "scene1", "text": "Enunciado del problema", "character": "dramatic" },
{ "id": "scene2", "text": "Solución", "character": "calm" }
]
}
Generación por escenas con Request Stitching
Genera múltiples escenas con prosodia consistente usando el request stitching de ElevenLabs:
Formato de scenes.json
{
"name": "product-demo",
"voice": "George",
"character": "narrator",
"scenes": [
{
"id": "scene1",
"text": "La conversión genérica de texto a voz suena robótica. Tu marca merece algo mejor.",
"duration": 4.5,
"character": "dramatic"
},
{
"id": "scene2",
"text": "Con la clonación de voz, puedes usar tu propia voz para contenido ilimitado.",
"duration": 5.5
},
{
"id": "scene3",
"text": "Graba una muestra corta. Clónala. Crea locuciones profesionales en minutos.",
"duration": 6,
"delay": 0.3
}
]
}
Generar todas las escenas
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/product-demo-scenes.json \
--output-dir public/audio/product-demo/
Esto crea:
product-demo-scene1.mp3hastasceneN.mp3product-demo-combined.mp3(todas las escenas unidas)product-demo-info.json(metadatos con duraciones)
Regeneración de una sola escena
Si una escena comienza demasiado pronto, tiene un tiempo incorrecto o necesita texto diferente:
# Regenerar scene2 con nuevo texto
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/scenes.json \
--scene scene2 \
--new-text "Texto actualizado de la escena 2" \
--output-dir public/audio/project/
# Regenerar scene3 con diferente personaje
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/scenes.json \
--scene scene3 \
--character salesperson \
--output-dir public/audio/project/
# Solo regenerar (mismo texto, mismo personaje)
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/scenes.json \
--scene scene1 \
--output-dir public/audio/project/
# Incrustar una miniatura en un video MP4
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/my-video.mp4 \
--thumbnail public/videos/my-thumbnail.png \
--output public/videos/my-video-with-thumb.mp4
La herramienta automáticamente:
- Usa request stitching de escenas anteriores para prosodia consistente
- Actualiza el archivo info.json con nuevos metadatos
- Actualiza scenes.json si se proporciona
--new-text
Incrustación de miniaturas
Incrusta una imagen de miniatura en videos MP4 para que plataformas como Twitter, YouTube y reproductores de video muestren tu miniatura personalizada en lugar del primer fotograma.
Incrustar miniatura en video
# Uso básico - genera video-thumb.mp4
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/promo.mp4 \
--thumbnail public/videos/thumbnail.png
# Ruta de salida personalizada
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/promo.mp4 \
--thumbnail public/videos/thumbnail.png \
--output public/videos/promo-final.mp4
Flujo de trabajo con Remotion
# 1. Renderiza tu video
npx remotion render MyVideo public/videos/my-video.mp4
# 2. Renderiza tu miniatura (usa composición Still)
npx remotion still MyVideoThumbnail public/videos/my-thumbnail.png
# 3. Incrusta la miniatura
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--embed-thumbnail public/videos/my-video.mp4 \
--thumbnail public/videos/my-thumbnail.png \
--output public/videos/my-video-final.mp4
Formatos soportados
- Video: MP4 (H.264/H.265)
- Miniatura: PNG, JPG, JPEG
La incrustación usa el flag -disposition:v:1 attached_pic de ffmpeg para establecer la miniatura como imagen adjunta, que la mayoría de reproductores y plataformas reconocen.
Validación de sincronización
La habilidad valida automáticamente la sincronización después de la generación usando ffprobe:
Qué verifica
| Verificación | Umbral | Descripción |
|---|---|---|
| Diferencia de duración | >15% | Advierte si la duración real difiere de la esperada |
| Silencio inicial | >200ms | El audio comienza tarde (locución retrasada) |
| Silencio final | >500ms | Silencio innecesario al final |
| Velocidad de habla | 2-4.5 palabras/seg | Óptimo ~3 palabras/segundo |
Validar audio existente
# Validar todas las escenas de un proyecto
node ~/.agents/skills/elevenlabs-remotion/generate.js --validate public/audio/product-demo/
Ejemplo de salida:
🔍 Validando product-demo (6 escenas)
❌ scene1: 3.00s (esperado: 4.5s)
❌ El audio es 1.50s más corto de lo esperado
👍 8 palabras @ 3.1 palabras/seg
⚠️ scene2: 6.35s (esperado: 5.5s)
⚠️ Silencio inicial: 235ms (puede comenzar tarde)
🐢 10 palabras @ 1.8 palabras/seg
✅ scene4: 4.36s (esperado: 4s)
👍 9 palabras @ 2.3 palabras/seg
📊 Duración total: 30.80s (esperada: 30.00s)
info.json actualizado
Después de la validación, el archivo info.json incluye mediciones reales:
{
"scenes": [
{
"id": "scene1",
"duration": 4.5,
"actualDuration": 3.0,
"leadingSilence": 0.05,
"wordsPerSecond": 3.1
}
]
}
Usa actualDuration en tu composición de Remotion para una sincronización precisa.
Opciones
| Opción | Descripción | Valor por defecto |
|---|---|---|
--text, -t | Texto a convertir en voz | Requerido (o --file/--scenes) |
--file, -f | Leer texto desde archivo | - |
--output, -o | Ruta del archivo de salida | output.mp3 |
--output-dir | Directorio de salida para escenas | public/audio |
--voice, -v | Nombre o ID de la voz | George |
--model, -m | ID del modelo | eleven_multilingual_v2 |
--character, -c | Preset de personaje | literal |
--scenes | Archivo JSON con escenas | - |
--scene | ID de escena única a regenerar | - |
--new-text | Nuevo texto para regeneración de escena | - |
--validate | Validar directorio de audio existente | - |
--skip-validation | Omitir validación automática | false |
--embed-thumbnail | Archivo de video para incrustar miniatura | - |
--thumbnail | Archivo de imagen de miniatura (PNG/JPG) | - |
--stability | Estabilidad de la voz (0-1) | varía según el personaje |
--similarity | Similitud de la voz (0-1) | varía según el personaje |
--style | Exageración de estilo (0-1) | varía según el personaje |
--no-combined | Omitir archivo combinado | false |
Voces recomendadas
| Voz | Estilo | Mejor para |
|---|---|---|
George | Británica cálida y cautivadora | Narración, videos explicativos |
Antoni | Profesional y cálida | Contenido legal, tutoriales |
Arnold | Autoritaria y profunda | Corporativo, temas serios |
Josh | Amigable y conversacional | Marketing, contenido casual |
Integración con Remotion
Después de generar las locuciones de escena, úsalas en tu composición:
import { Audio, Sequence, staticFile } from "remotion";
// Usa archivos de audio de escena individuales para sincronización precisa
const SCENE_DURATIONS = {
scene1: 4.5, // De info.json
scene2: 5.5,
scene3: 8.0,
};
export const VideoWithVoiceover: React.FC = () => {
const { fps } = useVideoConfig();
const scene1Frames = Math.round(SCENE_DURATIONS.scene1 * fps);
const scene2Frames = Math.round(SCENE_DURATIONS.scene2 * fps);
return (
<>
<Sequence from={0} durationInFrames={scene1Frames}>
<Audio src={staticFile("audio/project/project-scene1.mp3")} />
<Scene1Visual />
</Sequence>
<Sequence from={scene1Frames} durationInFrames={scene2Frames}>
<Audio src={staticFile("audio/project/project-scene2.mp3")} />
<Scene2Visual />
</Sequence>
</>
);
};
Consejos para mejores resultados
- Usa presets de personajes: No leas el texto de pantalla literalmente; usa
narratoroexpertpara un flujo natural - La puntuación importa: Usa puntos para pausas, comas para breves descansos
- Números: Escribe los números en palabras ("quinientos" no "500") para un habla natural
- Abreviaturas: Escribe las palabras completas ("veinticuatro horas" no "24h")
- Escena por escena: Diferentes escenas pueden tener diferentes personajes (introducción dramática, CTA calmado)
- Ajuste fino: Usa
--scenepara regenerar escenas individuales sin rehacer todo - Request stitching: Mantiene la voz consistente en todas las escenas
Ejemplo de flujo de trabajo
# 1. Crea scenes.json con tu guión
# 2. Genera todas las escenas con estilo narrador
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/my-video-scenes.json \
--character narrator \
--output-dir public/audio/my-video/
# 3. Previsualiza en Remotion, nota que scene2 comienza demasiado pronto
# 4. Regenera solo scene2 con texto actualizado
node ~/.agents/skills/elevenlabs-remotion/generate.js \
--scenes remotion/my-video-scenes.json \
--scene scene2 \
--new-text "Texto ligeramente más largo para llenar el tiempo visual" \
--output-dir public/audio/my-video/
# 5. Actualiza la composición del video con la nueva duración de info.json
# 6. Repite hasta que la sincronización sea perfecta