Cuando esta habilidad se active, comienza siempre tu primera respuesta con el emoji :speaker:.
Diseño de Audio para Video
El diseño de audio para video es la práctica de superponer narración, efectos de sonido y música de fondo en composiciones de video programáticas. Un buen audio transforma un video estilo presentación de diapositivas en una producción pulida: la narración guía al espectador, la música establece el tono emocional y los efectos de sonido enfatizan los momentos clave. Esta habilidad cubre la generación de voz con ElevenLabs y proveedores TTS alternativos, la creación de efectos de sonido sintéticos con FFmpeg, la obtención de música de fondo libre de derechos, la implementación de ducking de audio para que el habla se entienda claramente, y la mezcla de todas las capas en composiciones de Remotion con sincronización precisa por fotograma.
Cuándo usar esta habilidad
Activa esta habilidad cuando el usuario:
- Quiera añadir narración o voz en off a un video programático
- Necesite generar voz con ElevenLabs, OpenAI TTS o Edge TTS
- Pregunte sobre selección de voz, ajustes de voz o clonación de voz
- Quiera añadir música de fondo o necesite fuentes de música libres de derechos
- Pregunte sobre creación programática de efectos de sonido
- Quiera implementar ducking de audio (bajar la música durante el habla)
- Necesite mezclar múltiples capas de audio en Remotion
- Pregunte sobre sincronización de audio, niveles de volumen o sincronización basada en fotogramas
NO actives esta habilidad para:
- Guionización o storyboard de video: usa la habilidad de guionización de video
- Arquitectura de componentes de Remotion o renderizado: usa la habilidad de video Remotion
- Producción de audio profesional en un DAW (Ableton, Logic, Pro Tools)
- Composición musical o programación MIDI
Principios clave
-
Arquitectura de audio por capas - Cada video tiene tres capas de audio: narración arriba (más fuerte), SFX en el medio (volumen de acento) y música de fondo en la base (más baja).
-
La narración marca el ritmo - Genera la narración primero, mide su duración y luego ajusta la duración de las escenas para que coincidan. Nunca fuerces la narración a caber en duraciones de escena arbitrarias.
-
Ducking de música durante el habla - La música de fondo debe bajar un 50-60% cuando se reproduce la narración. Usa transiciones suaves (10-15 fotogramas) para evitar cambios bruscos.
-
SFX como acentos, no distracciones - Mantén los SFX cortos (menos de 0.5 s), sutiles en volumen y relevantes para la acción en pantalla.
-
Prueba el audio en contexto - Siempre previsualiza la mezcla completa con todas las capas juntas. Escucha si el habla suena turbia, hay picos de volumen o silencios incómodos.
Conceptos clave
Arquitectura de audio de 3 capas
| Capa | Rol | Volumen base | Durante la narración |
|---|---|---|---|
| Narración | Transmite información, marca el ritmo | 0.8-1.0 | N/A (capa superior) |
| SFX | Acentúa transiciones y acciones | 0.3-0.5 | 0.3-0.5 (sin cambios) |
| Música de fondo | Establece el tono emocional, llena silencios | 0.3-0.5 | 0.15-0.25 (ducked) |
Modelo de API de ElevenLabs
ElevenLabs proporciona TTS neuronal a través de una API REST. El flujo principal:
- Elige una voz (predefinida o clonada): cada una tiene un
voice_id - Envía el texto + ajustes de voz a
/v1/text-to-speech/{voice_id} - Recibe los bytes de audio sin procesar (mp3 por defecto)
- Escribe a un archivo y mide la duración para la sincronización de la escena
Ajustes de voz:
| Ajuste | Rango | Bajo | Alto | Recomendado |
|---|---|---|---|---|
| stability | 0-1 | Más expresivo, variable | Más consistente, monótono | 0.4-0.6 |
| similarity_boost | 0-1 | Más creativo | Más cercano a la voz original | 0.6-0.8 |
| style | 0-1 | Entrega neutral | Estilo exagerado | 0.3-0.6 |
Concepto de ducking de audio
El ducking de audio reduce el volumen de la música de fondo cuando comienza la
narración y lo restaura cuando termina. En Remotion, usa interpolate():
Volumen música: 0.4 ---\ /--- 0.4
\ /
0.15 \__________/
inicio narración → fin
Las transiciones deben tomar de 10 a 15 fotogramas (~0.3-0.5 s a 30 fps).
Sincronización de audio basada en fotogramas en Remotion
useCurrentFrame()devuelve el número de fotograma actualinterpolate()asigna rangos de fotogramas a rangos de valores (ej. volumen)<Sequence from={frame}>coloca el audio en un fotograma específico<Audio volume={fn}>acepta un número estático o una función por fotograma
Convierte segundos a fotogramas: frames = seconds * fps.
Tareas comunes
1. Configurar la clave API de ElevenLabs y generar narración
import fs from 'fs';
const ELEVENLABS_API_URL = 'https://api.elevenlabs.io/v1';
async function generateNarration(
text: string,
voiceId: string,
outputPath: string
): Promise<void> {
const response = await fetch(
`${ELEVENLABS_API_URL}/text-to-speech/${voiceId}`,
{
method: 'POST',
headers: {
'Content-Type': 'application/json',
'xi-api-key': process.env.ELEVEN_LABS_API_KEY!,
},
body: JSON.stringify({
text,
model_id: 'eleven_multilingual_v2',
voice_settings: {
stability: 0.5,
similarity_boost: 0.75,
style: 0.5,
use_speaker_boost: true,
},
}),
}
);
if (!response.ok) {
const error = await response.text();
throw new Error(`Error de API de ElevenLabs ${response.status}: ${error}`);
}
const buffer = Buffer.from(await response.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
2. Seleccionar y configurar ajustes de voz
Preguntas para la selección de voz: género, rango de edad, acento, nivel de energía, calidez.
interface VoiceSettings {
stability: number;
similarity_boost: number;
style: number;
use_speaker_boost: boolean;
}
const presets: Record<string, VoiceSettings> = {
explainer: { stability: 0.6, similarity_boost: 0.75, style: 0.4, use_speaker_boost: true },
promo: { stability: 0.3, similarity_boost: 0.7, style: 0.7, use_speaker_boost: true },
tutorial: { stability: 0.7, similarity_boost: 0.8, style: 0.2, use_speaker_boost: false },
};
3. Generar narración por escena a partir de un guion
import { execSync } from 'child_process';
import path from 'path';
interface Scene { id: string; narrationText: string; }
interface SceneWithAudio extends Scene {
audioPath: string;
durationMs: number;
durationFrames: number;
}
function getAudioDurationMs(filePath: string): number {
const output = execSync(
`ffprobe -v error -show_entries format=duration -of csv=p=0 "${filePath}"`
).toString().trim();
return Math.round(parseFloat(output) * 1000);
}
async function generateSceneNarrations(
scenes: Scene[], voiceId: string, outputDir: string, fps: number
): Promise<SceneWithAudio[]> {
const results: SceneWithAudio[] = [];
for (const scene of scenes) {
const audioPath = path.join(outputDir, `${scene.id}.mp3`);
await generateNarration(scene.narrationText, voiceId, audioPath);
const durationMs = getAudioDurationMs(audioPath);
results.push({
...scene, audioPath, durationMs,
durationFrames: Math.ceil((durationMs / 1000) * fps),
});
}
return results;
}
4. Obtener música de fondo
Fuentes de música libres de derechos:
- Pixabay Audio: https://pixabay.com/music/ (gratis, sin atribución)
- Freesound: https://freesound.org/ (CC0/CC-BY)
- YouTube Audio Library: descarga desde YouTube Studio
- Archivos locales: colócalos en
public/audio/parastaticFile()de Remotion
5. Generar SFX con FFmpeg
# Sonido de clic - breve ráfaga sinusoidal
ffmpeg -f lavfi -i "sine=frequency=800:duration=0.05" \
-af "afade=t=out:st=0.02:d=0.03" click.wav
# Sonido de tecleo - ráfaga de ruido filtrado
ffmpeg -f lavfi -i "anoisesrc=d=0.08:c=white:a=0.3" \
-af "highpass=f=2000,lowpass=f=8000,afade=t=out:st=0.04:d=0.04" type.wav
# Silbido - barrido de frecuencia
ffmpeg -f lavfi -i "sine=frequency=200:duration=0.4" \
-af "vibrato=f=8:d=0.5,afade=t=in:d=0.1,afade=t=out:st=0.2:d=0.2,lowpass=f=1000" \
whoosh.wav
# Timbre/campana - síntesis de campana
ffmpeg -f lavfi -i "sine=frequency=1200:duration=0.6" \
-af "afade=t=out:st=0.1:d=0.5,aecho=0.8:0.88:40:0.4" ding.wav
# Pop - impulso
ffmpeg -f lavfi -i "sine=frequency=400:duration=0.08" \
-af "afade=t=out:st=0.02:d=0.06,lowpass=f=600" pop.wav
# Swoosh de transición
ffmpeg -f lavfi -i "sine=frequency=300:duration=0.3" \
-af "vibrato=f=12:d=0.8,afade=t=in:d=0.05,afade=t=out:st=0.15:d=0.15,bandpass=f=500:w=400" \
swoosh.wav
6. Implementar ducking de audio en Remotion
import React from 'react';
import { Audio, useCurrentFrame, interpolate, Sequence } from 'remotion';
const AudioMixer: React.FC<{
narrationSrc: string;
musicSrc: string;
narrationStart: number;
narrationDuration: number;
}> = ({ narrationSrc, musicSrc, narrationStart, narrationDuration }) => {
const frame = useCurrentFrame();
const duckRampFrames = 10;
const musicVolume = interpolate(
frame,
[
narrationStart - duckRampFrames,
narrationStart,
narrationStart + narrationDuration,
narrationStart + narrationDuration + duckRampFrames,
],
[0.4, 0.15, 0.15, 0.4],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
return (
<>
<Audio src={musicSrc} volume={musicVolume} />
<Sequence from={narrationStart} durationInFrames={narrationDuration}>
<Audio src={narrationSrc} volume={0.9} />
</Sequence>
</>
);
};
export default AudioMixer;
7. Mezclar 3 capas de audio en una composición de Remotion
import React from 'react';
import { Audio, Sequence, useCurrentFrame, interpolate } from 'remotion';
interface NarrationSegment { src: string; startFrame: number; durationFrames: number; }
interface SfxEvent { src: string; frame: number; }
const FullAudioMix: React.FC<{
narrations: NarrationSegment[];
sfxEvents: SfxEvent[];
musicSrc: string;
}> = ({ narrations, sfxEvents, musicSrc }) => {
const frame = useCurrentFrame();
const duckRamp = 10;
let musicVolume = 0.4;
for (const seg of narrations) {
const duck = interpolate(
frame,
[seg.startFrame - duckRamp, seg.startFrame,
seg.startFrame + seg.durationFrames, seg.startFrame + seg.durationFrames + duckRamp],
[1, 0.375, 0.375, 1],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
musicVolume = musicVolume * duck;
}
return (
<>
<Audio src={musicSrc} volume={musicVolume} loop />
{sfxEvents.map((sfx, i) => (
<Sequence key={i} from={sfx.frame} durationInFrames={30}>
<Audio src={sfx.src} volume={0.4} />
</Sequence>
))}
{narrations.map((seg, i) => (
<Sequence key={i} from={seg.startFrame} durationInFrames={seg.durationFrames}>
<Audio src={seg.src} volume={0.9} />
</Sequence>
))}
</>
);
};
export default FullAudioMix;
8. Usar proveedores TTS alternativos
OpenAI TTS - buena calidad, API simple, seis voces integradas:
import OpenAI from 'openai';
import fs from 'fs';
const openai = new OpenAI();
async function generateWithOpenAI(
text: string,
outputPath: string,
voice: 'alloy' | 'echo' | 'fable' | 'onyx' | 'nova' | 'shimmer' = 'alloy'
): Promise<void> {
const mp3 = await openai.audio.speech.create({
model: 'tts-1-hd',
voice,
input: text,
});
const buffer = Buffer.from(await mp3.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
Edge TTS - gratuito, muchas voces, usa el servicio TTS de Microsoft Edge:
pip install edge-tts
edge-tts --voice es-ES-AlvaroNeural --text "Hola mundo" --write-media output.mp3
edge-tts --list-voices
Antipatrones / errores comunes
| Error | Por qué está mal | Qué hacer en su lugar |
|---|---|---|
| Música al mismo volumen durante la narración | El habla se vuelve ininteligible | Implementa ducking de audio: baja la música 50-60% durante el habla |
| Codificar la clave API de ElevenLabs en el código | La clave se filtra en el control de versiones | Usa variables de entorno: process.env.ELEVEN_LABS_API_KEY |
| Usar TTS sin medir la duración | La sincronización de la escena es incorrecta, la narración se corta | Mide la duración del audio con ffprobe después de la generación |
| SFX más fuerte que la narración | Distrae del contenido | SFX a 0.3-0.5, narración a 0.8-1.0 |
| Sin fundido al inicio/fin de la música | El inicio/parada abruptos parecen un error | Añade fundido de entrada de 0.5-1 s al inicio y fundido de salida al final |
| Usar un modelo TTS de baja calidad | La voz robótica perjudica la calidad | Usa eleven_multilingual_v2 o tts-1-hd |
| Ignorar el formato del archivo de audio | Algunos formatos añaden silencio de relleno | Usa MP3 para la narración, WAV para los SFX |
Trampas (Gotchas)
-
Límites de velocidad y cuotas de caracteres de ElevenLabs - El nivel gratuito tiene un límite mensual de caracteres. Almacena en caché el audio generado de forma agresiva y solo regenera cuando el texto cambie. Usa un hash del texto como clave de caché.
-
El relleno del codificador MP3 añade silencio - Los archivos MP3 suelen tener 20-50 ms de silencio al inicio. Recórtalos con
ffmpeg -af silenceremove=1:0:-50dBo ten en cuenta el desplazamiento en la sincronización de fotogramas. -
El volumen de Audio en Remotion es por componente, no global - Dos componentes
<Audio>con volumen 1.0 pueden recortar. Mantén el volumen total de las capas simultáneas por debajo de 1.0. -
Los SFX de FFmpeg suenan diferente en distintos sistemas - Especifica siempre
-ar 44100 -sample_fmt s16para obtener resultados consistentes en todas las máquinas. -
Consistencia de la voz entre escenas - ElevenLabs puede producir tonos diferentes para los mismos ajustes con texto variable. Usa stability >= 0.5 para narraciones de varias escenas.
Referencias
Para patrones detallados sobre subdominios de audio específicos, lee el archivo
correspondiente de la carpeta references/:
references/elevenlabs-api.md- patrones avanzados de la API de ElevenLabs que incluyen clonación de voz, TTS en streaming, API websocket, diccionarios de pronunciación y gestión de cuotasreferences/audio-mixing-patterns.md- patrones de mezcla avanzados que incluyen ducking multisegmento, crossfades entre escenas, curvas de automatización de volumen y masterización de la mezcla finalreferences/sfx-generation.md- generación completa de SFX con FFmpeg que incluye síntesis compleja, superposición de múltiples generadores y creación de una biblioteca de SFX reutilizable
Carga un archivo de referencia solo si la tarea actual lo requiere: son largos y consumirán contexto.
Verificación complementaria
En la primera activación de ...
[truncado para la traducción]