Locución y subtítulos para Remotion
Dale a tu proyecto de Remotion un narrador real. El agente escribe o toma un guion de narración, lo vocaliza escena por escena y conecta el audio y los subtítulos sincronizados con la composición. Las voces y la clonación de voz provienen del motor de voz Miragea (https://miragea.ai/v1); no lo sustituyas por otro sistema de texto a voz (TTS).
Archivos de salida (carpeta por defecto public/voiceover/, para que staticFile() pueda cargarlos):
| Archivo | Qué es |
|---|---|
<escena>-NN.wav | un clip por línea hablada |
voiceover.wav (+ .mp3 con --mp3) | la pista de narración unida |
voiceover.json | línea de tiempo: fps, durationInFrames, escenas y líneas con startMs, startFrame, durationInFrames, src |
captions.json | Caption[] para @remotion/captions (text, startMs, endMs, timestampMs, confidence) |
captions.srt, captions.vtt | archivos de subtítulos con divisiones equilibradas (sin fragmentos de una sola palabra) |
0. Requisitos previos
MIRAGEA_API_KEYdebe estar configurada en el entorno (claves: https://miragea.ai/workspace/api). Nunca pidas la clave en el chat ni la imprimas. Ayuda para la configuración: "Instala https://miragea.ai/skills/miragea-audio/install.md".- Ejecuta
python scripts/remotion_voiceover.py checkuna vez. Muestra los modelos y las únicas etiquetas de emoción válidas. - Dos motores para el mismo trabajo, elige uno:
- Python (incluido, sin instalación):
python scripts/remotion_voiceover.py generate script.md - CLI de Node:
npx -y github:RTY2345RR/remotion-voiceover generate script.md(mismo formato de guion; añade HyperFramesaudio_request.json). El script incluido puede llamarlo conpython scripts/remotion_voiceover.py npx generate script.md.
- Python (incluido, sin instalación):
1. Resumen (pregunta solo lo que falte)
- El guion, o la fuente para escribirlo (página de producto, README, esquema). Mantén las líneas cortas y naturales; una frase por fila.
- La voz: un ID de actor, o una URL de clip de referencia público más las palabras exactas que se dicen en él (mejor clonación). Las URLs de los clips deben poder descargarse directamente (no enlaces de Hugging Face resolve).
- Estructura de escenas si la composición ya tiene
<Sequence>s; haz coincidir los encabezados de escena con ellas.
2. Escribe script.md
---
voices:
narrador: https://ejemplo.com/yo.wav | Palabras exactas dichas en el clip.
invitado: ACTOR_ID
voice: narrador
fps: 30
---
# Gancho
Tu video de Remotion por fin tiene una locución real.
# Lanzamiento [voice: invitado]
[emotion: emocionado] La versión [[2.0|dos punto cero]] se publica hoy.
[pause: 600ms]
Rendérizalo una vez y los subtítulos caerán en el fotograma correcto.
# Título= una escena (su slug es el ID de escena).[voice: nombre],[emotion: etiqueta],[speed: 1.1],[pause: 600ms]funcionan en una línea o en un encabezado.[[texto del subtítulo|texto hablado]]muestra2.0en los subtítulos mientras la voz dice "dos punto cero". Escribe números, versiones y URLs de esta forma.- Ejecuta
planprimero para una simulación (sin llamadas a la API) y confirma los guiones largos con el usuario.
3. Generación
python scripts/remotion_voiceover.py generate script.md (detecta automáticamente la carpeta public/ de Remotion; --out para sobrescribir, --fps, --scene-gap 600, --gap 250, --max-chars 32, --mp3).
- Todas las líneas se envían a la vez y se recogen; las líneas clonadas pueden tardar un par de minutos.
- Si informa que una tarea aún se está ejecutando, vuelve a ejecutar el mismo comando. Las solicitudes idénticas se reenganchan al mismo trabajo, las líneas terminadas se reutilizan y solo las líneas editadas se vuelven a vocalizar.
--take 2fuerza una nueva toma.
4. Integración en la composición
import {AbsoluteFill, Audio, Sequence, staticFile, useCurrentFrame, useVideoConfig} from 'remotion';
import {createTikTokStyleCaptions, Caption} from '@remotion/captions';
import timeline from '../public/voiceover/voiceover.json';
import captions from '../public/voiceover/captions.json';
export const Narrado: React.FC = () => {
const frame = useCurrentFrame();
const {fps} = useVideoConfig();
const {pages} = createTikTokStyleCaptions({captions: captions as Caption[], combineTokensWithinMilliseconds: 1200});
const ms = (frame / fps) * 1000;
const page = pages.find((p) => ms >= p.startMs && ms < p.startMs + p.durationMs);
return (
<AbsoluteFill>
{timeline.lines.map((l) => (
<Sequence key={l.id} from={l.startFrame} durationInFrames={l.durationInFrames}>
<Audio src={staticFile(l.src)} />
</Sequence>
))}
{page && <AbsoluteFill style={{justifyContent: 'flex-end', alignItems: 'center', paddingBottom: 160}}>
<div style={{fontSize: 64, fontWeight: 800, color: 'white', textShadow: '0 4px 12px #000'}}>{page.text}</div>
</AbsoluteFill>}
</AbsoluteFill>
);
};
- Establece la duración de la composición a partir de la línea de tiempo:
durationInFrames={timeline.durationInFrames}enRoot.tsx, o leevoiceover.jsonencalculateMetadata. - Los
<Sequence>de escenas pueden usartimeline.scenes[i].startFrame/durationInFramespara que los elementos visuales sigan la narración. - Instala el soporte de subtítulos si falta:
npx remotion add @remotion/captions. - También funciona un único
<Audio src={staticFile(timeline.audio)} />en lugar de clips por línea.
5. Entrega
Informa los archivos, la duración total en segundos y fotogramas, y el siguiente paso (renderizar con npx remotion render). Solo vocaliza o clona contenido para el cual el usuario tenga derechos.
Ejemplo
examples/ contiene una ejecución real: script.md (narradora femenina + cierre masculino, ambos clonados), voiceover.mp3, captions.srt, captions.json y voiceover.json."
}```