Communitygithub.com

remotion-voiceover

Habilidad de Remotion para Claude Code, Codex y Cursor que agrega locución y subtítulos con IA a un proyecto de video Remotion.

¿Qué es remotion-voiceover?

Esta habilidad permite dotar de una voz real a proyectos de video creados con Remotion, generando automáticamente locuciones y subtítulos sincronizados a partir de un guion narrativo. Es útil para creadores de contenido que desean añadir narraciones profesionales, voces clonadas o subtítulos al estilo TikTok a sus composiciones de Remotion, todo ello sin salir del entorno de desarrollo. Funciona con Claude Code, Codex y Cursor, y requiere una clave API de Miragea (https://miragea.ai). El proceso incluye la escritura de un guion en Markdown con indicaciones de voz, emoción y pausas, la generación de clips de audio por escena, un archivo de línea de tiempo (`voiceover.json`) y archivos de subtítulos en formato JSON, SRT y VTT. Una vez generados los archivos, la habilidad guía al usuario para integrarlos en la composición de Remotion mediante componentes de `@remotion/captions` y secuencias de audio, logrando un resultado profesional y totalmente sincronizado.

Compatible con✓Claude Code✓Codex CLI✓Cursor
npx skills add https://github.com/RTY2345RR/miragea-agent-skills/tree/HEAD/skills/remotion-voiceover

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Locución y subtítulos para Remotion

Dale a tu proyecto de Remotion un narrador real. El agente escribe o toma un guion de narración, lo vocaliza escena por escena y conecta el audio y los subtítulos sincronizados con la composición. Las voces y la clonación de voz provienen del motor de voz Miragea (https://miragea.ai/v1); no lo sustituyas por otro sistema de texto a voz (TTS).

Archivos de salida (carpeta por defecto public/voiceover/, para que staticFile() pueda cargarlos):

ArchivoQué es
<escena>-NN.wavun clip por línea hablada
voiceover.wav (+ .mp3 con --mp3)la pista de narración unida
voiceover.jsonlínea de tiempo: fps, durationInFrames, escenas y líneas con startMs, startFrame, durationInFrames, src
captions.jsonCaption[] para @remotion/captions (text, startMs, endMs, timestampMs, confidence)
captions.srt, captions.vttarchivos de subtítulos con divisiones equilibradas (sin fragmentos de una sola palabra)

0. Requisitos previos

  • MIRAGEA_API_KEY debe estar configurada en el entorno (claves: https://miragea.ai/workspace/api). Nunca pidas la clave en el chat ni la imprimas. Ayuda para la configuración: "Instala https://miragea.ai/skills/miragea-audio/install.md".
  • Ejecuta python scripts/remotion_voiceover.py check una vez. Muestra los modelos y las únicas etiquetas de emoción válidas.
  • Dos motores para el mismo trabajo, elige uno:
    • Python (incluido, sin instalación): python scripts/remotion_voiceover.py generate script.md
    • CLI de Node: npx -y github:RTY2345RR/remotion-voiceover generate script.md (mismo formato de guion; añade HyperFrames audio_request.json). El script incluido puede llamarlo con python scripts/remotion_voiceover.py npx generate script.md.

1. Resumen (pregunta solo lo que falte)

  • El guion, o la fuente para escribirlo (página de producto, README, esquema). Mantén las líneas cortas y naturales; una frase por fila.
  • La voz: un ID de actor, o una URL de clip de referencia público más las palabras exactas que se dicen en él (mejor clonación). Las URLs de los clips deben poder descargarse directamente (no enlaces de Hugging Face resolve).
  • Estructura de escenas si la composición ya tiene <Sequence>s; haz coincidir los encabezados de escena con ellas.

2. Escribe script.md

---
voices:
  narrador: https://ejemplo.com/yo.wav | Palabras exactas dichas en el clip.
  invitado: ACTOR_ID
voice: narrador
fps: 30
---
# Gancho
Tu video de Remotion por fin tiene una locución real.

# Lanzamiento [voice: invitado]
[emotion: emocionado] La versión [[2.0|dos punto cero]] se publica hoy.
[pause: 600ms]
Rendérizalo una vez y los subtítulos caerán en el fotograma correcto.
  • # Título = una escena (su slug es el ID de escena). [voice: nombre], [emotion: etiqueta], [speed: 1.1], [pause: 600ms] funcionan en una línea o en un encabezado.
  • [[texto del subtítulo|texto hablado]] muestra 2.0 en los subtítulos mientras la voz dice "dos punto cero". Escribe números, versiones y URLs de esta forma.
  • Ejecuta plan primero para una simulación (sin llamadas a la API) y confirma los guiones largos con el usuario.

3. Generación

python scripts/remotion_voiceover.py generate script.md (detecta automáticamente la carpeta public/ de Remotion; --out para sobrescribir, --fps, --scene-gap 600, --gap 250, --max-chars 32, --mp3).

  • Todas las líneas se envían a la vez y se recogen; las líneas clonadas pueden tardar un par de minutos.
  • Si informa que una tarea aún se está ejecutando, vuelve a ejecutar el mismo comando. Las solicitudes idénticas se reenganchan al mismo trabajo, las líneas terminadas se reutilizan y solo las líneas editadas se vuelven a vocalizar. --take 2 fuerza una nueva toma.

4. Integración en la composición

import {AbsoluteFill, Audio, Sequence, staticFile, useCurrentFrame, useVideoConfig} from 'remotion';
import {createTikTokStyleCaptions, Caption} from '@remotion/captions';
import timeline from '../public/voiceover/voiceover.json';
import captions from '../public/voiceover/captions.json';

export const Narrado: React.FC = () => {
  const frame = useCurrentFrame();
  const {fps} = useVideoConfig();
  const {pages} = createTikTokStyleCaptions({captions: captions as Caption[], combineTokensWithinMilliseconds: 1200});
  const ms = (frame / fps) * 1000;
  const page = pages.find((p) => ms >= p.startMs && ms < p.startMs + p.durationMs);
  return (
    <AbsoluteFill>
      {timeline.lines.map((l) => (
        <Sequence key={l.id} from={l.startFrame} durationInFrames={l.durationInFrames}>
          <Audio src={staticFile(l.src)} />
        </Sequence>
      ))}
      {page && <AbsoluteFill style={{justifyContent: 'flex-end', alignItems: 'center', paddingBottom: 160}}>
        <div style={{fontSize: 64, fontWeight: 800, color: 'white', textShadow: '0 4px 12px #000'}}>{page.text}</div>
      </AbsoluteFill>}
    </AbsoluteFill>
  );
};
  • Establece la duración de la composición a partir de la línea de tiempo: durationInFrames={timeline.durationInFrames} en Root.tsx, o lee voiceover.json en calculateMetadata.
  • Los <Sequence> de escenas pueden usar timeline.scenes[i].startFrame / durationInFrames para que los elementos visuales sigan la narración.
  • Instala el soporte de subtítulos si falta: npx remotion add @remotion/captions.
  • También funciona un único <Audio src={staticFile(timeline.audio)} /> en lugar de clips por línea.

5. Entrega

Informa los archivos, la duración total en segundos y fotogramas, y el siguiente paso (renderizar con npx remotion render). Solo vocaliza o clona contenido para el cual el usuario tenga derechos.

Ejemplo

examples/ contiene una ejecución real: script.md (narradora femenina + cierre masculino, ambos clonados), voiceover.mp3, captions.srt, captions.json y voiceover.json." }```

Skills relacionados