Communitygithub.com

remotion-voiceover

Remotion-Fähigkeit für Claude Code, Codex und Cursor, die einem Remotion-Videoprojekt eine KI-Sprachausgabe und Untertitel hinzufügt.

Was ist remotion-voiceover?

Dieses Skill ermöglicht es AI-Agenten (Claude Code, Codex, Cursor), einem Remotion-Videoprojekt eine professionelle Sprachausgabe mit KI-gestützter Sprachsynthese und Untertiteln hinzuzufügen. Es wandelt ein Skript in einzelne Sprachclips pro Szene um, erstellt eine `voiceover.json`-Timeline (mit StartFrame, DurationInFrames) und Captions im `@remotion/captions`-Format sowie SRT/VTT-Dateien. Die Sprachsynthese und Stimmenklonierung erfolgt über die Miragea Voice Engine. Der Entwickler gibt eine Erzählerstimme (als Actor-ID oder Referenzclip) und das Skript vor; das Skill generiert dann die Audiodateien und die passenden Untertitel, die nahtlos in die Remotion-Composition eingebunden werden können. Das Skill ist besonders nützlich für TikTok-ähnliche Videos mit animierten Captions oder für jedes Remotion-Projekt, das eine natürliche Sprachausgabe benötigt.

Funktioniert mit✓Claude Code✓Codex CLI✓Cursor
npx skills add https://github.com/RTY2345RR/miragea-agent-skills/tree/HEAD/skills/remotion-voiceover

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Remotion Sprachausgabe und Untertitel

Geben Sie einem Remotion-Projekt einen echten Sprecher. Der Agent schreibt ein Skript oder übernimmt ein vorhandenes, spricht es Szene für Szene ein und verbindet Audio sowie wortgenaue Untertitel mit der Composition. Stimmen und Stimmenklonierung stammen von der Miragea Voice Engine (https://miragea.ai/v1); niemals durch eine andere TTS ersetzen.

Ausgaben (Standard-Ordner public/voiceover/, damit staticFile() sie laden kann):

DateiBeschreibung
<scene>-NN.wavEin Clip pro gesprochener Zeile
voiceover.wav (+ .mp3 mit --mp3)Die zusammengesetzte Erzählspur
voiceover.jsonZeitachse: fps, durationInFrames, Szenen und Zeilen mit startMs, startFrame, durationInFrames, src
captions.jsonCaption[] für @remotion/captions (text, startMs, endMs, timestampMs, confidence)
captions.srt, captions.vttUntertiteldateien mit ausgewogenen Hinweisen (keine Ein-Wort-Phantomzeilen)

0. Voraussetzungen

  • MIRAGEA_API_KEY muss in der Umgebung gesetzt sein (Schlüssel: https://miragea.ai/workspace/api). Fordern Sie den Schlüssel niemals im Chat an und geben Sie ihn niemals aus. Hilfe zur Einrichtung: "Installieren Sie https://miragea.ai/skills/miragea-audio/install.md".
  • Führen Sie python scripts/remotion_voiceover.py check einmal aus. Es listet Modelle und die einzigen gültigen Emotions-Tags auf.
  • Zwei Engines für denselben Auftrag, wählen Sie eine:
    • Python (mitgeliefert, keine Installation): python scripts/remotion_voiceover.py generate script.md
    • Node CLI: npx -y github:RTY2345RR/remotion-voiceover generate script.md (gleiches Skriptformat; fügt HyperFrames audio_request.json hinzu). Das mitgelieferte Skript kann es mit python scripts/remotion_voiceover.py npx generate script.md aufrufen.

1. Briefing (nur nach Fehlendem fragen)

  • Das Skript oder die Quelle, um es daraus zu schreiben (Produktseite, README, Gliederung). Halten Sie Zeilen kurz und gesprochen; ein Satz pro Zeile.
  • Die Stimme: eine Actor-ID oder eine öffentliche Referenzclip-URL plus die genauen gesprochenen Wörter darin (beste Klonierung). Clip-URLs müssen direkt abrufbar sein (keine Hugging Face Resolve-Links).
  • Szenenstruktur, falls die Composition bereits <Sequence>s hat; passen Sie die Szenenüberschriften an diese an.

2. script.md schreiben

---
voices:
  narrator: https://example.com/me.wav | Exakte Wörter, die im Clip gesprochen wurden.
  guest: ACTOR_ID
voice: narrator
fps: 30
---
# Aufhänger
Ihr Remotion-Video hat endlich eine echte Sprachausgabe.

# Start [voice: guest]
[emotion: excited] Version [[2.0|zwei Punkt Null]] erscheint heute.
[pause: 600ms]
Rendern Sie es einmal und die Untertitel landen auf dem richtigen Frame.
  • # Überschrift = eine Szene (der Slug ist die Szenen-ID). [voice: name], [emotion: tag], [speed: 1.1], [pause: 600ms] funktionieren auf einer Zeile oder einer Überschrift.
  • [[Untertiteltext|gesprochener Text]] zeigt 2.0 in den Untertiteln, während die Stimme "zwei Punkt Null" sagt. Schreiben Sie Zahlen, Versionen und URLs auf diese Weise aus.
  • Führen Sie zuerst plan für einen Probelauf aus (keine API-Aufrufe) und bestätigen Sie lange Skripte mit dem Benutzer.

3. Generieren

python scripts/remotion_voiceover.py generate script.md (erkennt automatisch den Remotion public/-Ordner; --out zum Überschreiben, --fps, --scene-gap 600, --gap 250, --max-chars 32, --mp3).

  • Alle Zeilen werden auf einmal gesendet und gesammelt; geklonte Zeilen können ein paar Minuten dauern.
  • Wenn gemeldet wird, dass ein Task noch läuft, führen Sie denselben Befehl erneut aus. Identische Anfragen verbinden sich mit demselben Job wieder, fertige Zeilen werden wiederverwendet und nur bearbeitete Zeilen werden neu vertont. --take 2 erzwingt eine neue Aufnahme.

4. In die Composition einbinden

import {AbsoluteFill, Audio, Sequence, staticFile, useCurrentFrame, useVideoConfig} from 'remotion';
import {createTikTokStyleCaptions, Caption} from '@remotion/captions';
import timeline from '../public/voiceover/voiceover.json';
import captions from '../public/voiceover/captions.json';

export const Narrated: React.FC = () => {
  const frame = useCurrentFrame();
  const {fps} = useVideoConfig();
  const {pages} = createTikTokStyleCaptions({captions: captions as Caption[], combineTokensWithinMilliseconds: 1200});
  const ms = (frame / fps) * 1000;
  const page = pages.find((p) => ms >= p.startMs && ms < p.startMs + p.durationMs);
  return (
    <AbsoluteFill>
      {timeline.lines.map((l) => (
        <Sequence key={l.id} from={l.startFrame} durationInFrames={l.durationInFrames}>
          <Audio src={staticFile(l.src)} />
        </Sequence>
      ))}
      {page && <AbsoluteFill style={{justifyContent: 'flex-end', alignItems: 'center', paddingBottom: 160}}>
        <div style={{fontSize: 64, fontWeight: 800, color: 'white', textShadow: '0 4px 12px #000'}}>{page.text}</div>
      </AbsoluteFill>}
    </AbsoluteFill>
  );
};
  • Setzen Sie die Composition-Länge aus der Zeitachse: durationInFrames={timeline.durationInFrames} in Root.tsx, oder lesen Sie voiceover.json in calculateMetadata.
  • Szenen-<Sequence>s können timeline.scenes[i].startFrame / durationInFrames verwenden, damit die Visuals der Erzählung folgen.
  • Installieren Sie die Captions-Unterstützung, falls sie fehlt: npx remotion add @remotion/captions.
  • Ein <Audio src={staticFile(timeline.audio)} /> funktioniert auch anstelle von Clips pro Zeile.

5. Ausliefern

Melden Sie die Dateien, die Gesamtlänge in Sekunden und Frames sowie den nächsten Schritt (Rendern mit npx remotion render). Verwenden Sie nur Sprach- oder Klon-Inhalte, für die der Benutzer die Rechte hat.

Beispiel

examples/ enthält einen echten Durchlauf: script.md (weiblicher Sprecher + männlicher Outro, beide geklont), voiceover.mp3, captions.srt, captions.json und voiceover.json.

Verwandte Skills