Communitygithub.com

remotion-voiceover

Remotion 스킬로, Claude Code, Codex, Cursor에서 AI 보이스오버와 자막을 Remotion 비디오 프로젝트에 추가합니다. 내레이션 스크립트를 장면별 보이스오버 오디오, voiceover.json 타임라인(startFrame, durationInFrames), @remotion/captions captions.json, 그리고 SRT/VTT 자막 파일로 변환합니다. 기준 클립을 사용한 음성 복제도 지원합니다.

remotion-voiceover란 무엇인가요?

이 스킬은 Remotion 프로젝트에 실제 내레이터 음성을 추가하는 전문 도구입니다. 사용자가 Remotion 보이스오버, TTS, 내레이션, 음성 또는 자막(TikTok 스타일 애니메이션)을 추가하거나, 오디오를 장면과 동기화하는 등 'claude code remotion' 비디오에 실제 음성을 넣고자 할 때 사용합니다. Miragea 음성 엔진(Miragea.ai/v1)을 기반으로 하며, 참조 클립을 통한 음성 복제도 지원합니다. 주요 출력물로는 장면별 WAV 파일, 전체 내레이션 트랙(voiceover.wav), 음성 타임라인 JSON(voiceover.json), 단어 단위 타임스탬프 캡션 JSON(captions.json), 그리고 SRT/VTT 자막 파일이 있습니다. Claude Code, Codex, Cursor 등 다양한 AI 에이전트 플랫폼에서 동작하며, Python 스크립트 또는 Node CLI를 통해 실행됩니다.

지원 대상✓Claude Code✓Codex CLI✓Cursor
npx skills add https://github.com/RTY2345RR/miragea-agent-skills/tree/HEAD/skills/remotion-voiceover

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Remotion 보이스오버 및 자막

Remotion 프로젝트에 실제 내레이터를 추가하세요. 에이전트가 내레이션 스크립트를 작성하거나 가져와서 장면별로 음성을 입히고, 오디오와 단어 단위 자막을 컴포지션에 연결합니다. 음성 및 음성 복제는 Miragea 음성 엔진(https://miragea.ai/v1)을 사용하며, 다른 TTS로 대체하지 마십시오.

출력물 (기본 폴더 public/voiceover/, staticFile()로 로드 가능):

파일설명
<장면>-NN.wav각 대사 라인당 하나의 클립
voiceover.wav (+ --mp3 사용 시 .mp3)결합된 내레이션 트랙
voiceover.json타임라인: fps, durationInFrames, 장면 및 라인별 startMs, startFrame, durationInFrames, src
captions.json@remotion/captions용 Caption[] (text, startMs, endMs, timestampMs, confidence)
captions.srt, captions.vtt자막 파일 (단일 단어 고아 없이 균형 잡힌 큐)

0. 사전 조건

  • MIRAGEA_API_KEY가 환경 변수에 설정되어 있어야 합니다 (키 발급: https://miragea.ai/workspace/api). 채팅에서 키를 요청하거나 출력하지 마십시오. 설정 도움말: "Install https://miragea.ai/skills/miragea-audio/install.md"
  • python scripts/remotion_voiceover.py check를 한 번 실행하면 모델 목록과 유효한 감정 태그가 표시됩니다.
  • 동일 작업에 두 엔진 중 하나를 선택하세요:
    • Python (번들, 설치 불필요): python scripts/remotion_voiceover.py generate script.md
    • Node CLI: npx -y github:RTY2345RR/remotion-voiceover generate script.md (동일한 스크립트 형식; HyperFrames audio_request.json 추가). 번들 스크립트는 python scripts/remotion_voiceover.py npx generate script.md로 호출할 수 있습니다.

1. 브리핑 (누락된 항목만 질문)

  • 스크립트 또는 스크립트를 작성할 원본 (제품 페이지, README, 개요). 라인은 짧고 구어체로 유지하며, 한 행에 한 문장씩.
  • 음성: 배우 ID, 또는 공개 참조 클립 URL과 그 클립에서 말한 정확한 단어 (최상의 복제). 클립 URL은 직접 가져올 수 있어야 함 (Hugging Face resolve 링크 불가).
  • 장면 구조: 컴포지션에 이미 <Sequence>가 있다면, 장면 제목을 일치시키십시오.

2. script.md 작성

---
voices:
  narrator: https://example.com/me.wav | 클립에서 말한 정확한 단어
  guest: ACTOR_ID
voice: narrator
fps: 30
---
# Hook
당신의 Remotion 비디오에 드디어 실제 보이스오버가 생겼습니다.

# Launch [voice: guest]
[emotion: excited] 버전 [[2.0|two point oh]]이 오늘 출시됩니다.
[pause: 600ms]
한 번 렌더링하면 자막이 정확한 프레임에 들어갑니다.
  • # Heading = 하나의 장면 (해당 슬러그가 장면 ID). [voice: name], [emotion: tag], [speed: 1.1], [pause: 600ms]는 라인 또는 제목에 적용됩니다.
  • [[캡션 텍스트|발화 텍스트]]는 캡션에 2.0을 표시하면서 음성은 "two point oh"라고 말합니다. 숫자, 버전, URL을 이렇게 풀어서 작성하세요.
  • 먼저 plan을 실행하여 드라이 런(API 호출 없음)을 수행하고, 긴 스크립트는 사용자와 확인하십시오.

3. 생성

python scripts/remotion_voiceover.py generate script.md (Remotion public/ 폴더 자동 감지; --out으로 재정의, --fps, --scene-gap 600, --gap 250, --max-chars 32, --mp3).

  • 모든 라인이 한 번에 제출되고 수집됩니다. 복제된 라인은 몇 분이 소요될 수 있습니다.
  • 작업이 계속 실행 중이라고 보고되면 동일한 명령을 다시 실행하십시오. 동일한 요청은 동일한 작업에 다시 연결되며, 완료된 라인은 재사용되고 수정된 라인만 다시 음성화됩니다. --take 2는 새로운 테이크를 강제합니다.

4. 컴포지션에 연결

import {AbsoluteFill, Audio, Sequence, staticFile, useCurrentFrame, useVideoConfig} from 'remotion';
import {createTikTokStyleCaptions, Caption} from '@remotion/captions';
import timeline from '../public/voiceover/voiceover.json';
import captions from '../public/voiceover/captions.json';

export const Narrated: React.FC = () => {
  const frame = useCurrentFrame();
  const {fps} = useVideoConfig();
  const {pages} = createTikTokStyleCaptions({captions: captions as Caption[], combineTokensWithinMilliseconds: 1200});
  const ms = (frame / fps) * 1000;
  const page = pages.find((p) => ms >= p.startMs && ms < p.startMs + p.durationMs);
  return (
    <AbsoluteFill>
      {timeline.lines.map((l) => (
        <Sequence key={l.id} from={l.startFrame} durationInFrames={l.durationInFrames}>
          <Audio src={staticFile(l.src)} />
        </Sequence>
      ))}
      {page && <AbsoluteFill style={{justifyContent: 'flex-end', alignItems: 'center', paddingBottom: 160}}>
        <div style={{fontSize: 64, fontWeight: 800, color: 'white', textShadow: '0 4px 12px #000'}}>{page.text}</div>
      </AbsoluteFill>}
    </AbsoluteFill>
  );
};
  • 컴포지션 길이를 타임라인에서 설정하세요: Root.tsx에서 durationInFrames={timeline.durationInFrames}, 또는 calculateMetadata에서 voiceover.json을 읽으십시오.
  • 장면 <Sequence>는 timeline.scenes[i].startFrame / durationInFrames를 사용하여 시각적 요소가 내레이션을 따르도록 할 수 있습니다.
  • 캡션 지원이 없으면 설치: npx remotion add @remotion/captions
  • 라인별 클립 대신 <Audio src={staticFile(timeline.audio)} /> 하나로도 작동합니다.

5. 전달

파일 목록, 총 길이(초 및 프레임), 다음 단계(npx remotion render로 렌더링)를 보고하세요. 사용자가 권한이 있는 음성 또는 복제 콘텐츠만 사용하십시오.

예시

examples/ 폴더에는 실제 실행 결과가 포함되어 있습니다: script.md (여성 내레이터 + 남성 아웃트로, 둘 다 복제됨), voiceover.mp3, captions.srt, captions.json, voiceover.json.

관련 스킬