Communitygithub.com

remotion-voiceover

Remotionスキル(Claude Code、Codex、Cursor対応)で、AIナレーションとキャプションをRemotionビデオプロジェクトに追加します。ナレーションスクリプトをシーンごとの音声、voiceover.jsonタイムライン、@remotion/captions対応のcaptions.json、SRT/VTTファイルに変換し、音声クローン機能も備えています。ユーザーがRemotionのナレーションやTTS、キャプション追加、音声同期を依頼したときに使用します。

remotion-voiceover とは?

このスキルは、RemotionビデオプロジェクトにAIによるナレーションとキャプションを追加するためのツールです。Claude Code、Codex、CursorなどのAIエージェントと連携し、ユーザーが提供するナレーションスクリプトを基に、シーンごとの音声クリップ(WAV形式)と、それらを連結したナレーショントラック(voiceover.wav)を生成します。また、各発話のタイミングを記録したvoiceover.json、@remotion/captionsライブラリで使用できるcaptions.json、さらにSRTおよびVTT形式の字幕ファイルも出力します。音声はMiragea社の音声エンジンを使用し、参照音声クリップからの音声クローンにも対応しています。事前にMIRAGEA_API_KEYの環境変数設定が必要で、Pythonスクリプト(scripts/remotion_voiceover.py)またはNode CLI経由で実行します。skil.mdでは、スクリプトの作成方法、生成コマンド、そしてRemotionコンポジションへの統合コード例も詳細に説明されています。

対応✓Claude Code✓Codex CLI✓Cursor
npx skills add https://github.com/RTY2345RR/miragea-agent-skills/tree/HEAD/skills/remotion-voiceover

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Remotion ナレーションとキャプション

Remotionプロジェクトにリアルなナレーターを追加します。エージェントはナレーションスクリプトを作成または受け取り、シーンごとに音声を生成し、オーディオとワードタイミング付きキャプションをコンポジションに配線します。音声と音声クローンはMiragea音声エンジン(https://miragea.ai/v1)から提供されます。他のTTSに置き換えないでください。

出力(デフォルトフォルダ public/voiceover/ に配置されるため、staticFile() で読み込めます):

ファイル説明
<scene>-NN.wav各発話行ごとの1クリップ
voiceover.wav (+ --mp3 指定で .mp3)連結されたナレーショントラック
voiceover.jsonタイムライン: fps, durationInFrames, シーンと行の startMs, startFrame, durationInFrames, src
captions.json@remotion/captions 用の Caption[] (text, startMs, endMs, timestampMs, confidence)
captions.srt, captions.vttバランスの取れたキューの字幕ファイル(単語単位の孤立無し)

0. 前提条件

1. 概要(不足しているものだけを尋ねる)

  • スクリプト、またはスクリプトを作成するためのソース(製品ページ、README、アウトライン)。行は短く、話し言葉にしてください。1行1文。
  • 音声: アクターID、または公開参照クリップのURLと、そのクリップで話されている正確な単語(最適なクローン用)。クリップURLは直接フェッチ可能である必要があります(Hugging Faceのリゾルブリンクは不可)。
  • コンポジションにすでに <Sequence> がある場合のシーン構造。シーンヘッダーをそれらに一致させます。

2. script.md を書く

---
voices:
  narrator: https://example.com/me.wav | クリップで話されている正確な単語。
  guest: ACTOR_ID
voice: narrator
fps: 30
---
# フック
あなたのRemotionビデオに、ついにリアルなナレーションが入ります。

# ローンチ [voice: guest]
[emotion: excited] バージョン [[2.0|two point oh]] が本日リリース。
[pause: 600ms]
一度レンダリングすれば、キャプションは正しいフレームに配置されます。
  • # 見出し = 1つのシーン(そのスラッグがシーンID)。[voice: name]、[emotion: tag]、[speed: 1.1]、[pause: 600ms] を行または見出しに適用できます。
  • [[キャプション表示テキスト|話されるテキスト]] は、キャプションに「2.0」と表示し、音声は「two point oh」と発声します。数字、バージョン、URLはこのように表記してください。
  • 最初に plan を実行してドライラン(API呼び出しなし)を行い、長いスクリプトの場合はユーザーに確認してください。

3. 生成

python scripts/remotion_voiceover.py generate script.md(Remotionの public/ フォルダを自動検出。--out で上書き、--fps、--scene-gap 600、--gap 250、--max-chars 32、--mp3 を指定可能)。

  • すべての行が一度に送信され収集されます。クローンされた行は完了までに数分かかることがあります。
  • タスクがまだ実行中と報告された場合は、同じコマンドを再実行してください。同一のリクエストは同じジョブに再アタッチされ、完了した行は再利用され、編集された行だけが再音声化されます。--take 2 で強制的に新しいテイクを取得します。

4. コンポジションに配線する

import {AbsoluteFill, Audio, Sequence, staticFile, useCurrentFrame, useVideoConfig} from 'remotion';
import {createTikTokStyleCaptions, Caption} from '@remotion/captions';
import timeline from '../public/voiceover/voiceover.json';
import captions from '../public/voiceover/captions.json';

export const Narrated: React.FC = () => {
  const frame = useCurrentFrame();
  const {fps} = useVideoConfig();
  const {pages} = createTikTokStyleCaptions({captions: captions as Caption[], combineTokensWithinMilliseconds: 1200});
  const ms = (frame / fps) * 1000;
  const page = pages.find((p) => ms >= p.startMs && ms < p.startMs + p.durationMs);
  return (
    <AbsoluteFill>
      {timeline.lines.map((l) => (
        <Sequence key={l.id} from={l.startFrame} durationInFrames={l.durationInFrames}>
          <Audio src={staticFile(l.src)} />
        </Sequence>
      ))}
      {page && <AbsoluteFill style={{justifyContent: 'flex-end', alignItems: 'center', paddingBottom: 160}}>
        <div style={{fontSize: 64, fontWeight: 800, color: 'white', textShadow: '0 4px 12px #000'}}>{page.text}</div>
      </AbsoluteFill>}
    </AbsoluteFill>
  );
};
  • タイムラインからコンポジションの長さを設定: Root.tsx で durationInFrames={timeline.durationInFrames} とするか、calculateMetadata で voiceover.json を読み込みます。
  • シーンの <Sequence> では、timeline.scenes[i].startFrame / durationInFrames を使用して、ビジュアルをナレーションに追従させることができます。
  • キャプションサポートが不足している場合はインストール: npx remotion add @remotion/captions。
  • 行ごとのクリップの代わりに、1つの <Audio src={staticFile(timeline.audio)} /> でも機能します。

5. 納品

ファイル、合計時間(秒とフレーム数)、および次のステップ(npx remotion render でレンダリング)を報告します。ユーザーが権利を持つ音声またはクローンコンテンツのみを扱ってください。

例

examples/ には実際の実行例があります: script.md(女性ナレーター + 男性アウトロ、両方クローン)、voiceover.mp3、captions.srt、captions.json、voiceover.json。

関連スキル