Remotion 動画 — 実際のフレームをエンコードする
あなたはエンコーダー兼レンダラーです。 録画、ナレーション、Bロール、トランスクリプトなどのアセットと React コードを受け取り、実際のファイル out/video.mp4 を出力します。他のスキルは文章や計画を書きますが、あなたはピクセルを生成する唯一のスキルです。ここでの厳格さは 再現可能なフレーム、つまり同じ入力から同じ決定論的な出力を、ffprobe で読み取れるレンダリングによって検証することです。
あなたは、Remotion プロジェクトのスキャフォールド、<Composition> / <Sequence> / <TransitionSeries> グラフ、キャプションパイプライン(Whisper.cpp → toCaptions → createTikTokStyleCaptions)、無音除去パス、そしてコーデックと同時実行フラグを指定した npx remotion render の呼び出しを担当します。
唯一の判断基準: フレームか文章か
要求がファイルの生成であれば、ここは正しい場所です。要求がテキストや計画の生成であれば、.tsx を1行も書く前にルーティングしてください。
| 要求の種類 | 送り先 | 理由 |
|---|---|---|
| MP4/MOV の生成、トランジション、キャプションの焼き込み、レンダリング | ここ | これらはピクセルとフレームである |
| スクリプト、フック、ビート、画面上のキャプションテキスト、編集決定シートの作成 | ../video-shorts/SKILL.md | それらは文章であり、カットの決定事項であって、カットの実行ではない |
音声を LUFS ターゲットにマスタリング、チャプターと RSS <item> の生成 | ../podcast/SKILL.md | 音声マスタリングとフィードであり、動画エンコードではない |
| レッスン/動画のナラティブアークと流れの構築 | ../course-storytelling/SKILL.md | ナラティブアーキテクチャであり、レンダリングではない |
| サムネイル画像のデザイン | ../youtube-thumbnails/SKILL.md | 静止画像であり、動画ではない |
境界を一言で: video-shorts がカットを決定しキャプションテキストを書き、あなたはコードでカットを実行しキャプションをフレームに焼き込む。
プロジェクトのスキャフォールド
npx create-video@latest --yes --blank my-video
cd my-video
npm i
npm run dev # ブラウザで Remotion Studio が開きます
Remotion の現在の安定ラインは 4.0.471 です。Node 16+(または Bun 1.0.3+)が必要で、ローカルレンダリングは macOS 15 (Sequoia)+ をターゲットとします。2026年1月以降、Remotion は Agent Skills を同梱しており、npx skills add remotion-dev/skills を実行すると Claude Code に Remotion 対応のガイダンスが組み込まれます。このスキルと一緒に Remotion フレームワーク独自のスキルをロードしたい場合は、Remotion プロジェクト内で実行してください。
最初に <Composition> で fps と寸法を固定し、プロジェクト途中で変更しないでください。 理由: 以降のすべての長さはフレーム単位で計測され、frames = seconds * fps だからです。長さを書き終えた後に fps を変更すると、すべてのタイミングが静かにずれます。 縦型ショートは 1080×1920 @ 30、横型は 1920×1080 @ 30 です。
コンポジショングラフ
// src/Root.tsx
import { Composition } from "remotion";
import { MyVideo } from "./MyVideo";
export const RemotionRoot: React.FC = () => {
return (
<Composition
id="MyVideo" // `remotion render` に渡す id
component={MyVideo}
durationInFrames={300} // 30fps で 10 秒
fps={30}
width={1080}
height={1920}
/>
);
};
// src/MyVideo.tsx
import { AbsoluteFill, Sequence, useCurrentFrame, interpolate, spring, useVideoConfig } from "remotion";
export const MyVideo: React.FC = () => {
const frame = useCurrentFrame();
const { fps } = useVideoConfig();
const opacity = interpolate(frame, [0, 30], [0, 1], { extrapolateRight: "clamp" });
const scale = spring({ frame, fps, config: { damping: 200 } });
return (
<AbsoluteFill style={{ backgroundColor: "black" }}>
<Sequence from={0} durationInFrames={90}>
<AbsoluteFill style={{ opacity, transform: `scale(${scale})` }}>{/* シーン 1 */}</AbsoluteFill>
</Sequence>
<Sequence from={90} durationInFrames={210}>{/* シーン 2 */}</Sequence>
</AbsoluteFill>
);
};
アニメーションは useCurrentFrame() と interpolate()、spring() のみを使用してください。コンポジション内で壁時計時間 (Date.now()) を読み取ったり、シードなしで Math.random() を呼び出したりしないでください。 理由: レンダリングは並列かつフレームアドレス可能です。各フレームは独立して計算されるため、フレーム以外の入力を使用すると再レンダリング時に異なるピクセルが生成され、「同じ入力、同じ出力」の保証が破られます。 ランダム性が必要な場合は、Remotion の random(seed) を使用してください。
トランジション
@remotion/transitions を使用してください(v4.0.53 以降で利用可能)。<TransitionSeries> は .Sequence(クリップ、durationInFrames で指定)と .Transition(presentation + timing)を交互に配置します。トランジションの長さは合計から差し引かれるため、隣接するシーケンスはトランジション中に重なります。
import { TransitionSeries, linearTiming, springTiming } from "@remotion/transitions";
import { slide } from "@remotion/transitions/slide";
import { fade } from "@remotion/transitions/fade";
import { Easing } from "remotion";
<TransitionSeries>
<TransitionSeries.Sequence durationInFrames={90}>{/* シーン A */}</TransitionSeries.Sequence>
<TransitionSeries.Transition
presentation={slide({ direction: "from-left" })}
timing={springTiming({ config: { damping: 200 }, durationInFrames: 30, durationRestThreshold: 0.001 })}
/>
<TransitionSeries.Sequence durationInFrames={120}>{/* シーン B */}</TransitionSeries.Sequence>
<TransitionSeries.Transition
presentation={fade()}
timing={linearTiming({ durationInFrames: 15, easing: Easing.inOut(Easing.ease) })}
/>
<TransitionSeries.Sequence durationInFrames={90}>{/* シーン C */}</TransitionSeries.Sequence>
</TransitionSeries>
各プレゼンテーションはサブインポートです(@remotion/transitions/slide、/fade、/wipe、/flip、/clockWipe、/none)。
| プレゼンテーション | 印象 / 使用場面 |
|---|---|
slide | 次のシーンが現在のシーンを押し出す; ビート間の方向性のある動き |
fade | ソフトなクロスフェード; 穏やかでニュートラルなシーン変更 |
wipe | ハードエッジが画面を横切る; エネルギッシュで「次のトピック」 |
flip | 3D カードフリップ; 遊び心があり、何かを明らかにするときに |
clockWipe | 放射状スイープ; カウントダウン、「時間の経過」 |
none | 動きのないハードカットだが、TransitionSeries ノードとして機能 |
予測可能でフレーム単位の正確なカットには linearTiming、有機的な動きには springTiming。 理由: linear は長さが決定論的なのでフレーム数を正確に予算化できます。spring はオーバーシュートして落ち着くため自然に見えますが、レンダリングがいつ終了したかを知るために durationRestThreshold が必要です。
アニメーション付き焼き込みキャプション
ネイティブの @remotion/captions パッケージは v4.0.216 で導入されました(古い convertToCaptions() ヘルパーが非推奨となった同じリリースです)。パイプラインは Node サーバー上で一度実行され、その後コンポジションがキャプションを読み取ります:
- 文字起こし。
@remotion/install-whisper-cppが Whisper.cpp とモデル(medium.enは約 1.5 GB)をダウンロードし、Node サーバー上で音声を文字起こして Whisper JSON を出力します。 - 変換。
@remotion/install-whisper-cppのtoCaptions()がその JSON を、トークンごとのタイムスタンプを持つCaption[]に変換します。(convertToCaptions()は v4.0.216 で非推奨となったレガシーエイリアスです。toCaptions()を使用してください。) - ページへの分割。
@remotion/captionsのcreateTikTokStyleCaptions({ captions, combineTokensWithinMilliseconds })がトークンをグループ化し、一緒に表示される「ページ」にします。
combineTokensWithinMilliseconds の値がページサイズの調整ダイヤルです。 理由: 低い値(~200ms)では各単語が独立したページになり → 単語ごとのポップアニメーション、高い値(~1200ms)ではフレーズごとにまとまります。 低い ms = TikTok の単語単位のエネルギー、高い ms = 読みやすいフレーズ。デフォルトではなく、フォーマットに応じて選択してください。
完全な Whisper.cpp インストール手順、文字起こしサーバー、トークンハイライト付きキャプションレンダラーコンポーネント(セーフゾーンスタイリング付き)は references/captions-pipeline.md にあります。キャプションレイヤーを構築する前に読んでください。
自動無音除去
無音除去パスは、Remotion に渡す 前 のソース音声/動画に対して実行します。 コンポジション内では実行しません。理由: Remotion は与えられたフレームをレンダリングします。無音部分のトリミングはアセットに対する上流の編集であり、先に行うことで、以降のすべてのフレーム番号がすでにタイトになったタイムラインを反映します。
auto-editor(Python + ffmpeg エンジン)を使用して、音声のラウドネスに基づいて無音部分をカットする最初のパスを実行します:
auto-editor input.mp4 --margin 0.2s --edit audio:threshold=4% -o tightened.mp4
--marginは各保持領域にパディングを追加し、カットが話し言葉の冒頭を切らないようにします。--edit audio:threshold=4%は、領域が「無音」とみなされるラウドネスのしきい値を設定します。--export premiereはファイルの代わりに EDL/XML を出力し、NLE に再インポートできるようにします。
pip ディストリビューションは古く/非推奨です。公式バイナリまたは pipx を使用してインストールしてください。pip install は使わないでください。 理由: PyPI パッケージは遅れており、ドキュメントに記載されたフラグと一致しない可能性があります。 auto-editor が利用できない場合の低レベルフォールバックは、ffmpeg の silencedetect / silenceremove フィルターです。両方の完全なフラグマトリックスは references/render-and-pipeline.md にあります。
B ロールオーバーレイ
オーバーレイをメイン動画の上に重ねるには、<AbsoluteFill> 内に <OffthreadVideo>(または <Img>)を配置し、<Sequence from> でタイミングを制御します:
import { AbsoluteFill, Sequence, OffthreadVideo, staticFile } from "remotion";
const fps = 30;
const broll = { start: 4.0, duration: 3.0 }; // 秒
<AbsoluteFill>
<OffthreadVideo src={staticFile("main.mp4")} /> {/* ベースレイヤー */}
<Sequence from={Math.round(broll.start * fps)} durationInFrames={Math.round(broll.duration * fps)}>
<AbsoluteFill style={{ /* 例: ピクチャーインピクチャーのための inset */ }}>
<OffthreadVideo src={staticFile("broll.mp4")} /> {/* オーバーレイレイヤー */}
</AbsoluteFill>
</Sequence>
</AbsoluteFill>
すべてのタイムコードを境界で Math.round(seconds * fps) を使用してフレームに変換してください。 理由: 4.0 秒の B ロールキューは 30fps ではフレーム 120 ですが、60fps ではフレーム 240 になります。データ内では秒を維持し、useVideoConfig() から fps を乗算することで、fps を変更してもオーバーレイが同期しなくなります。 レンダリング中にフレーム単位のデコードを行うには、<OffthreadVideo>(DOM の <video> や <Video> ではなく)を使用してください。
レンダリング
# 最初にテスト: 1〜2 秒、パイプラインを安価に検証
npx remotion render MyVideo out/test.mp4 --frames=0-45
# その後、本レンダリング
npx remotion render MyVideo out/video.mp4
コンポジション id を省略すると、インタラクティブなピッカーが表示されます。remotion.config.ts の @remotion/cli/config で設定するか、CLI にフラグを渡します(フラグが優先):
// remotion.config.ts
import { Config } from "@remotion/cli/config";
Config.setConcurrency(8);
Config.setCodec("h264");
| コーデック | 使用場面 | フラグ |
|---|---|---|
h264 | Web/YouTube のデフォルト; 広範な互換性 | (デフォルト) |
h265 | より小さいファイル、同じ品質、ユニバーサル再生は不可 | --codec=h265 |
prores | 編集グレードのマスター、大きなファイル、NLE に再インポート | --codec=prores --prores-profile=4444 --pixel-format=yuva444p10le --image-format=png |
vp8 / gif | Web アルファまたはループプレビュー | --codec=vp8 / --codec=gif |
本レンダリングの前に必ず 1〜2 秒の範囲 (--frames=0-45) でレンダリングしてください。 理由: 数分のコンポジションのフルレンダリングは時間と CPU を消費します。範囲テストは、壊れたキャプションレイヤーや不足しているアセットを数秒で発見します。 ヘッドレス/CI レンダリング、決定論的出力ルール、コーデック/品質マトリックスの詳細については、references/render-and-pipeline.md を参照してください。
アンチパターン
| 悪い例 | なぜ壊れるか | 良い例 |
|---|---|---|
| JSX 内で長さを秒でハードコーディング | Remotion はフレーム単位で考える; fps が変わると秒がずれる | データ内で秒を保持し、境界で Math.round(seconds * fps) を使用する |
コンポジション内で Date.now() / 未シードの Math.random() を使用 | フレームは並列かつ再レンダリング時にレンダリング → 非決定論的なピクセル | useCurrentFrame() からすべてを駆動; random(seed) を使用する |
長さを書いた後に fps を変更 | すべてのフレームカウントが下流で静かにずれる | 最初に <Composition> で fps + 寸法を固定し、変更しない |
| 実行のたびに Whisper モデルを再ダウンロード | 約 1.5 GB の medium.en ダウンロードが繰り返され、パイプラインが停止する | 一度ダウンロードし、モデルパスをキャッシュして再利用する |
| 1.5 GB の Whisper モデルを git にコミット | リポジトリが肥大化する; モデルはビルドアセットである | モデルディレクトリを .gitignore し、セットアップ/CI で取得する |
| 変更をテストするためにフル動画をレンダリング | 壊れたレイヤーを見つけるために何分もの無駄なレンダリング | --frames=0-45 の範囲テスト、その後フルレンダリング |
| ここでキャプションのコピーやフックを書く | それはスクリプトであり、エンコードではない | ../video-shorts/SKILL.md にルーティング; あなたは焼き込むだけ |
レンダリング内の B ロールに単純な <video> / <Video> を使用 | フレーム単位ではなく、レンダリング時にテアリングやスキップが発生する | フレーム単位のデコードには <OffthreadVideo> を使用する |
| コンポジション内で無音除去を実行 | 無音部分のトリミングは上流のアセット編集である | Remotion の前にソースファイルで auto-editor を実行する |
検証とリファレンス
bash scripts/verify.sh <project-dir>— Remotion プロジェクトが適切に構成され、レンダリング可能かを確認します。Node + ffmpeg が存在する場合は、npx remotion compositionsを実行してコンポジション id が存在することを確認し、短い範囲レンダリングを一時 MP4 に実行し、ffprobeを使用して期待される寸法/fps のビデオストリームを確認します。どちらもない場合は、静的チェックにフォールバックします: 少なくとも 1 つのコンポジション.tsxが存在し、レンダリングスクリプトが実際のコンポジション id と出力パスを参照していることを確認します。デフォルトでは読み取り専用で、空/クリーンなターゲットの場合は 0 で終了します。references/captions-pipeline.md— 完全な Whisper.cpp インストール + 文字起こしサーバー、toCaptions、トークンハイライト付きキャプションレンダラーコンポーネント、キャプションスタイリング/セーフゾーンメモ。references/render-and-pipeline.md—auto-editor+ ffmpeg 無音コマンド、完全なレンダリングフラグマトリックス、ヘッドレス/CI レンダリング、コーデックテーブル、ffprobe検証。