Communitygithub.com

tinh2/skills-hub-registry

使用 Remotion(React)以编程方式创建视频。涵盖合成、动画、序列、转场、音频/视频嵌入、弹簧物理、文字动画、ElevenLabs TTS 语音生成、FFmpeg 集成、字幕、3D (Three.js)、图表和渲染。基于官方 Remotion 最佳实践。

skills-hub-registry 是什么?

该技能(Skill)基于官方最佳实践,指导开发者如何使用 Remotion 在 React 中编程创建视频。它全面覆盖了从项目搭建、Composition 定义、动画(含插值与弹簧物理)、多场景序列化和转场,到音频/视频嵌入、字幕生成以及 ElevenLabs TTS 语音合成等核心功能。技能还深入讲解了 FFmpeg 集成、3D 图形 (Three.js) 和图表渲染等高级用法,并提供了诸如 Asset 管理、渲染输出等实用操作指南。所有内容均遵循 Remotion 的推荐模式,如始终使用 `useCurrentFrame()` 进行动画、优先使用 `staticFile()` 管理资源以及采用 `OffthreadVideo` 提升渲染性能,旨在帮助开发者高效构建专业级的程序化视频。

兼容平台✓Claude Code~Codex CLI✓Cursor
npx skills add https://github.com/tinh2/skills-hub-registry/tree/HEAD/build/remotion

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

Remotion —— 在 React 中创建视频

当您需要处理 Remotion 代码时使用此技能。Remotion 让您能够使用 React 组件以编程方式创建视频。

项目搭建

npx create-video@latest my-video
cd my-video
npm start        # 在浏览器中预览
npm run render   # 渲染为 MP4

合成(Compositions)

<Composition> 定义了一个可渲染的视频,包含尺寸、帧率和持续时间。

import { Composition } from "remotion";
import { MyVideo } from "./MyVideo";

export const RemotionRoot = () => (
  <Composition
    id="MyVideo"
    component={MyVideo}
    durationInFrames={300}
    fps={30}
    width={1920}
    height={1080}
    defaultProps={{ title: "Hello World" } satisfies MyVideoProps}
  />
);

为了实现 defaultProps 的类型安全,请对 props 使用 type 声明(而非 interface)。

使用 <Folder> 在侧边栏中组织不同的合成。使用 <Still> 创建单帧输出(缩略图、OG 图片)。

动画

所有动画必须使用 useCurrentFrame()。CSS 过渡和 Tailwind 动画类禁止使用 —— 它们无法正确渲染。

import { useCurrentFrame, useVideoConfig, interpolate } from "remotion";

export const FadeIn = () => {
  const frame = useCurrentFrame();
  const { fps } = useVideoConfig();

  const opacity = interpolate(frame, [0, 2 * fps], [0, 1], {
    extrapolateRight: "clamp",
  });

  return <div style={{ opacity }}>Hello World!</div>;
};

弹簧动画(Spring Animations)

弹簧提供自然的运动效果。它们从 0 到 1 进行动画。

import { spring, useCurrentFrame, useVideoConfig } from "remotion";

const frame = useCurrentFrame();
const { fps } = useVideoConfig();

const scale = spring({ frame, fps });
// 带配置参数:
const smooth = spring({ frame, fps, config: { damping: 200 } }); // 无弹跳
const snappy = spring({ frame, fps, config: { damping: 20, stiffness: 200 } });
const bouncy = spring({ frame, fps, config: { damping: 8 } });
const heavy  = spring({ frame, fps, config: { damping: 15, stiffness: 80, mass: 2 } });

使用 delay 参数延迟弹簧动画的启动:

const entrance = spring({ frame, fps, delay: 20 });

插值(Interpolation)

// 带钳制的线性插值
const opacity = interpolate(frame, [0, 100], [0, 1], {
  extrapolateRight: "clamp",
  extrapolateLeft: "clamp",
});

// 多步插值
const y = interpolate(frame, [0, 30, 60, 90], [100, 0, 0, -100]);

序列化

Sequence

使用 <Sequence> 延迟元素的出现。始终使用 premountFor 预加载组件。

import { Sequence } from "remotion";

const { fps } = useVideoConfig();

<Sequence from={1 * fps} durationInFrames={2 * fps} premountFor={1 * fps}>
  <Title />
</Sequence>
<Sequence from={2 * fps} durationInFrames={2 * fps} premountFor={1 * fps}>
  <Subtitle />
</Sequence>

使用 layout="none" 以防止创建绝对定位的容器。

Series

使用 <Series> 实现无重叠的顺序播放:

import { Series } from "remotion";

<Series>
  <Series.Sequence durationInFrames={45}><Intro /></Series.Sequence>
  <Series.Sequence durationInFrames={60}><MainContent /></Series.Sequence>
  <Series.Sequence durationInFrames={30}><Outro /></Series.Sequence>
</Series>

负的 offset 可以创建重叠过渡:

<Series.Sequence offset={-15} durationInFrames={60}>
  <SceneB />
</Series.Sequence>

转场效果

npx remotion add @remotion/transitions
import { TransitionSeries, linearTiming } from "@remotion/transitions";
import { fade } from "@remotion/transitions/fade";
import { slide } from "@remotion/transitions/slide";
import { wipe } from "@remotion/transitions/wipe";

<TransitionSeries>
  <TransitionSeries.Sequence durationInFrames={60}>
    <SceneA />
  </TransitionSeries.Sequence>
  <TransitionSeries.Transition
    presentation={fade()}
    timing={linearTiming({ durationInFrames: 15 })}
  />
  <TransitionSeries.Sequence durationInFrames={60}>
    <SceneB />
  </TransitionSeries.Sequence>
</TransitionSeries>

漏光叠加效果

import { LightLeak } from "@remotion/light-leaks";

<TransitionSeries>
  <TransitionSeries.Sequence durationInFrames={60}>
    <SceneA />
  </TransitionSeries.Sequence>
  <TransitionSeries.Overlay durationInFrames={20}>
    <LightLeak />
  </TransitionSeries.Overlay>
  <TransitionSeries.Sequence durationInFrames={60}>
    <SceneB />
  </TransitionSeries.Sequence>
</TransitionSeries>

一个叠加效果不能紧邻过渡或另一个叠加效果。

音频

npx remotion add @remotion/media
import { Audio } from "@remotion/media";
import { staticFile } from "remotion";

// 基本音频
<Audio src={staticFile("audio.mp3")} />

// 带裁剪(数值以帧为单位)
<Audio src={staticFile("audio.mp3")} trimBefore={2 * fps} trimAfter={10 * fps} />

// 音量控制
<Audio src={staticFile("audio.mp3")} volume={0.5} />

// 动态音量(回调函数接收当前帧)
<Audio src={staticFile("audio.mp3")} volume={(f) =>
  interpolate(f, [0, 30], [0, 1], { extrapolateRight: "clamp" })
} />

// 变速
<Audio src={staticFile("audio.mp3")} playbackRate={1.5} />

// 延迟音频开始
<Sequence from={1 * fps}>
  <Audio src={staticFile("audio.mp3")} />
</Sequence>

多个 <Audio> 组件会自动分层混音。

视频嵌入

import { Video } from "@remotion/media";

// 基本视频
<Video src={staticFile("video.mp4")} />

// 带裁剪
<Video src={staticFile("video.mp4")} trimBefore={2 * fps} trimAfter={10 * fps} />

// 变速、音量、循环
<Video src={staticFile("video.mp4")} playbackRate={2} volume={0.5} loop />

// 为了渲染性能,请使用 OffthreadVideo
import { OffthreadVideo } from "remotion";
<OffthreadVideo src={staticFile("video.mp4")} />

始终使用 <OffthreadVideo> 以获得更好的渲染性能。仅在预览时使用 <Video>。

使用 ElevenLabs TTS 生成配音

为每个场景生成语音,然后使用 calculateMetadata 动态调整合成的大小。

生成音频

const response = await fetch(
  `https://api.elevenlabs.io/v1/text-to-speech/${voiceId}`,
  {
    method: "POST",
    headers: {
      "xi-api-key": process.env.ELEVENLABS_API_KEY!,
      "Content-Type": "application/json",
      Accept: "audio/mpeg",
    },
    body: JSON.stringify({
      text: "Welcome to the show.",
      model_id: "eleven_multilingual_v2",
      voice_settings: { stability: 0.5, similarity_boost: 0.75, style: 0.3 },
    }),
  },
);
const audioBuffer = Buffer.from(await response.arrayBuffer());
writeFileSync(`public/voiceover/scene-01.mp3`, audioBuffer);

动态持续时间

import { CalculateMetadataFunction, staticFile } from "remotion";

const FPS = 30;
const SCENES = ["voiceover/scene-01.mp3", "voiceover/scene-02.mp3"];

export const calculateMetadata: CalculateMetadataFunction<Props> = async () => {
  const durations = await Promise.all(
    SCENES.map((file) => getAudioDuration(staticFile(file)))
  );
  const totalFrames = durations.reduce((sum, d) => sum + Math.ceil(d * FPS), 0);
  return { durationInFrames: totalFrames };
};

资源管理

将文件放置在 public/ 目录下,并使用 staticFile() 引用:

import { staticFile, Img } from "remotion";

<Img src={staticFile("logo.png")} />

永远不要对媒体文件使用 require() 或 import。始终使用 staticFile()。

字体

import { loadFont } from "@remotion/google-fonts/Inter";
const { fontFamily } = loadFont();

// 或者加载本地字体
const { fontFamily } = loadFont({
  url: staticFile("fonts/MyFont.woff2"),
  display: "swap",
});

Remotion 中的 FFmpeg

FFmpeg 已集成 —— 无需额外安装:

bunx remotion ffmpeg -i input.mp4 output.mp3
bunx remotion ffprobe input.mp4

对于裁剪视频,优先使用 trimBefore / trimAfter 属性而非 FFmpeg。在进行 Remotion 无法本地支持的格式转换或其他操作时使用 FFmpeg。

当使用 FFmpeg 进行裁剪时,必须重新编码以避免出现冻结帧:

bunx remotion ffmpeg -ss 00:00:05 -i public/input.mp4 -to 00:00:10 -c:v libx264 -c:a aac public/output.mp4

渲染

# 渲染特定的合成
npx remotion render MyVideo output.mp4

# 渲染一个静态帧
npx remotion still MyVideo --frame=100 thumbnail.png

# 使用自定义属性
npx remotion render MyVideo output.mp4 --props='{"title": "Custom"}'

# 指定编解码器
npx remotion render MyVideo output.webm --codec=vp8

通用模式

基于场景的视频

const SCENES = [
  { component: TitleScene, duration: 90 },
  { component: ProblemScene, duration: 150 },
  { component: SolutionScene, duration: 120 },
  { component: CTAScene, duration: 90 },
];

export const MyVideo = () => {
  let offset = 0;
  return (
    <>
      {SCENES.map(({ component: Component, duration }, i) => {
        const from = offset;
        offset += duration;
        return (
          <Sequence key={i} from={from} durationInFrames={duration}>
            <Component />
          </Sequence>
        );
      })}
    </>
  );
};

背景音乐 + 配音

<>
  {/* 背景音乐,低音量 */}
  <Audio src={staticFile("music/bg.mp3")} volume={0.12} loop />

  {/* 场景配音,全音量 */}
  <Sequence from={0} durationInFrames={scene1Frames}>
    <Audio src={staticFile("voiceover/scene-01.mp3")} volume={1} />
  </Sequence>
  <Sequence from={scene1Frames} durationInFrames={scene2Frames}>
    <Audio src={staticFile("voiceover/scene-02.mp3")} volume={1} />
  </Sequence>
</>

关键规则

  1. 无 CSS 动画 —— 所有运动通过 useCurrentFrame() + interpolate() / spring() 实现
  2. 无 Tailwind 动画类 —— 它们无法正确渲染
  3. 始终使用 staticFile() 访问资源,绝不使用 require()
  4. 始终使用 premountFor 对 Sequences 进行预挂载
  5. 使用 <OffthreadVideo> 而非 <video> 进行渲染
  6. 以秒为单位编写持续时间 并乘以 fps
  7. 使用 satisfies 关键字 确保 defaultProps 的类型安全

来源:remotion-dev/skills, remotion.dev

相关技能