Communitygithub.com

remotion-video

用 Remotion 将创意转化为带旁白的竖屏短视频(1080x1920 MP4)。自动编写脚本、使用 ElevenLabs 生成语音和单词时间轴,并渲染包含五种场景类型、逐字字幕和唇形同步吉祥物的初始项目。

remotion-video 是什么?

remotion-video 是一款专为内容创作者和开发者设计的 AI 技能,能够将简单的文字创意自动生成完整的竖屏短视频(1080x1920 MP4)。它集成 Remotion 作为渲染引擎,ElevenLabs 提供高质量的语音合成与单词级时间轴,支持五种内置场景类型(如钩子、要点、数据统计、图表和行动号召),以及逐字字幕和唇形同步的吉祥物动画。用户只需描述主题、目标受众和频道名称,技能即可自动撰写脚本、创建项目结构、生成语音文件并最终渲染视频。该技能支持编辑脚本中的颜色、字体、语音、布局和场景类型,但需要 Node 24、Python 3 和 ffmpeg 8 环境,以及有效的 ElevenLabs API Key。适用于快速制作社交媒体短视频(如 Shorts、Reels、TikTok)、教程或产品介绍视频,其渲染结果基于帧函数驱动,确保并行渲染的正确性。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/anujkapoor-arch/video-skills/tree/HEAD/skills/remotion-video

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

remotion-video 是做什么的?

你接收用户的想法,并返回一个 MP4 文件。本文件旁边的工具套件负责繁重的工作:kit/new-video.sh 创建项目,narrate.py 将脚本转换为音频和时间轴,Remotion 项目负责渲染。

如果此文件旁边没有 kit 文件夹,则表示技能被复制时未包含该工具套件。请克隆 https://github.com/anujkapoor-arch/video-skills 并使用其中的 kit 文件夹。

开始之前

请检查以下条件,若缺少任何一项则停止并给出清晰提示:

  • node --version、python3 --version、ffmpeg -version。该工具套件已在 Node 24、Python 3 和 ffmpeg 8 上测试通过。
  • 环境变量 ELEVENLABS_API_KEY,或者用户准备将其放入项目的 .env 文件中。没有静默模式或免费模式。切勿打印密钥或将其提交到代码库。
  • Remotion 许可证。对于个人及员工不超过 3 人的公司免费。较大公司需要付费的公司许可证 (remotion.dev/docs/license)。向用户说明一次。如果 Remotion 不符合要求,请使用 revideo-video 技能,它采用 MIT 许可证。

步骤

1. 将创意整理成脚本

仅询问你无法推断的信息:主题、目标受众、频道名称。然后自行编写脚本。

  • 4 到 7 个场景,总时长 20 到 45 秒。人们大约每秒说 2.5 个单词。
  • 以 hook 开头,以 cta 结尾。中间使用 points、stat 和 bars 类型。
  • 每个 say 是一到两个短句,适合口语表达。数字用文字拼写。
  • 屏幕上的每个数字都需要用户提供或你能指明的来源。如果没有,请询问。切勿编造统计数据。
  • 为每个项目选择一个提示词 (at),使视觉效果与口语单词同步。

完整字段列表请参见 kit/common/SCRIPT.md。编写脚本前请先阅读。

2. 创建项目

<此技能文件夹>/kit/new-video.sh remotion <新文件夹>
cd <新文件夹>
npm install

npm install 大约需要 20 秒。首次渲染时还会下载 Chrome Headless Shell(约 470 MB)到 node_modules。

3. 编写 script.json,检查,然后支付语音费用

将示例 script.json 替换为用户脚本,然后:

python3 narrate.py --check    # 验证并打印字符数,不调用 API

向用户展示台词和字符数,并在执行下一条命令前获取确认。ElevenLabs 按字符收费。

python3 narrate.py            # 写入 public/narration.wav 和 src/spec.json

它会打印每个场景的起始时间和长度。台词缓存在 .tts-cache/ 中,因此编辑后重新运行仅对修改的台词收费。

4. 全量渲染前检查静态帧

渲染一帧大约需要 4 秒;全量渲染时间约等于视频时长。

npx remotion still src/index.ts Video out/check.png --frame=150

帧数 = 秒数 x 30。在每个场景中,在其最后一个提示词后约一秒处渲染一帧静态图,并逐一检查。确保文字适合卡片,没有任何内容遮挡字幕或吉祥物,并且重要内容不在 y=1620 以下(Shorts / Reels 的 UI 会覆盖该区域)。

5. 渲染

npm run render                # -> out/video.mp4
npm run studio                # 可选:带时间轴和热重载的预览

6. 报告

对文件运行 ffprobe,告知用户视频时长、文件大小及存储位置。说明你已检查的内容(静态帧)和未检查的内容(无法听到音频或观看动态)。请用户带上声音观看一次。

修改内容

要修改的内容编辑位置
颜色、频道名称、页脚、字幕开关、吉祥物开关script.json,然后 python3 narrate.py(免费,音频已缓存)
语音script.json 中的 voice.id 或 ELEVENLABS_VOICE_ID。更换语音会重新对每一行收费。
字体将 .ttf 文件放入 public/fonts,在 src/fonts.ts 中列出,在 src/util.ts 中更改 FONT
场景类型的布局其在 src/scenes.tsx 中的组件
页眉、卡片、字幕、气泡、五彩纸屑src/Video.tsx
吉祥物src/Mascot.tsx

添加场景类型

  1. 在 src/scenes.tsx 中编写一个组件,接受 {s: Scene} 并将其内容包裹在 <Layer s={s}> 中。
  2. 将其添加到该文件底部的 KINDS 数组和 src/util.ts 中的 kind 联合类型。
  3. 在 narrate.py 的 KINDS 中添加该类型及其所需字段。

更换吉祥物

将角色的 SVG 以 JSX 形式移植到 src/Mascot.tsx。不要加载 .svg 文件。保持每帧驱动的五个部分:根据 open 的嘴部高度、根据 blink 的眼睛 scaleY、瞳孔偏移、眉毛偏移以及一个可以旋转的头部组。如果后续 SVG 发生更改,则需要重新移植。

确保 Remotion 渲染正确的规则

  • 屏幕上的所有内容都是当前帧的函数。不使用 useState、CSS 过渡、setTimeout、Math.random()。Remotion 会并行且无序地渲染帧,因此任何带有记忆状态的代码都会出错。请使用 remotion 中的 random(seed)。
  • 所有时间来自 spec.json。切勿硬编码秒数。读取 s.start、item.t 或单词的 t,这样更换旁白后无需更改代码即可重新调整视频时间。
  • 字体在 src/fonts.ts 中通过 delayRender 加载。否则可能在字体准备就绪前捕获帧。
  • 浏览器在渲染时加载的文件(音频、字体、图片)存放在 public/ 中,并通过 staticFile() 引用。
  • HTML 会换行长文本,但不会缩放文本。初始项目根据字符数选择字体大小。如果你添加文本,请执行相同操作,否则文本将溢出卡片。
  • 弹簧动画使用 spring({frame: frame - at * fps, fps, config})。util.ts 中的 pop() 辅助函数对其进行了封装。
  • 唇形同步来自单词时间轴(util.ts 中的 mouthOpen),无需音频分析。
  • 视频长度向上取整到整帧,因此 MP4 可能比 spec.total 长最多 1/30 秒。

来自测试机器(Apple M2,8 GB RAM)的数据

  • 25 秒视频:渲染耗时 26.5 秒,文件大小 4.9 MB。
  • node_modules:安装后约 240 MB,首次渲染后约 950 MB(包括 Chrome Headless Shell 和 webpack 缓存)。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相关技能