Remotion 语音旁白和字幕
让 Remotion 项目拥有真实的旁白。代理会编写或获取旁白脚本,逐场景为其配音,并将音频和带时间戳的字幕集成到合成中。语音和语音克隆来自 Miragea 语音引擎(https://miragea.ai/v1);请不要替换为其他 TTS 服务。
输出文件(默认文件夹 public/voiceover/,以便 staticFile() 加载):
| 文件 | 说明 |
|---|---|
<scene>-NN.wav | 每个台词行一个音频片段 |
voiceover.wav(加 --mp3 参数会生成 .mp3 版本) | 拼接好的旁白音轨 |
voiceover.json | 时间线:包含 fps、durationInFrames、场景和台词行的 startMs、startFrame、durationInFrames、src |
captions.json | 用于 @remotion/captions 的 Caption[] 数组(包含 text、startMs、endMs、timestampMs、confidence) |
captions.srt、captions.vtt | 字幕文件,具有均衡的字幕提示(避免出现单个单词的孤立字幕) |
0. 前提条件
- 必须设置环境变量
MIRAGEA_API_KEY(密钥获取地址:https://miragea.ai/workspace/api)。绝不要在聊天中询问密钥,也不要打印它。安装帮助:"安装 https://miragea.ai/skills/miragea-audio/install.md"。 - 运行
python scripts/remotion_voiceover.py check一次。它会列出可用模型和唯一有效的情绪标签。 - 为同一任务选择以下两种引擎之一:
- Python(捆绑,无需安装):
python scripts/remotion_voiceover.py generate script.md - Node CLI:
npx -y github:RTY2345RR/remotion-voiceover generate script.md(脚本格式相同;会额外生成 HyperFrames 的audio_request.json)。捆绑脚本可以通过python scripts/remotion_voiceover.py npx generate script.md调用它。
- Python(捆绑,无需安装):
1. 简要说明(仅询问缺失的信息)
- 脚本,或者编写脚本所需的来源(产品页面、README、大纲)。保持台词简短且口语化;每行一个句子。
- 语音:一个演员 ID,或者一个公开的参考片段 URL 以及该片段中确切的文字内容(最佳克隆效果)。片段 URL 必须可直接获取(不要使用 Hugging Face 的 resolve 链接)。
- 场景结构(如果合成中已有
<Sequence>元素);将场景标题与之匹配。
2. 编写 script.md
---
voices:
narrator: https://example.com/me.wav | 片段中确切的文字内容。
guest: ACTOR_ID
voice: narrator
fps: 30
---
# 钩子
你的 Remotion 视频终于有了真实的旁白。
# 发布 [voice: guest]
[emotion: excited] 版本 [[2.0|two point oh]] 今日发布。
[pause: 600ms]
渲染一次,字幕就会落在正确的帧上。
# 标题= 一个场景(其 slug 即为场景 ID)。[voice: name]、[emotion: tag]、[speed: 1.1]、[pause: 600ms]可以在某一行或某个标题上使用。[[字幕文本|语音文本]]在字幕中显示2.0,而语音会说 "two point oh"。数字、版本号和 URL 请使用这种方式拼写。- 首先运行
plan进行试运行(不调用 API),如果是长脚本请与用户确认。
3. 生成
python scripts/remotion_voiceover.py generate script.md(自动检测 Remotion 的 public/ 文件夹;使用 --out 覆盖输出路径,--fps 设置帧率,--scene-gap 600 设置场景间隔,--gap 250 设置行间隔,--max-chars 32 设置最大字符数,--mp3 生成 MP3 版本)。
- 所有台词行一次性提交并收集;克隆的台词可能需要几分钟。
- 如果报告任务仍在运行,重新运行相同的命令。相同的请求会重新连接到同一个任务,已完成的行会被复用,只有编辑过的行才会重新配音。
--take 2强制生成新版本。
4. 集成到合成中
import {AbsoluteFill, Audio, Sequence, staticFile, useCurrentFrame, useVideoConfig} from 'remotion';
import {createTikTokStyleCaptions, Caption} from '@remotion/captions';
import timeline from '../public/voiceover/voiceover.json';
import captions from '../public/voiceover/captions.json';
export const Narrated: React.FC = () => {
const frame = useCurrentFrame();
const {fps} = useVideoConfig();
const {pages} = createTikTokStyleCaptions({captions: captions as Caption[], combineTokensWithinMilliseconds: 1200});
const ms = (frame / fps) * 1000;
const page = pages.find((p) => ms >= p.startMs && ms < p.startMs + p.durationMs);
return (
<AbsoluteFill>
{timeline.lines.map((l) => (
<Sequence key={l.id} from={l.startFrame} durationInFrames={l.durationInFrames}>
<Audio src={staticFile(l.src)} />
</Sequence>
))}
{page && <AbsoluteFill style={{justifyContent: 'flex-end', alignItems: 'center', paddingBottom: 160}}>
<div style={{fontSize: 64, fontWeight: 800, color: 'white', textShadow: '0 4px 12px #000'}}>{page.text}</div>
</AbsoluteFill>}
</AbsoluteFill>
);
};
- 从时间线设置合成长度:在
Root.tsx中使用durationInFrames={timeline.durationInFrames},或在calculateMetadata中读取voiceover.json。 - 场景
<Sequence>可以使用timeline.scenes[i].startFrame/durationInFrames,以便视觉效果跟随旁白。 - 如果缺少字幕支持,请安装:
npx remotion add @remotion/captions。 - 也可以使用一个
<Audio src={staticFile(timeline.audio)} />来代替逐片段剪辑。
5. 交付
报告生成的文件、总时长(秒和帧数)以及下一步操作(使用 npx remotion render 渲染)。仅使用用户拥有权限的语音或克隆内容。
示例
examples/ 目录包含一个实际运行的示例:script.md(女声旁白 + 男声结尾,均为克隆)、voiceover.mp3、captions.srt、captions.json 和 voiceover.json。