当此技能被激活时,始终以 :speaker: 表情符号开始你的第一个回复。
视频音频设计
视频音频设计是将旁白、音效和背景音乐分层融入程序化视频合成的实践。出色的音频能将幻灯片式的视频转变为精美的制作——旁白引导观众,音乐设定情感基调,音效则强调关键时刻。本技能涵盖使用ElevenLabs及其他TTS提供商生成语音、用FFmpeg创建合成音效、获取免版税背景音乐、实现音频闪避以确保语音清晰,以及在Remotion合成中以帧级精度混合所有音频层。
何时使用此技能
在以下情况下触发此技能:
- 用户想要为程序化视频添加旁白或画外音
- 需要使用ElevenLabs、OpenAI TTS或Edge TTS生成语音
- 询问关于语音选择、语音设置或语音克隆
- 想要添加背景音乐或需要免版税音乐来源
- 询问如何程序化创建音效
- 想要实现音频闪避(在语音期间降低音乐音量)
- 需要在Remotion中混合多个音频层
- 询问关于音频时序、音量级别或基于帧的音频同步
在以下情况下不要触发此技能:
- 视频脚本编写或分镜——使用 video-scriptwriting 技能
- Remotion组件架构或渲染——使用 remotion-video 技能
- 在DAW(Ableton、Logic、Pro Tools)中的专业音频制作
- 音乐作曲或MIDI编程
关键原则
-
分层音频架构 - 每个视频都有三个音频层: 旁白在最上层(最大声),音效在中间(强调音量),背景音乐在最底层(最安静)。
-
旁白驱动时序 - 先生成旁白,测量其时长,然后设置场景时间以匹配。切勿将旁白强行放入任意场景长度中。
-
在语音期间闪避音乐 - 当旁白播放时,背景音乐必须降低50-60%。使用平滑的渐变(10-15帧)以避免突兀的跳变。
-
音效应作为强调而非干扰 - 保持音效简短(0.5秒以内),音量柔和,并与屏幕上的动作相关。
-
在上下文中测试音频 - 务必预览包含所有层的完整混音。留意听不清的语音、音量峰值或寂静无声。
核心概念
3层音频架构
| 层 | 作用 | 基础音量 | 旁白播放期间 |
|---|---|---|---|
| 旁白 | 传达信息,驱动节奏 | 0.8-1.0 | 不适用(顶层) |
| 音效 | 强调过渡和动作 | 0.3-0.5 | 0.3-0.5(不变) |
| 背景音乐 | 设定情感基调,填充静音 | 0.3-0.5 | 0.15-0.25(闪避) |
ElevenLabs API 模型
ElevenLabs通过REST API提供神经TTS。核心流程:
- 选择一个语音(预制或克隆的) - 每个语音都有一个
voice_id - 将文本 + 语音设置发送到
/v1/text-to-speech/{voice_id} - 接收原始音频字节(默认格式为mp3)
- 写入文件并测量时长以用于场景时序
语音设置:
| 设置 | 范围 | 低 | 高 | 推荐 |
|---|---|---|---|---|
| stability | 0-1 | 更具表现力,多变 | 更一致,单调 | 0.4-0.6 |
| similarity_boost | 0-1 | 更具创造性 | 更接近原声 | 0.6-0.8 |
| style | 0-1 | 中性表达 | 夸张风格 | 0.3-0.6 |
音频闪避概念
音频闪避在旁白开始时降低背景音乐音量,并在旁白结束时恢复。在Remotion中,使用 interpolate():
音乐音量: 0.4 ---\ /--- 0.4
\ /
0.15 \__________/
旁白开始 → 结束
渐变应占用10-15帧(在30fps下约0.3-0.5秒)。
Remotion中的基于帧的音频同步
useCurrentFrame()返回当前帧编号interpolate()将帧范围映射到值范围(例如音量)<Sequence from={frame}>将音频放置在特定帧处<Audio volume={fn}>接受一个静态数字或一个逐帧函数
将秒转换为帧:frames = seconds * fps。
常见任务
1. 设置ElevenLabs API密钥并生成旁白
import fs from 'fs';
const ELEVENLABS_API_URL = 'https://api.elevenlabs.io/v1';
async function generateNarration(
text: string,
voiceId: string,
outputPath: string
): Promise<void> {
const response = await fetch(
`${ELEVENLABS_API_URL}/text-to-speech/${voiceId}`,
{
method: 'POST',
headers: {
'Content-Type': 'application/json',
'xi-api-key': process.env.ELEVEN_LABS_API_KEY!,
},
body: JSON.stringify({
text,
model_id: 'eleven_multilingual_v2',
voice_settings: {
stability: 0.5,
similarity_boost: 0.75,
style: 0.5,
use_speaker_boost: true,
},
}),
}
);
if (!response.ok) {
const error = await response.text();
throw new Error(`ElevenLabs API error ${response.status}: ${error}`);
}
const buffer = Buffer.from(await response.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
2. 选择并配置语音设置
语音选择问题:性别、年龄范围、口音、精力水平、温暖度。
interface VoiceSettings {
stability: number;
similarity_boost: number;
style: number;
use_speaker_boost: boolean;
}
const presets: Record<string, VoiceSettings> = {
explainer: { stability: 0.6, similarity_boost: 0.75, style: 0.4, use_speaker_boost: true },
promo: { stability: 0.3, similarity_boost: 0.7, style: 0.7, use_speaker_boost: true },
tutorial: { stability: 0.7, similarity_boost: 0.8, style: 0.2, use_speaker_boost: false },
};
3. 根据脚本为每个场景生成旁白
import { execSync } from 'child_process';
import path from 'path';
interface Scene { id: string; narrationText: string; }
interface SceneWithAudio extends Scene {
audioPath: string;
durationMs: number;
durationFrames: number;
}
function getAudioDurationMs(filePath: string): number {
const output = execSync(
`ffprobe -v error -show_entries format=duration -of csv=p=0 "${filePath}"`
).toString().trim();
return Math.round(parseFloat(output) * 1000);
}
async function generateSceneNarrations(
scenes: Scene[], voiceId: string, outputDir: string, fps: number
): Promise<SceneWithAudio[]> {
const results: SceneWithAudio[] = [];
for (const scene of scenes) {
const audioPath = path.join(outputDir, `${scene.id}.mp3`);
await generateNarration(scene.narrationText, voiceId, audioPath);
const durationMs = getAudioDurationMs(audioPath);
results.push({
...scene, audioPath, durationMs,
durationFrames: Math.ceil((durationMs / 1000) * fps),
});
}
return results;
}
4. 获取背景音乐
免版税音乐来源:
- Pixabay Audio: https://pixabay.com/music/ (免费,无需署名)
- Freesound: https://freesound.org/ (CC0/CC-BY)
- YouTube Audio Library: 从YouTube Studio下载
- 本地文件: 放入
public/audio/目录以供Remotion的staticFile()使用
5. 使用FFmpeg生成音效
# 点击声 - 短正弦脉冲
ffmpeg -f lavfi -i "sine=frequency=800:duration=0.05" \
-af "afade=t=out:st=0.02:d=0.03" click.wav
# 键盘打字 - 滤波后的噪声脉冲
ffmpeg -f lavfi -i "anoisesrc=d=0.08:c=white:a=0.3" \
-af "highpass=f=2000,lowpass=f=8000,afade=t=out:st=0.04:d=0.04" type.wav
# 呼啸声 - 频率扫描
ffmpeg -f lavfi -i "sine=frequency=200:duration=0.4" \
-af "vibrato=f=8:d=0.5,afade=t=in:d=0.1,afade=t=out:st=0.2:d=0.2,lowpass=f=1000" \
whoosh.wav
# 叮当声 - 铃声合成
ffmpeg -f lavfi -i "sine=frequency=1200:duration=0.6" \
-af "afade=t=out:st=0.1:d=0.5,aecho=0.8:0.88:40:0.4" ding.wav
# 爆破声 - 脉冲
ffmpeg -f lavfi -i "sine=frequency=400:duration=0.08" \
-af "afade=t=out:st=0.02:d=0.06,lowpass=f=600" pop.wav
# 过渡嗖声
ffmpeg -f lavfi -i "sine=frequency=300:duration=0.3" \
-af "vibrato=f=12:d=0.8,afade=t=in:d=0.05,afade=t=out:st=0.15:d=0.15,bandpass=f=500:w=400" \
swoosh.wav
6. 在Remotion中实现音频闪避
import React from 'react';
import { Audio, useCurrentFrame, interpolate, Sequence } from 'remotion';
const AudioMixer: React.FC<{
narrationSrc: string;
musicSrc: string;
narrationStart: number;
narrationDuration: number;
}> = ({ narrationSrc, musicSrc, narrationStart, narrationDuration }) => {
const frame = useCurrentFrame();
const duckRampFrames = 10;
const musicVolume = interpolate(
frame,
[
narrationStart - duckRampFrames,
narrationStart,
narrationStart + narrationDuration,
narrationStart + narrationDuration + duckRampFrames,
],
[0.4, 0.15, 0.15, 0.4],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
return (
<>
<Audio src={musicSrc} volume={musicVolume} />
<Sequence from={narrationStart} durationInFrames={narrationDuration}>
<Audio src={narrationSrc} volume={0.9} />
</Sequence>
</>
);
};
export default AudioMixer;
7. 在Remotion合成中混合3个音频层
import React from 'react';
import { Audio, Sequence, useCurrentFrame, interpolate } from 'remotion';
interface NarrationSegment { src: string; startFrame: number; durationFrames: number; }
interface SfxEvent { src: string; frame: number; }
const FullAudioMix: React.FC<{
narrations: NarrationSegment[];
sfxEvents: SfxEvent[];
musicSrc: string;
}> = ({ narrations, sfxEvents, musicSrc }) => {
const frame = useCurrentFrame();
const duckRamp = 10;
let musicVolume = 0.4;
for (const seg of narrations) {
const duck = interpolate(
frame,
[seg.startFrame - duckRamp, seg.startFrame,
seg.startFrame + seg.durationFrames, seg.startFrame + seg.durationFrames + duckRamp],
[1, 0.375, 0.375, 1],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
musicVolume = musicVolume * duck;
}
return (
<>
<Audio src={musicSrc} volume={musicVolume} loop />
{sfxEvents.map((sfx, i) => (
<Sequence key={i} from={sfx.frame} durationInFrames={30}>
<Audio src={sfx.src} volume={0.4} />
</Sequence>
))}
{narrations.map((seg, i) => (
<Sequence key={i} from={seg.startFrame} durationInFrames={seg.durationFrames}>
<Audio src={seg.src} volume={0.9} />
</Sequence>
))}
</>
);
};
export default FullAudioMix;
8. 使用替代TTS提供商
OpenAI TTS - 质量好,API简单,六种内置语音:
import OpenAI from 'openai';
import fs from 'fs';
const openai = new OpenAI();
async function generateWithOpenAI(
text: string,
outputPath: string,
voice: 'alloy' | 'echo' | 'fable' | 'onyx' | 'nova' | 'shimmer' = 'alloy'
): Promise<void> {
const mp3 = await openai.audio.speech.create({
model: 'tts-1-hd',
voice,
input: text,
});
const buffer = Buffer.from(await mp3.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
Edge TTS - 免费,多种语音,使用Microsoft Edge的TTS服务:
pip install edge-tts
edge-tts --voice en-US-AriaNeural --text "Hello world" --write-media output.mp3
edge-tts --list-voices
反模式 / 常见错误
| 错误 | 为什么错误 | 应该怎么做 |
|---|---|---|
| 旁白播放期间音乐音量不变 | 语音变得难以听清 | 实现音频闪避 - 在语音期间将音乐音量降低50-60% |
| 硬编码ElevenLabs API密钥 | 密钥会泄露到版本控制中 | 使用环境变量:process.env.ELEVEN_LABS_API_KEY |
| 使用TTS而不测量时长 | 场景时间错误,旁白被切断 | 生成后使用ffprobe测量音频时长 |
| 音效比旁白更响 | 分散观众对内容的注意力 | 音效音量为0.3-0.5,旁白音量为0.8-1.0 |
| 音乐开始/结束没有淡入淡出 | 突然的开始/停止听起来像bug | 在开始处添加0.5-1秒淡入,在结束处添加淡出 |
| 使用低质量TTS模型 | 机械音质降低整体质量 | 使用eleven_multilingual_v2或tts-1-hd |
| 忽略音频文件格式 | 某些格式会添加静音填充 | 旁白使用MP3,音效使用WAV |
注意事项与陷阱
-
ElevenLabs速率限制和字符配额 - 免费套餐有月度字符限制。积极缓存生成的音频,仅在文本更改时重新生成。使用文本的哈希值作为缓存键。
-
MP3编码器填充会添加静音 - MP3文件开头通常有20-50ms的静音。使用
ffmpeg -af silenceremove=1:0:-50dB修剪,或者在帧时间中考虑此偏移。 -
Remotion Audio音量是组件级别的,而非全局的 - 两个音量为1.0的
<Audio>组件可能会削波。保持同时播放层的总音量低于1.0。 -
FFmpeg音效在不同系统上听起来不同 - 始终指定
-ar 44100 -sample_fmt s16以确保跨机器的输出一致。 -
跨场景的语音一致性 - 对于相同的设置和不同的文本,ElevenLabs可能产生不同的语调。对于多场景旁白,使用 stability >= 0.5。
参考
有关特定音频子领域的详细模式,请阅读 references/ 文件夹中的相关文件:
references/elevenlabs-api.md- 高级ElevenLabs API模式,包括语音克隆、流式TTS、WebSocket API、发音词典和配额管理references/audio-mixing-patterns.md- 高级混音模式,包括多段闪避、场景间的交叉淡入淡出、音量自动化曲线和最终混音的母带处理references/sfx-generation.md- 使用FFmpeg的综合音效生成,包括复杂合成、多层生成器以及构建可复用的音效库
仅当当前任务需要时才加载参考文件 - 它们很长且会消耗上下文。
伴侣检查
首次激活时...
… [为翻译截断]