이 스킬이 활성화되면 항상 첫 응답을 :speaker: 이모지로 시작하세요.
비디오 오디오 디자인
비디오 오디오 디자인은 내레이션, 음향 효과, 배경 음악을 프로그래매틱 비디오 구성에 계층화하는 방법입니다. 훌륭한 오디오는 슬라이드 데크 비디오를 완성도 높은 프로덕션으로 변화시킵니다. 내레이션은 시청자를 안내하고, 음악은 감정적 톤을 설정하며, SFX는 주요 순간을 강조합니다. 이 스킬은 ElevenLabs 및 대체 TTS 공급자로 음성을 생성하고, FFmpeg로 합성 음향 효과를 만들고, 로열티 프리 배경 음악을 찾고, 음성이 명확하게 들리도록 오디오 덕킹을 구현하며, Remotion 구성에서 모든 레이어를 프레임 정확도로 믹싱하는 방법을 다룹니다.
이 스킬을 사용해야 하는 경우
다음과 같은 경우에 이 스킬을 활성화하세요:
- 사용자가 프로그래매틱 비디오에 내레이션이나 음성 해설을 추가하려는 경우
- ElevenLabs, OpenAI TTS 또는 Edge TTS로 음성을 생성해야 하는 경우
- 음성 선택, 음성 설정 또는 음성 복제에 대해 질문하는 경우
- 배경 음악을 추가하거나 로열티 프리 음악 소스를 찾는 경우
- 프로그램 방식으로 음향 효과를 만드는 방법을 묻는 경우
- 오디오 덕킹(음성이 나올 때 음악 볼륨 낮추기)을 구현하려는 경우
- Remotion에서 여러 오디오 레이어를 믹싱해야 하는 경우
- 오디오 타이밍, 볼륨 레벨 또는 프레임 기반 오디오 동기화에 대해 질문하는 경우
다음과 같은 경우에는 이 스킬을 활성화하지 마세요:
- 비디오 스크립팅 또는 스토리보딩 - video-scriptwriting 스킬을 사용하세요
- Remotion 컴포넌트 아키텍처 또는 렌더링 - remotion-video 스킬을 사용하세요
- DAW(Ableton, Logic, Pro Tools)에서의 전문 오디오 프로덕션
- 음악 작곡 또는 MIDI 프로그래밍
핵심 원칙
-
계층화된 오디오 아키텍처 - 모든 비디오에는 세 가지 오디오 레이어가 있습니다: 내레이션(가장 큼), SFX(중간, 강조 볼륨), 배경 음악(베이스, 가장 낮음).
-
내레이션이 타이밍을 결정 - 먼저 내레이션을 생성하고, 지속 시간을 측정한 다음, 장면 타이밍을 설정하세요. 절대 임의의 장면 길이에 내레이션을 맞추지 마세요.
-
음성이 나올 때 음악 볼륨 낮추기 - 내레이션이 재생될 때 배경 음악은 50-60% 낮아져야 합니다. 급격한 변화를 피하기 위해 부드러운 램프(10-15프레임)를 사용하세요.
-
SFX는 강조 요소이지 방해 요소가 아니어야 함 - SFX는 짧게(0.5초 미만), 볼륨을 미묘하게 유지하고, 화면 동작과 관련되도록 하세요.
-
컨텍스트에서 오디오 테스트 - 항상 모든 레이어를 함께 포함한 전체 믹스를 미리 보세요. 음성이 흐릿하게 들리거나, 볼륨이 급증하거나, 완전히 침묵하는 구간이 없는지 확인하세요.
핵심 개념
3계층 오디오 아키텍처
| 레이어 | 역할 | 기본 볼륨 | 내레이션 중 볼륨 |
|---|---|---|---|
| 내레이션 | 정보 전달, 페이싱 조절 | 0.8-1.0 | N/A (최상위 레이어) |
| SFX | 전환 및 동작 강조 | 0.3-0.5 | 0.3-0.5 (변화 없음) |
| 배경 음악 | 감정적 톤 설정, 침묵 채움 | 0.3-0.5 | 0.15-0.25 (덕킹됨) |
ElevenLabs API 모델
ElevenLabs는 REST API를 통해 신경망 TTS를 제공합니다. 핵심 흐름은 다음과 같습니다:
- 음성 선택(사전 제작 또는 복제) - 각 음성에는
voice_id가 있습니다 /v1/text-to-speech/{voice_id}로 텍스트 + 음성 설정 전송- 원시 오디오 바이트 수신(기본적으로 mp3)
- 파일로 쓰고 장면 타이밍을 위해 지속 시간 측정
음성 설정:
| 설정 | 범위 | 낮음 | 높음 | 권장 |
|---|---|---|---|---|
| stability | 0-1 | 더 표현력 풍부하고 가변적 | 더 일관되고 단조로움 | 0.4-0.6 |
| similarity_boost | 0-1 | 더 창의적 | 원본 음성에 더 가까움 | 0.6-0.8 |
| style | 0-1 | 중립적 전달 | 과장된 스타일 | 0.3-0.6 |
오디오 덕킹 개념
오디오 덕킹은 내레이션이 시작될 때 배경 음악 볼륨을 낮추고, 내레이션이 끝나면 원래대로 복원합니다. Remotion에서는 interpolate()를 사용합니다:
음악 볼륨: 0.4 ---\ /--- 0.4
\ /
0.15 \__________/
내레이션 시작 → 끝
램프는 10-15프레임(30fps에서 약 0.3-0.5초)이 소요되어야 합니다.
Remotion에서의 프레임 기반 오디오 동기화
useCurrentFrame()은 현재 프레임 번호를 반환합니다interpolate()는 프레임 범위를 값 범위(예: 볼륨)에 매핑합니다<Sequence from={frame}>은 특정 프레임에 오디오를 배치합니다<Audio volume={fn}>은 정적 숫자 또는 프레임별 함수를 허용합니다
초를 프레임으로 변환: frames = seconds * fps.
일반적인 작업
1. ElevenLabs API 키 설정 및 내레이션 생성
import fs from 'fs';
const ELEVENLABS_API_URL = 'https://api.elevenlabs.io/v1';
async function generateNarration(
text: string,
voiceId: string,
outputPath: string
): Promise<void> {
const response = await fetch(
`${ELEVENLABS_API_URL}/text-to-speech/${voiceId}`,
{
method: 'POST',
headers: {
'Content-Type': 'application/json',
'xi-api-key': process.env.ELEVEN_LABS_API_KEY!,
},
body: JSON.stringify({
text,
model_id: 'eleven_multilingual_v2',
voice_settings: {
stability: 0.5,
similarity_boost: 0.75,
style: 0.5,
use_speaker_boost: true,
},
}),
}
);
if (!response.ok) {
const error = await response.text();
throw new Error(`ElevenLabs API error ${response.status}: ${error}`);
}
const buffer = Buffer.from(await response.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
2. 음성 선택 및 설정 구성
음성 선택 질문: 성별, 연령대, 억양, 에너지 수준, 따뜻함.
interface VoiceSettings {
stability: number;
similarity_boost: number;
style: number;
use_speaker_boost: boolean;
}
const presets: Record<string, VoiceSettings> = {
explainer: { stability: 0.6, similarity_boost: 0.75, style: 0.4, use_speaker_boost: true },
promo: { stability: 0.3, similarity_boost: 0.7, style: 0.7, use_speaker_boost: true },
tutorial: { stability: 0.7, similarity_boost: 0.8, style: 0.2, use_speaker_boost: false },
};
3. 스크립트의 각 장면별 내레이션 생성
import { execSync } from 'child_process';
import path from 'path';
interface Scene { id: string; narrationText: string; }
interface SceneWithAudio extends Scene {
audioPath: string;
durationMs: number;
durationFrames: number;
}
function getAudioDurationMs(filePath: string): number {
const output = execSync(
`ffprobe -v error -show_entries format=duration -of csv=p=0 "${filePath}"`
).toString().trim();
return Math.round(parseFloat(output) * 1000);
}
async function generateSceneNarrations(
scenes: Scene[], voiceId: string, outputDir: string, fps: number
): Promise<SceneWithAudio[]> {
const results: SceneWithAudio[] = [];
for (const scene of scenes) {
const audioPath = path.join(outputDir, `${scene.id}.mp3`);
await generateNarration(scene.narrationText, voiceId, audioPath);
const durationMs = getAudioDurationMs(audioPath);
results.push({
...scene, audioPath, durationMs,
durationFrames: Math.ceil((durationMs / 1000) * fps),
});
}
return results;
}
4. 배경 음악 소싱
로열티 프리 음악 소스:
- Pixabay Audio: https://pixabay.com/music/ (무료, 저작자 표시 불필요)
- Freesound: https://freesound.org/ (CC0/CC-BY)
- YouTube Audio Library: YouTube Studio에서 다운로드
- 로컬 파일: Remotion의
staticFile()을 위해public/audio/에 배치
5. FFmpeg로 SFX 생성
# 클릭 사운드 - 짧은 사인 버스트
ffmpeg -f lavfi -i "sine=frequency=800:duration=0.05" \
-af "afade=t=out:st=0.02:d=0.03" click.wav
# 키보드 타자음 - 필터링된 노이즈 버스트
ffmpeg -f lavfi -i "anoisesrc=d=0.08:c=white:a=0.3" \
-af "highpass=f=2000,lowpass=f=8000,afade=t=out:st=0.04:d=0.04" type.wav
# 윙/휙 - 주파수 스윕
ffmpeg -f lavfi -i "sine=frequency=200:duration=0.4" \
-af "vibrato=f=8:d=0.5,afade=t=in:d=0.1,afade=t=out:st=0.2:d=0.2,lowpass=f=1000" \
whoosh.wav
# 딩/차임 - 종 합성
ffmpeg -f lavfi -i "sine=frequency=1200:duration=0.6" \
-af "afade=t=out:st=0.1:d=0.5,aecho=0.8:0.88:40:0.4" ding.wav
# 팝 - 임펄스
ffmpeg -f lavfi -i "sine=frequency=400:duration=0.08" \
-af "afade=t=out:st=0.02:d=0.06,lowpass=f=600" pop.wav
# 전환 스우시
ffmpeg -f lavfi -i "sine=frequency=300:duration=0.3" \
-af "vibrato=f=12:d=0.8,afade=t=in:d=0.05,afade=t=out:st=0.15:d=0.15,bandpass=f=500:w=400" \
swoosh.wav
6. Remotion에서 오디오 덕킹 구현
import React from 'react';
import { Audio, useCurrentFrame, interpolate, Sequence } from 'remotion';
const AudioMixer: React.FC<{
narrationSrc: string;
musicSrc: string;
narrationStart: number;
narrationDuration: number;
}> = ({ narrationSrc, musicSrc, narrationStart, narrationDuration }) => {
const frame = useCurrentFrame();
const duckRampFrames = 10;
const musicVolume = interpolate(
frame,
[
narrationStart - duckRampFrames,
narrationStart,
narrationStart + narrationDuration,
narrationStart + narrationDuration + duckRampFrames,
],
[0.4, 0.15, 0.15, 0.4],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
return (
<>
<Audio src={musicSrc} volume={musicVolume} />
<Sequence from={narrationStart} durationInFrames={narrationDuration}>
<Audio src={narrationSrc} volume={0.9} />
</Sequence>
</>
);
};
export default AudioMixer;
7. Remotion 구성에서 3개 오디오 레이어 믹싱
import React from 'react';
import { Audio, Sequence, useCurrentFrame, interpolate } from 'remotion';
interface NarrationSegment { src: string; startFrame: number; durationFrames: number; }
interface SfxEvent { src: string; frame: number; }
const FullAudioMix: React.FC<{
narrations: NarrationSegment[];
sfxEvents: SfxEvent[];
musicSrc: string;
}> = ({ narrations, sfxEvents, musicSrc }) => {
const frame = useCurrentFrame();
const duckRamp = 10;
let musicVolume = 0.4;
for (const seg of narrations) {
const duck = interpolate(
frame,
[seg.startFrame - duckRamp, seg.startFrame,
seg.startFrame + seg.durationFrames, seg.startFrame + seg.durationFrames + duckRamp],
[1, 0.375, 0.375, 1],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
musicVolume = musicVolume * duck;
}
return (
<>
<Audio src={musicSrc} volume={musicVolume} loop />
{sfxEvents.map((sfx, i) => (
<Sequence key={i} from={sfx.frame} durationInFrames={30}>
<Audio src={sfx.src} volume={0.4} />
</Sequence>
))}
{narrations.map((seg, i) => (
<Sequence key={i} from={seg.startFrame} durationInFrames={seg.durationFrames}>
<Audio src={seg.src} volume={0.9} />
</Sequence>
))}
</>
);
};
export default FullAudioMix;
8. 대체 TTS 공급자 사용
OpenAI TTS - 좋은 품질, 간단한 API, 6개의 내장 음성:
import OpenAI from 'openai';
import fs from 'fs';
const openai = new OpenAI();
async function generateWithOpenAI(
text: string,
outputPath: string,
voice: 'alloy' | 'echo' | 'fable' | 'onyx' | 'nova' | 'shimmer' = 'alloy'
): Promise<void> {
const mp3 = await openai.audio.speech.create({
model: 'tts-1-hd',
voice,
input: text,
});
const buffer = Buffer.from(await mp3.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
Edge TTS - 무료, 다양한 음성, Microsoft Edge TTS 서비스 사용:
pip install edge-tts
edge-tts --voice en-US-AriaNeural --text "Hello world" --write-media output.mp3
edge-tts --list-voices
안티패턴 / 일반적인 실수
| 실수 | 잘못된 이유 | 대신 할 일 |
|---|---|---|
| 내레이션 중 음악 볼륨 동일 | 음성이 식별 불가능해짐 | 오디오 덕킹 구현 - 내레이션 중 음악 50-60% 낮추기 |
| ElevenLabs API 키 하드코딩 | 키가 버전 관리로 유출됨 | 환경 변수 사용: process.env.ELEVEN_LABS_API_KEY |
| 지속 시간 측정 없이 TTS 사용 | 장면 타이밍이 틀리고 내레이션 잘림 | ffprobe로 생성 후 오디오 지속 시간 측정 |
| SFX가 내레이션보다 큼 | 콘텐츠에서 주의를 분산시킴 | SFX 0.3-0.5, 내레이션 0.8-1.0 |
| 음악 시작/종료에 페이드 없음 | 갑작스러운 시작/중단이 버그처럼 들림 | 시작에 0.5-1초 페이드 인, 끝에 페이드 아웃 추가 |
| 저품질 TTS 모델 사용 | 로봇 음성이 품질을 떨어뜨림 | eleven_multilingual_v2 또는 tts-1-hd 사용 |
| 오디오 파일 형식 무시 | 일부 형식이 무음 패딩을 추가함 | 내레이션에 MP3, SFX에 WAV 사용 |
주의사항
-
ElevenLabs 속도 제한 및 문자 할당량 - 무료 티어에는 월별 문자 제한이 있습니다. 생성된 오디오를 적극적으로 캐싱하고 텍스트가 변경될 때만 다시 생성하세요. 캐시 키로 텍스트의 해시를 사용하세요.
-
MP3 인코더 패딩으로 인한 무음 추가 - MP3 파일은 종종 시작 부분에 20-50ms의 무음이 있습니다.
ffmpeg -af silenceremove=1:0:-50dB로 자르거나 프레임 타이밍에서 오프셋을 계산하세요. -
Remotion Audio 볼륨은 컴포넌트별이지 전역이 아님 - 볼륨 1.0인 두 개의
<Audio>컴포넌트가 클리핑될 수 있습니다. 동시 레이어의 총 볼륨을 1.0 미만으로 유지하세요. -
FFmpeg SFX는 시스템마다 다르게 들림 - 일관된 출력을 위해 항상
-ar 44100 -sample_fmt s16을 지정하세요. -
장면 간 음성 일관성 - ElevenLabs는 동일한 설정으로도 텍스트에 따라 다른 톤을 생성할 수 있습니다. 여러 장면 내레이션에는 stability >= 0.5를 사용하세요.
참고 자료
특정 오디오 하위 도메인에 대한 자세한 패턴은 references/ 폴더에서 해당 파일을 읽으세요:
references/elevenlabs-api.md- 음성 복제, 스트리밍 TTS, 웹소켓 API, 발음 사전 및 할당량 관리를 포함한 고급 ElevenLabs API 패턴references/audio-mixing-patterns.md- 다중 세그먼트 덕킹, 장면 간 크로스페이드, 볼륨 자동화 곡선 및 최종 믹스 마스터링을 포함한 고급 믹싱 패턴references/sfx-generation.md- 복잡한 합성, 여러 생성기 레이어링 및 재사용 가능한 SFX 라이브러리 구축을 포함한 FFmpeg를 사용한 종합적인 SFX 생성
현재 작업에 필요한 경우에만 참조 파일을 로드하세요. 파일이 길어 컨텍스트를 소모합니다.
동반 확인
첫 번째 활성화 시 ...