このスキルがアクティブになったら、最初の応答は常に:speaker: 絵文字で始めてください。
ビデオオーディオデザイン
ビデオオーディオデザインとは、プログラム動画のコンポジションにナレーション、効果音、背景音楽をレイヤリングする実践です。優れたオーディオは、スライドデッキ形式の動画を洗練されたプロダクションに変えます。ナレーションは視聴者を導き、音楽は感情的なトーンを設定し、効果音は重要な瞬間を強調します。このスキルでは、ElevenLabsやその他のTTSプロバイダーを使用した音声生成、FFmpegを使用したシンセサイズ効果音の作成、ロイヤリティフリーの背景音楽の調達、音声が明瞭に聞こえるようにするオーディオダッキングの実装、そしてRemotionコンポジション内でフレーム精度のタイミングですべてのレイヤーをミックスする方法をカバーします。
このスキルを使用するタイミング
以下の場合にこのスキルを起動します。
- プログラム動画にナレーションや音声解説を追加したい場合
- ElevenLabs、OpenAI TTS、Edge TTSを使用して音声を生成する必要がある場合
- 音声の選択、音声設定、音声クローンについて質問された場合
- 背景音楽を追加したい、またはロイヤリティフリーの音楽ソースが必要な場合
- プログラムで効果音を作成する方法について質問された場合
- オーディオダッキング(音声中は音楽の音量を下げる)を実装したい場合
- Remotionで複数のオーディオレイヤーをミックスする必要がある場合
- オーディオのタイミング、音量レベル、フレームベースの音声同期について質問された場合
以下の場合にはこのスキルを起動しないでください。
- 動画のスクリプト作成やストーリーボード作成 - video-scriptwriting スキルを使用
- Remotionのコンポーネントアーキテクチャやレンダリング - remotion-video スキルを使用
- DAW(Ableton、Logic、Pro Tools)でのプロフェッショナルオーディオ制作
- 音楽作曲やMIDIプログラミング
主要な原則
-
レイヤードオーディオアーキテクチャ - すべての動画には3つのオーディオレイヤーがあります:ナレーションが最上位(最も大きい)、効果音が中間(アクセント用の音量)、背景音楽が最下位(最も小さい)。
-
ナレーションがタイミングを決定する - 最初にナレーションを生成し、その長さを測定してから、シーンのタイミングをそれに合わせて設定します。任意のシーン長にナレーションを無理に合わせないでください。
-
音声中は音楽をダッキングする - ナレーションが再生されている間、背景音楽は50-60%低下する必要があります。急激な変化を避けるために、スムーズなランプ(10-15フレーム)を使用してください。
-
効果音はアクセントであり、気を散らすものではない - 効果音は短く(0.5秒未満)、音量は控えめにし、画面上のアクションに関連するものにしてください。
-
コンテキスト内でオーディオをテストする - すべてのレイヤーを一緒に含むフルミックスを必ずプレビューしてください。不明瞭な音声、音量の急上昇、または無音の空白がないか確認してください。
コアコンセプト
3レイヤーオーディオアーキテクチャ
| レイヤー | 役割 | 基本音量 | ナレーション中 |
|---|---|---|---|
| ナレーション | 情報を伝え、ペースを決定する | 0.8-1.0 | N/A(最上位レイヤー) |
| 効果音 | トランジションやアクションを強調する | 0.3-0.5 | 0.3-0.5(変更なし) |
| 背景音楽 | 感情的なトーンを設定し、無音を埋める | 0.3-0.5 | 0.15-0.25(ダッキング) |
ElevenLabs APIモデル
ElevenLabsはREST APIを介してニューラルTTSを提供します。基本的なフロー:
- 音声を選択する(既成またはクローン) - それぞれに
voice_idがあります - テキストと音声設定を
/v1/text-to-speech/{voice_id}に送信する - 生のオーディオバイト(デフォルトはmp3)を受信する
- ファイルに書き込み、シーンのタイミングのために長さを測定する
音声設定:
| 設定 | 範囲 | 低い値 | 高い値 | 推奨値 |
|---|---|---|---|---|
| stability | 0-1 | より表現豊かで変動あり | より一貫性があり単調 | 0.4-0.6 |
| similarity_boost | 0-1 | より創造的 | 元の声に近い | 0.6-0.8 |
| style | 0-1 | ニュートラルな話し方 | 誇張されたスタイル | 0.3-0.6 |
オーディオダッキングの概念
オーディオダッキングは、ナレーションが始まると背景音楽の音量を下げ、ナレーションが終わると元に戻します。Remotionでは、interpolate()を使用します:
音楽音量: 0.4 ---\ /--- 0.4
\ /
0.15 \__________/
ナレーション開始 → 終了
ランプは10-15フレーム(30fpsで約0.3-0.5秒)かける必要があります。
Remotionでのフレームベースの音声同期
useCurrentFrame()は現在のフレーム番号を返しますinterpolate()はフレーム範囲を値範囲(例:音量)にマッピングします<Sequence from={frame}>は特定のフレームにオーディオを配置します<Audio volume={fn}>は静的な数値またはフレームごとの関数を受け入れます
秒をフレームに変換する:frames = seconds * fps
一般的なタスク
1. ElevenLabs APIキーの設定とナレーションの生成
import fs from 'fs';
const ELEVENLABS_API_URL = 'https://api.elevenlabs.io/v1';
async function generateNarration(
text: string,
voiceId: string,
outputPath: string
): Promise<void> {
const response = await fetch(
`${ELEVENLABS_API_URL}/text-to-speech/${voiceId}`,
{
method: 'POST',
headers: {
'Content-Type': 'application/json',
'xi-api-key': process.env.ELEVEN_LABS_API_KEY!,
},
body: JSON.stringify({
text,
model_id: 'eleven_multilingual_v2',
voice_settings: {
stability: 0.5,
similarity_boost: 0.75,
style: 0.5,
use_speaker_boost: true,
},
}),
}
);
if (!response.ok) {
const error = await response.text();
throw new Error(`ElevenLabs API error ${response.status}: ${error}`);
}
const buffer = Buffer.from(await response.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
2. 音声の選択と設定の構成
音声選択の質問:性別、年齢層、アクセント、エネルギーレベル、温かみ。
interface VoiceSettings {
stability: number;
similarity_boost: number;
style: number;
use_speaker_boost: boolean;
}
const presets: Record<string, VoiceSettings> = {
explainer: { stability: 0.6, similarity_boost: 0.75, style: 0.4, use_speaker_boost: true },
promo: { stability: 0.3, similarity_boost: 0.7, style: 0.7, use_speaker_boost: true },
tutorial: { stability: 0.7, similarity_boost: 0.8, style: 0.2, use_speaker_boost: false },
};
3. スクリプトからシーンごとにナレーションを生成
import { execSync } from 'child_process';
import path from 'path';
interface Scene { id: string; narrationText: string; }
interface SceneWithAudio extends Scene {
audioPath: string;
durationMs: number;
durationFrames: number;
}
function getAudioDurationMs(filePath: string): number {
const output = execSync(
`ffprobe -v error -show_entries format=duration -of csv=p=0 "${filePath}"`
).toString().trim();
return Math.round(parseFloat(output) * 1000);
}
async function generateSceneNarrations(
scenes: Scene[], voiceId: string, outputDir: string, fps: number
): Promise<SceneWithAudio[]> {
const results: SceneWithAudio[] = [];
for (const scene of scenes) {
const audioPath = path.join(outputDir, `${scene.id}.mp3`);
await generateNarration(scene.narrationText, voiceId, audioPath);
const durationMs = getAudioDurationMs(audioPath);
results.push({
...scene, audioPath, durationMs,
durationFrames: Math.ceil((durationMs / 1000) * fps),
});
}
return results;
}
4. 背景音楽の調達
ロイヤリティフリーの音楽ソース:
- Pixabay Audio: https://pixabay.com/music/ (無料、帰属表示不要)
- Freesound: https://freesound.org/ (CC0/CC-BY)
- YouTube Audio Library: YouTube Studioからダウンロード
- ローカルファイル: Remotionの
staticFile()のためにpublic/audio/に配置
5. FFmpegで効果音を生成
# クリック音 - 短いサイン波バースト
ffmpeg -f lavfi -i "sine=frequency=800:duration=0.05" \
-af "afade=t=out:st=0.02:d=0.03" click.wav
# キーボードタイピング音 - フィルターされたノイズバースト
ffmpeg -f lavfi -i "anoisesrc=d=0.08:c=white:a=0.3" \
-af "highpass=f=2000,lowpass=f=8000,afade=t=out:st=0.04:d=0.04" type.wav
# ウーッシュ音 - 周波数スイープ
ffmpeg -f lavfi -i "sine=frequency=200:duration=0.4" \
-af "vibrato=f=8:d=0.5,afade=t=in:d=0.1,afade=t=out:st=0.2:d=0.2,lowpass=f=1000" \
whoosh.wav
# ディング/チャイム - ベル合成
ffmpeg -f lavfi -i "sine=frequency=1200:duration=0.6" \
-af "afade=t=out:st=0.1:d=0.5,aecho=0.8:0.88:40:0.4" ding.wav
# ポップ音 - インパルス
ffmpeg -f lavfi -i "sine=frequency=400:duration=0.08" \
-af "afade=t=out:st=0.02:d=0.06,lowpass=f=600" pop.wav
# トランジションのスウッシュ
ffmpeg -f lavfi -i "sine=frequency=300:duration=0.3" \
-af "vibrato=f=12:d=0.8,afade=t=in:d=0.05,afade=t=out:st=0.15:d=0.15,bandpass=f=500:w=400" \
swoosh.wav
6. Remotionでオーディオダッキングを実装
import React from 'react';
import { Audio, useCurrentFrame, interpolate, Sequence } from 'remotion';
const AudioMixer: React.FC<{
narrationSrc: string;
musicSrc: string;
narrationStart: number;
narrationDuration: number;
}> = ({ narrationSrc, musicSrc, narrationStart, narrationDuration }) => {
const frame = useCurrentFrame();
const duckRampFrames = 10;
const musicVolume = interpolate(
frame,
[
narrationStart - duckRampFrames,
narrationStart,
narrationStart + narrationDuration,
narrationStart + narrationDuration + duckRampFrames,
],
[0.4, 0.15, 0.15, 0.4],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
return (
<>
<Audio src={musicSrc} volume={musicVolume} />
<Sequence from={narrationStart} durationInFrames={narrationDuration}>
<Audio src={narrationSrc} volume={0.9} />
</Sequence>
</>
);
};
export default AudioMixer;
7. Remotionコンポジションで3つのオーディオレイヤーをミックス
import React from 'react';
import { Audio, Sequence, useCurrentFrame, interpolate } from 'remotion';
interface NarrationSegment { src: string; startFrame: number; durationFrames: number; }
interface SfxEvent { src: string; frame: number; }
const FullAudioMix: React.FC<{
narrations: NarrationSegment[];
sfxEvents: SfxEvent[];
musicSrc: string;
}> = ({ narrations, sfxEvents, musicSrc }) => {
const frame = useCurrentFrame();
const duckRamp = 10;
let musicVolume = 0.4;
for (const seg of narrations) {
const duck = interpolate(
frame,
[seg.startFrame - duckRamp, seg.startFrame,
seg.startFrame + seg.durationFrames, seg.startFrame + seg.durationFrames + duckRamp],
[1, 0.375, 0.375, 1],
{ extrapolateLeft: 'clamp', extrapolateRight: 'clamp' }
);
musicVolume = musicVolume * duck;
}
return (
<>
<Audio src={musicSrc} volume={musicVolume} loop />
{sfxEvents.map((sfx, i) => (
<Sequence key={i} from={sfx.frame} durationInFrames={30}>
<Audio src={sfx.src} volume={0.4} />
</Sequence>
))}
{narrations.map((seg, i) => (
<Sequence key={i} from={seg.startFrame} durationInFrames={seg.durationFrames}>
<Audio src={seg.src} volume={0.9} />
</Sequence>
))}
</>
);
};
export default FullAudioMix;
8. 代替TTSプロバイダーの使用
OpenAI TTS - 高品質、シンプルなAPI、6つの組み込み音声:
import OpenAI from 'openai';
import fs from 'fs';
const openai = new OpenAI();
async function generateWithOpenAI(
text: string,
outputPath: string,
voice: 'alloy' | 'echo' | 'fable' | 'onyx' | 'nova' | 'shimmer' = 'alloy'
): Promise<void> {
const mp3 = await openai.audio.speech.create({
model: 'tts-1-hd',
voice,
input: text,
});
const buffer = Buffer.from(await mp3.arrayBuffer());
fs.writeFileSync(outputPath, buffer);
}
Edge TTS - 無料、多くの音声、Microsoft EdgeのTTSサービスを使用:
pip install edge-tts
edge-tts --voice en-US-AriaNeural --text "Hello world" --write-media output.mp3
edge-tts --list-voices
アンチパターン / よくある間違い
| 間違い | なぜ間違っているのか | 代わりに何をすべきか |
|---|---|---|
| ナレーション中も音楽の音量を同じにする | 音声が聞き取りにくくなる | オーディオダッキングを実装 - 音声中は音楽を50-60%下げる |
| ElevenLabs APIキーをハードコーディングする | キーがバージョン管理に漏洩する | 環境変数を使用:process.env.ELEVEN_LABS_API_KEY |
| 長さを測定せずにTTSを使用する | シーンのタイミングが合わず、ナレーションが切れる | 生成後にffprobeでオーディオの長さを測定する |
| 効果音がナレーションより大きい | コンテンツから注意をそらす | 効果音は0.3-0.5、ナレーションは0.8-1.0に設定 |
| 音楽の開始/終了にフェードがない | 突然の開始/停止はバグのように聞こえる | 開始と終了に0.5-1秒のフェードイン/アウトを追加する |
| 低品質のTTSモデルを使用する | ロボットのような声が品質を損なう | eleven_multilingual_v2 または tts-1-hd を使用する |
| オーディオファイル形式を無視する | 一部の形式は無音のパディングを追加する | ナレーションにはMP3、効果音にはWAVを使用する |
注意点
-
ElevenLabsのレート制限と文字クォータ - 無料ティアには月間文字数制限があります。生成されたオーディオを積極的にキャッシュし、テキストが変更された場合のみ再生成してください。テキストのハッシュをキャッシュキーとして使用します。
-
MP3エンコーダのパディングにより無音が追加される - MP3ファイルの先頭には20-50msの無音が含まれることがよくあります。
ffmpeg -af silenceremove=1:0:-50dBでトリムするか、フレームタイミングでオフセットを考慮してください。 -
RemotionのAudioボリュームはコンポーネント単位であり、グローバルではない - ボリューム1.0の2つの
<Audio>コンポーネントがクリッピングを起こす可能性があります。同時に再生されるレイヤー全体の合計音量を1.0未満に保ってください。 -
FFmpegの効果音はシステムによって異なる - マシン間で一貫した出力を得るために、常に
-ar 44100 -sample_fmt s16を指定してください。 -
シーン間の音声の一貫性 - ElevenLabsは、同じ設定でもテキストが異なると異なるトーンを生成することがあります。複数シーンのナレーションにはstability >= 0.5を使用してください。
参考資料
特定のオーディオサブドメインの詳細なパターンについては、references/フォルダーから関連ファイルを読んでください:
references/elevenlabs-api.md- 音声クローン、ストリーミングTTS、WebSocket API、発音辞書、クォータ管理を含む高度なElevenLabs APIパターンreferences/audio-mixing-patterns.md- マルチセグメントダッキング、シーン間のクロスフェード、ボリュームオートメーションカーブ、最終ミックスのマスタリングを含む高度なミキシングパターンreferences/sfx-generation.md- 複雑なシンセシス、複数ジェネレーターのレイヤリング、再利用可能なSFXライブラリの構築を含む、FFmpegを使用した包括的な効果音生成
現在のタスクに必要な場合にのみ参照ファイルをロードしてください。それらは長く、コンテキストを消費します。
コンパニオンチェック
最初のアクティベーション時に...