ビデオ編集
AI による実際の素材の編集支援。プロンプトから生成するのではありません。既存のビデオを素早く編集します。
いつアクティブにするか
- ユーザーがビデオ素材を編集、カット、または構造化したい場合
- 長尺の録画をショート動画コンテンツに変換する場合
- 生の素材から Vlog、チュートリアル、またはデモ動画を構築する場合
- 既存のビデオにオーバーレイ、字幕、音楽、またはナレーションを追加する場合
- ビデオをさまざまなプラットフォーム(YouTube、TikTok、Instagram)向けにリフレーミングする場合
- ユーザーが「動画を編集」「この素材をカット」「Vlog を作成」「動画ワークフロー」と言った場合
核となる主張
AI ビデオ編集は、動画全体を作成するように要求するのをやめ、実際の素材の圧縮、構造化、および拡張に使用し始めたときに役立ちます。価値は生成にありません。価値は圧縮にあります。
パイプライン
Screen Studio / 生の素材
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript または CapCut
各レイヤーには特定の役割があります。レイヤーをスキップしないでください。1 つのツールにすべてをやらせようとしないでください。
レイヤー 1:キャプチャ(Screen Studio / 生の素材)
ソースマテリアルを収集します:
- Screen Studio:アプリのデモ、コーディングセッション、ブラウザワークフロー向けの美しい画面録画
- 生のカメラ素材:Vlog 素材、インタビュー、イベント録画
- VideoDB によるデスクトップキャプチャ:リアルタイムコンテキスト付きのセッション録画(
videodbスキルを参照)
出力:整理の準備ができた生のファイル。
レイヤー 2:整理(Claude / Codex)
Claude Code または Codex を使用して:
- 文字起こしとラベリング:文字起こしを生成し、トピックやテーマを特定する
- 構造の計画:何を残し、何をカットし、どの順序が適切かを決定する
- デッドスペースの特定:間、脱線、繰り返しのテイクを見つける
- 編集決定リストの生成:カットのタイムスタンプ、保持するセグメント
- FFmpeg および Remotion コードのスキャフォールディング:コマンドとコンポジションを生成する
例のプロンプト:
「これは 4 時間の録画の文字起こしです。24 分の Vlog に使える
最も強い 8 つのセグメントを見つけてください。各セグメントの FFmpeg カットコマンドを教えてください。」
このレイヤーは構造に関するものであり、最終的なクリエイティブなセンスに関するものではありません。
レイヤー 3:確定的なカット(FFmpeg)
FFmpeg は退屈だが重要な作業を処理します:分割、トリミング、結合、および前処理。
タイムスタンプによるセグメント抽出
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
編集決定リストからの一括カット
#!/bin/bash
# cuts.txt: start,end,label
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
セグメントの連結
# ファイルリストを作成
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
編集を高速化するためのプロキシファイルの作成
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
文字起こし用の音声抽出
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
オーディオレベルの正規化
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
レイヤー 4:プログラム可能な合成(Remotion)
Remotion は編集の問題を構成可能なコードに変換します。従来のエディタでは扱いにくいことに使用します:
いつ Remotion を使用するか
- オーバーレイ:テキスト、画像、ブランディング、ローワーサード
- データの可視化:グラフ、統計、アニメーションする数字
- モーショングラフィックス:トランジション、説明アニメーション
- 構成可能なシーン:複数のビデオで再利用可能なテンプレート
- プロダクトデモ:注釈付きスクリーンショット、UI ハイライト
基本的な Remotion コンポジション
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* メイン素材 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* タイトルオーバーレイ */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 編集スタック
</h1>
</AbsoluteFill>
</Sequence>
{/* 次のセグメント */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
出力のレンダリング
npx remotion render src/index.ts VlogComposition output.mp4
詳細なパターンと API リファレンスについては、Remotion ドキュメント を参照してください。
レイヤー 5:アセットの生成(ElevenLabs / fal.ai)
必要なものだけを生成します。ビデオ全体を生成しないでください。
ElevenLabs によるナレーション
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "あなたのナレーションテキスト",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
fal.ai による音楽と効果音
fal-ai-media スキルを以下の用途に使用します:
- 背景音楽の生成
- 効果音(動画から音声への ThinkSound モデル)
- トランジション効果音
fal.ai による生成ビジュアル
存在しない挿入カット、サムネイル、または B ロール用:
generate(app_id: "fal-ai/nano-banana-pro", input_data: {
"prompt": "テック Vlog プロフェッショナルサムネイル、暗い背景、画面上のコード",
"image_size": "landscape_16_9"
})
VideoDB によるオーディオ生成
VideoDB が設定されている場合:
voiceover = coll.generate_voice(text="ここにナレーション", voice="alloy")
music = coll.generate_music(prompt="コーディング Vlog 用のローファイ背景音楽", duration=120)
sfx = coll.generate_sound_effect(prompt="かすかなスウッというトランジション効果音")
レイヤー 6:最終仕上げ(Descript / CapCut)
最後のレイヤーは人間の作業です。従来のエディタを以下の用途に使用します:
- ペーシング:速すぎたり遅すぎたりするカットを調整する
- 字幕:自動生成し、手動で校正する
- カラーグレーディング:基本的な補正と雰囲気作り
- 最終オーディオミックス:ボーカル、音楽、効果音のレベルのバランスを取る
- エクスポート:特定のプラットフォーム向けのフォーマットと品質設定
センスはここで発揮されます。AI が反復作業を取り除きます。最終的な決定はあなたが行います。
ソーシャルメディア向けリフレーミング
プラットフォームごとに異なるアスペクト比が必要です:
| プラットフォーム | アスペクト比 | 解像度 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram フィード | 1:1 | 1080x1080 |
| X / Twitter | 16:9 または 1:1 | 1280x720 または 720x720 |
FFmpeg によるリフレーミング
# 16:9 から 9:16(中央クロップ)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 から 1:1(中央クロップ)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
VideoDB によるリフレーミング
from videodb import ReframeMode
# スマートリフレーミング(AI による被写体追跡)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
シーン検出と自動カット
FFmpeg シーン検出
# シーン変化を検出(しきい値 0.3 = 中程度の感度)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
自動カットのための無音検出
# 無音セクションを見つける(デッドスペースのカットに便利)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
ハイライト抽出
Claude を使用して、文字起こし + シーンタイムスタンプを分析します:
「このタイムスタンプ付きの文字起こしとこれらのシーン変化点に基づいて、
ソーシャルメディアに最適な 30 秒のクリップを 5 つ特定してください。」
各ツールの得意分野
| ツール | 強み | 弱み |
|---|---|---|
| Claude / Codex | 整理、計画、コード生成 | クリエイティブなセンスレイヤーではない |
| FFmpeg | 確定的カット、バッチ処理、フォーマット変換 | ビジュアル編集インターフェースなし |
| Remotion | プログラム可能なオーバーレイ、構成可能なシーン、再利用可能なテンプレート | 開発者以外には学習曲線がある |
| Screen Studio | すぐに使える美しい画面録画 | 画面キャプチャのみ |
| ElevenLabs | 音声、ナレーション、音楽、効果音 | ワークフローの中心ではない |
| Descript / CapCut | 最終的なペーシング、字幕、仕上げ | 手動操作、自動化不可 |
重要な原則
- 編集、生成にあらず。 このワークフローは実際の素材をカットするためのものであり、プロンプトから作成するためのものではありません。
- 構造はスタイルに優先する。 レイヤー 2 でストーリーを整理してから、ビジュアルに触れてください。
- FFmpeg はバックボーン。 退屈だが重要。長い素材はここで管理可能になります。
- Remotion は再現性のため。 同じことを何度も行う場合は、Remotion コンポーネントにしてください。
- 選択的な生成。 AI 生成は存在しないアセットにのみ使用し、すべてには使用しないでください。
- センスは最後のレイヤー。 AI が反復作業を取り除きます。最終的なクリエイティブな決定はあなたが行います。
関連スキル
fal-ai-media— AI 画像、ビデオ、オーディオ生成videodb— サーバーサイドビデオ処理、インデックス作成、およびストリーミングcontent-engine— プラットフォームネイティブなコンテンツ配信