影片剪輯
針對真實素材的 AI 輔助剪輯。不是從提示詞產生影片。而是快速剪輯現有素材。
何時啓用
- 使用者想要編輯、裁切或結構化影片素材
- 將長時間錄製轉換爲短片內容
- 從原始素材建立 Vlog、教學或展示影片
- 在現有影片中加入疊加、字幕、音樂或旁白
- 爲不同平臺重新構圖(YouTube、TikTok、Instagram)
- 使用者說「剪輯影片」、「裁切這段素材」、「做一個 Vlog」或「影片工作流程」
核心論點
AI 影片剪輯的價值在於你不再要求它創建整部影片,而是利用它來壓縮、結構化和增強真實素材。價值不在於生成,而在於壓縮。
流程
Screen Studio / 原始素材
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 或 CapCut
每個層次都有其特定任務。請勿跳過層次。也不要試圖讓一個工具處理所有事情。
第 1 層:擷取(Screen Studio / 原始素材)
收集來源素材:
- Screen Studio:針對應用程式展示、編碼過程、瀏覽器工作流程的精美螢幕錄製
- 原始相機素材:Vlog 素材、訪談、活動錄製
- 透過 VideoDB 的桌面擷取:具有即時上下文的工作階段錄製(參閱
videodb技能)
輸出:準備好進行組織的原始檔案。
第 2 層:組織(Claude / Codex)
使用 Claude Code 或 Codex 來:
- 轉錄與標記:產生逐字稿,識別主題和重點
- 規劃結構:決定哪些保畱、哪些刪除、以及何種順序最佳
- 識別無用片段:找出停頓、離題、重複拍攝的部分
- 產生剪輯決策清單:給出要裁切的時間戳記和要保畱的片段
- 建立 FFmpeg 和 Remotion 程式碼:產生指令和合成腳本
範例提示:
"這是一段 4 小時錄音的逐字稿。請找出最適合 24 分鐘 Vlog 的 8 個片段。
爲每個片段提供 FFmpeg 裁切指令。"
這一層關乎結構,而非最終的創意品味。
第 3 層:確定性裁切(FFmpeg)
FFmpeg 負責繁瑣但關鍵的工作:分割、修剪、串接和預處理。
按時間戳記提取片段
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
從剪輯決策清單批次裁切
#!/bin/bash
# cuts.txt: start,end,label
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
串接片段
# 建立檔案清單
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
建立代理檔案以加速剪輯
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
提取音訊用於轉錄
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
標準化音量
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
第 4 層:可程式化合成(Remotion)
Remotion 將剪輯問題轉變爲可組合的程式碼。用於處理傳統剪輯工具難以處理的情況:
何時使用 Remotion
- 疊加層:文字、圖片、品牌標識、下三分之一處
- 資料視覺化:圖表、統計數據、動畫數字
- 動態圖形:轉場、解釋性動畫
- 可組合場景:跨影片的可重複使用模板
- 產品展示:帶註解的螢幕截圖、UI 高亮
基本的 Remotion 合成
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 主要素材 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 標題疊加 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 剪輯棧
</h1>
</AbsoluteFill>
</Sequence>
{/* 下一個片段 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
渲染輸出
npx remotion render src/index.ts VlogComposition output.mp4
有關詳細模式和 API 參考,請參閱 Remotion 文件。
第 5 層:生成的資產(ElevenLabs / fal.ai)
僅生成你需要的內容。不要生成整部影片。
使用 ElevenLabs 製作旁白
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "你的旁白文字",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
使用 fal.ai 製作音樂和音效
使用 fal-ai-media 技能來:
- 背景音樂生成
- 音效(使用 ThinkSound 模型的影片轉音訊)
- 轉場音效
使用 fal.ai 生成視覺元素
用於插入畫面、縮圖或不存在的 B-roll:
generate(model_name: "fal-ai/nano-banana-pro", input: {
"prompt": "專業的科技 Vlog 縮圖,深色背景,螢幕上有程式碼",
"image_size": "landscape_16_9"
})
VideoDB 生成式音訊
如果已設定 VideoDB:
voiceover = coll.generate_voice(text="旁白文字", voice="alloy")
music = coll.generate_music(prompt="編碼 Vlog 的背景 Lo-fi 音樂", duration=120)
sfx = coll.generate_sound_effect(prompt="微弱的嗖嗖轉場音效")
第 6 層:最終修飾(Descript / CapCut)
最後一層是人類處理。使用傳統剪輯工具來:
- 節奏:調整感覺太快或太慢的剪輯點
- 字幕:自動生成,然後手動清理
- 調色:基本的色彩校正和氣氛調整
- 最終音訊混音:平衡語音、音樂和音效的音量
- 導出:針對特定平臺的格式和品質設定
這是品味所在。AI 清除重複性的工作。你做出最終決定。
社群媒體重新構圖
不同平臺需要不同的長寬比:
| 平臺 | 長寬比 | 解析度 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram Feed | 1:1 | 1080x1080 |
| X / Twitter | 16:9 或 1:1 | 1280x720 或 720x720 |
使用 FFmpeg 重新構圖
# 16:9 轉 9:16(中心裁切)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 轉 1:1(中心裁切)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
使用 VideoDB 重新構圖
# 智慧重新構圖(AI 引導的主體追蹤)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
場景偵測與自動裁切
FFmpeg 場景偵測
# 偵測場景變化(閾值 0.3 = 中等靈敏度)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
靜音偵測用於自動裁切
# 找出靜音片段(用於裁切空白片段)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
精華片段提取
使用 Claude 分析逐字稿與場景時間戳記:
"根據這個帶有時間戳記的逐字稿和這些場景變換點,
找出 5 個最吸引人、每個長度 30 秒、適合社群媒體的片段。"
每個工具最擅長的事
| 工具 | 優勢 | 劣勢 |
|---|---|---|
| Claude / Codex | 組織、規劃、程式碼生成 | 不是創意品味層 |
| FFmpeg | 確定性裁切、批次處理、格式轉換 | 沒有視覺剪輯介面 |
| Remotion | 可程式化疊加、可組合場景、可重複使用模板 | 對非開發者有學習曲線 |
| Screen Studio | 即時精美的螢幕錄製 | 僅限螢幕擷取 |
| ElevenLabs | 語音、旁白、音樂、音效 | 不是工作流程的核心 |
| Descript / CapCut | 最終節奏、字幕、修飾 | 手動、不可自動化 |
關鍵原則
- 剪輯,不要生成。 這個工作流程是用於剪輯真實素材,而不是從提示詞創建。
- 先結構,後風格。 在第 2 層把故事講清楚,再碰觸任何視覺元素。
- FFmpeg 是骨幹。 繁瑣但至關重要。它是將長素材變得可管理的關鍵。
- Remotion 用於可重複性。 如果你會做超過一次,就將它做成 Remotion 組件。
- 選擇性生成。 僅當資產不存在時才使用 AI 生成,而不是什麼都生成。
- 品味是最後一層。 AI 清除重複工作。你做出最終的創意決定。
相關技能
fal-ai-media— AI 圖片、影片和音訊生成videodb— 伺服器端影片處理、索引和串流content-engine— 平臺原生內容分發
使用時機
適用於裁切、結構化和增強真實素材的 AI 輔助影片剪輯工作流程。涵蓋從原始擷取到 FFmpeg、Remotion、ElevenLabs、fal.ai,最後在 Descript 或 CapCut 中進行最終修飾的完整流程。
涵蓋:何時啓用、核心論點、流程、第 3 層:確定性裁切(FFmpeg)、按時間戳記提取片段。