影片編輯
AI 輔助編輯真實素材。非從提示詞生成。快速編輯現有影片。
何時啟用
- 使用者想要編輯、剪輯或結構化影片素材
- 將長錄製內容轉換為短格式內容
- 從原始素材建立 Vlog、教學或示範影片
- 在現有影片中加入覆蓋層、字幕、音樂或旁白
- 為不同平台(YouTube、TikTok、Instagram)重新構圖影片
- 使用者說「編輯影片」、「剪輯這個素材」、「製作 Vlog」或「影片工作流程」
核心論點
AI 影片編輯之所以有用,是因為你不再要求它創造整部影片,而是利用它來壓縮、結構化和增強真實素材。價值不在於生成,而在於壓縮。
流程
Screen Studio / 原始素材
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 或 CapCut
每個層次都有特定的任務。不要跳過任何層次。不要試圖讓一個工具包辦所有事情。
第一層:捕捉(Screen Studio / 原始素材)
收集來源素材:
- Screen Studio:為應用程式示範、程式碼撰寫過程、瀏覽器工作流程而打磨的螢幕錄製
- 原始相機素材:Vlog 素材、訪談、活動錄影
- 透過 VideoDB 的桌面捕捉:帶有即時情境的會話錄製(參見
videodb技能)
輸出:準備好進行組織的原始檔案。
第二層:組織(Claude / Codex)
使用 Claude Code 或 Codex 來:
- 轉錄與標記:產生逐字稿,識別主題和話題
- 規劃結構:決定保留什麼、剪掉什麼、怎樣的順序比較好
- 識別無效段落:找出停頓、離題、重複的鏡次
- 產生編輯決策列表:包含剪輯時間戳記、要保留的片段
- 搭建 FFmpeg 和 Remotion 程式碼:產生指令和合成內容
範例提示詞:
「這是 4 小時錄影的逐字稿。請為一段 24 分鐘的 Vlog 找出最精彩的 8 個片段。
給我每個片段的 FFmpeg 剪輯指令。」
這一層關乎結構,而非最終的創作品味。
第三層:確定性剪輯(FFmpeg)
FFmpeg 處理枯燥但至關重要的工作:分割、修剪、串接和預處理。
按時間戳記提取片段
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
從編輯決策列表進行批次剪輯
#!/bin/bash
# cuts.txt: start,end,label
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
串接片段
# 建立檔案列表
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
建立代理檔案以加快編輯速度
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
提取音訊進行轉錄
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
標準化音訊音量
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
第四層:可程式化合成(Remotion)
Remotion 將編輯問題轉化為可組合的程式碼。用它來處理傳統編輯器令人頭痛的事情:
何時使用 Remotion
- 覆蓋層:文字、圖片、品牌標誌、下方第三格
- 資料視覺化:圖表、統計數據、動畫數字
- 動態圖形:轉場效果、解說動畫
- 可組合場景:跨影片的可重複使用範本
- 產品示範:帶有註解的螢幕截圖、UI 重點
基本的 Remotion 合成
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 主要素材 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 標題覆蓋層 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 編輯堆疊
</h1>
</AbsoluteFill>
</Sequence>
{/* 下一個片段 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
渲染輸出
npx remotion render src/index.ts VlogComposition output.mp4
詳情請參閱 Remotion 文件 以獲取詳細的模式和 API 參考。
第五層:生成資產(ElevenLabs / fal.ai)
只生成你需要的內容。不要生成整部影片。
使用 ElevenLabs 製作旁白
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "你的旁白文字在此",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
使用 fal.ai 製作音樂和音效
使用 fal-ai-media 技能來:
- 生成背景音樂
- 音效(ThinkSound 模型用於影片轉音訊)
- 轉場音效
使用 fal.ai 生成視覺素材
用於插入鏡頭、縮圖或不存在的 B-roll:
generate(app_id: "fal-ai/nano-banana-pro", input_data: {
"prompt": "科技 Vlog 的專業縮圖,深色背景,螢幕上有程式碼",
"image_size": "landscape_16_9"
})
VideoDB 生成式音訊
如果已配置 VideoDB:
voiceover = coll.generate_voice(text="旁白文字", voice="alloy")
music = coll.generate_music(prompt="程式 Vlog 的背景 lo-fi 音樂", duration=120)
sfx = coll.generate_sound_effect(prompt="微妙的咻聲轉場")
第六層:最終修飾(Descript / CapCut)
最後一層是人類。使用傳統編輯器來:
- 節奏調整:修正感覺太快或太慢的剪輯點
- 字幕:自動生成,然後手動清理
- 調色:基本校正和氛圍營造
- 最終音訊混音:平衡語音、音樂和音效的音量
- 匯出:針對特定平台的格式和品質設定
這裡是品味所在。AI 清理重複性工作。你做出最終決定。
社群媒體重新構圖
不同的平台需要不同的長寬比:
| 平台 | 長寬比 | 解析度 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram 動態 | 1:1 | 1080x1080 |
| X / Twitter | 16:9 或 1:1 | 1280x720 或 720x720 |
使用 FFmpeg 重新構圖
# 16:9 轉 9:16(中央裁切)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 轉 1:1(中央裁切)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
使用 VideoDB 重新構圖
from videodb import ReframeMode
# 智慧重新構圖(AI 引導的主體追蹤)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
場景偵測與自動剪輯
FFmpeg 場景偵測
# 偵測場景變化(門檻值 0.3 = 中等敏感度)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
靜音偵測用於自動剪輯
# 找出靜音段落(用於剪掉空白時間)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
精彩片段提取
使用 Claude 分析逐字稿和場景時間戳記:
「根據這份包含時間戳記的逐字稿和這些場景切換點,
找出 5 個最能吸引人的 30 秒片段,用於社群媒體。」
每個工具的強項
| 工具 | 優勢 | 劣勢 |
|---|---|---|
| Claude / Codex | 組織、規劃、程式碼生成 | 不負責創作品味層 |
| FFmpeg | 確定性剪輯、批次處理、格式轉換 | 沒有視覺編輯 UI |
| Remotion | 可程式化覆蓋層、可組合場景、可重複使用範本 | 非開發者的學習曲線 |
| Screen Studio | 立即獲得打磨好的螢幕錄製 | 僅限螢幕捕捉 |
| ElevenLabs | 語音、旁白、音樂、音效 | 不是工作流程的核心 |
| Descript / CapCut | 最終節奏、字幕、修飾 | 手動操作,無法自動化 |
關鍵原則
- 編輯,不要生成。 此工作流程是為了剪輯真實素材,不是為了從提示詞創造內容。
- 結構先於風格。 在第二層先把故事理順,再觸碰任何視覺相關的內容。
- FFmpeg 是骨幹。 無聊但至關重要。讓長素材變得可管理。
- Remotion 用於可重複性。 如果你會做超過一次,就把它做成 Remotion 元件。
- 選擇性生成。 只對不存在的資產使用 AI 生成,而不是對所有東西。
- 品味是最後一層。 AI 清理重複性工作。你做出最終的創意決定。
相關技能
fal-ai-media— AI 圖片、影片和音訊生成videodb— 伺服器端影片處理、索引和串流content-engine— 平台原生內容分發