影片編輯
AI 輔助編輯真實素材。不是從提示詞生成。快速編輯現有影片。
何時啟動
- 使用者想要編輯、剪輯或結構化影片素材
- 將長錄製內容轉換為短影片
- 從原始素材建構 Vlog、教學或示範影片
- 為現有影片加入疊加層、字幕、音樂或旁白
- 為不同平台(YouTube、TikTok、Instagram)重新構圖影片
- 使用者說「編輯影片」、「剪輯這段素材」、「製作 Vlog」或「影片工作流程」
核心論點
AI 影片編輯在你停止要求它建立整個影片,開始用它來壓縮、結構化和增強真實素材時才有用。價值不在於生成。價值在於壓縮。
管線
Screen Studio / 原始素材
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 或 CapCut
每一層都有特定的工作。不要跳過層級。不要試圖讓一個工具做所有事情。
第 1 層:採集(Screen Studio / 原始素材)
收集來源材料:
- Screen Studio:用於應用程式示範、編碼會話、瀏覽器工作流程的精美螢幕錄製
- 原始鏡頭素材:Vlog 素材、訪談、活動錄製
- 透過 VideoDB 的桌面擷取:帶即時上下文的會話錄製(參見
videodb技能)
輸出:準備好整理的原始檔案。
第 2 層:整理(Claude / Codex)
使用 Claude Code 或 Codex 來:
- 轉錄和標記:生成轉錄文字,識別主題和話題
- 規劃結構:決定保留什麼、剪輯什麼、什麼順序合適
- 識別死區:查找停頓、離題、重複拍攝
- 生成編輯決策列表:剪輯的時間戳記、保留的片段
- 搭建 FFmpeg 和 Remotion 程式碼:生成命令和合成
範例提示:
「這是一段 4 小時錄製的轉錄文字。找出 8 個最強片段
用於 24 分鐘的 Vlog。給我每個片段的 FFmpeg 剪輯命令。」
這一層關乎結構,而非最終創意品味。
第 3 層:確定性剪輯(FFmpeg)
FFmpeg 處理枯燥但關鍵的工作:分割、裁剪、拼接和預處理。
依時間戳記提取片段
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
從編輯決策列表批次剪輯
#!/bin/bash
# cuts.txt: start,end,label
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
拼接片段
# 建立檔案列表
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
建立代理檔案以加快編輯
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
提取音訊用於轉錄
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
標準化音訊電平
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
第 4 層:可程式化合成(Remotion)
Remotion 將編輯問題轉化為可組合的程式碼。用於傳統編輯器難以處理的事情:
何時使用 Remotion
- 疊加層:文字、圖片、品牌、字幕條
- 資料視覺化:圖表、統計、動畫數字
- 動態圖形:轉場、說明動畫
- 可組合場景:跨影片可重複使用的模板
- 產品示範:帶註解的截圖、UI 高亮
基本 Remotion 合成
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 主要素材 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 標題疊加 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 編輯技術棧
</h1>
</AbsoluteFill>
</Sequence>
{/* 下一個片段 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
渲染輸出
npx remotion render src/index.ts VlogComposition output.mp4
詳見 Remotion 文件 獲取詳細模式和 API 參考。
第 5 層:生成資產(ElevenLabs / fal.ai)
只生成你需要的內容。不要生成整個影片。
使用 ElevenLabs 的旁白
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "你的旁白文字",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
使用 fal.ai 的音樂和音效
使用 fal-ai-media 技能進行:
- 背景音樂生成
- 音效(用於影片轉音頻的 ThinkSound 模型)
- 轉場音效
使用 fal.ai 的生成視覺
用於不存在的插入鏡頭、縮圖或 B-roll:
generate(app_id: "fal-ai/nano-banana-pro", input_data: {
"prompt": "科技 Vlog 專業縮圖,深色背景,螢幕上的程式碼",
"image_size": "landscape_16_9"
})
VideoDB 生成音訊
如果 VideoDB 已配置:
voiceover = coll.generate_voice(text="此處為旁白", voice="alloy")
music = coll.generate_music(prompt="程式 Vlog 的 lo-fi 背景音樂", duration=120)
sfx = coll.generate_sound_effect(prompt="微弱的咻咻轉場音效")
第 6 層:最終潤色(Descript / CapCut)
最後一層是人的工作。使用傳統編輯器進行:
- 節奏:調整感覺太快或太慢的剪輯
- 字幕:自動生成,然後手動校對
- 調色:基本校正和氛圍
- 最終音訊混音:平衡人聲、音樂和音效電平
- 匯出:特定平台的格式和品質設定
品味在這裡體現。AI 清除重複性工作。你做最終決定。
社群媒體重新構圖
不同平台需要不同的寬高比:
| 平台 | 寬高比 | 解析度 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram 動態 | 1:1 | 1080x1080 |
| X / Twitter | 16:9 或 1:1 | 1280x720 或 720x720 |
使用 FFmpeg 重新構圖
# 16:9 轉 9:16(置中裁剪)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 轉 1:1(置中裁剪)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
使用 VideoDB 重新構圖
from videodb import ReframeMode
# 智慧重新構圖(AI 引導的主體追蹤)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
場景偵測和自動剪輯
FFmpeg 場景偵測
# 偵測場景變化(閾值 0.3 = 中等靈敏度)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
靜音偵測用於自動剪輯
# 查找靜音片段(適用於剪輯空白時段)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
亮點提取
使用 Claude 分析轉錄文字 + 場景時間戳:
「根據這個帶時間戳的轉錄文字和這些場景變化點,
識別 5 個最適合社交媒體的 30 秒片段。」
每個工具最擅長的領域
| 工具 | 優勢 | 劣勢 |
|---|---|---|
| Claude / Codex | 整理、規劃、程式碼生成 | 不是創意品味層 |
| FFmpeg | 確定性剪輯、批次處理、格式轉換 | 無可視化編輯介面 |
| Remotion | 可程式化疊加層、可組合場景、可重複使用模板 | 非開發者有學習曲線 |
| Screen Studio | 即刻生成精美螢幕錄製 | 僅限螢幕擷取 |
| ElevenLabs | 語音、旁白、音樂、音效 | 不是工作流中心 |
| Descript / CapCut | 最終節奏、字幕、潤色 | 手動操作,不可自動化 |
關鍵原則
- 編輯,而非生成。 此工作流用於剪輯真實素材,而非從提示詞建立。
- 結構先於風格。 在第 2 層把故事理順,再觸碰任何視覺內容。
- FFmpeg 是骨幹。 枯燥但關鍵。長素材在這裡變得可管理。
- Remotion 用於可重複性。 如果你將多次執行相同操作,把它做成 Remotion 元件。
- 選擇性生成。 只對不存在的資產使用 AI 生成,不要用於所有內容。
- 品味是最後一層。 AI 清除重複性工作。你做最終創意決策。
相關技能
fal-ai-media— AI 圖像、影片和音頻生成videodb— 伺服器端影片處理、索引和串流content-engine— 平台原生內容分發