當此技能被啟動時,請務必以 :mag: 表情符號開始你的第一則回覆。
影片分析器
影片分析是從影片檔案中提取結構化資訊的實務——包括中繼資料、關鍵畫面、場景邊界、色彩調色盤、動作資料以及音訊特徵。一個建置良好的影片分析管線結合了 FFmpeg 用於畫面擷取和訊號處理,以及 AI 視覺模型用於對視覺內容進行語義理解。此技能涵蓋從原始影片到可操作資料的完整工作流程:使用 ffprobe 檢查中繼資料、使用 FFmpeg 濾鏡圖進行畫面擷取和場景偵測、使用音訊分析進行靜音和音量偵測,以及使用 AI 視覺進行設計系統提取和內容理解。
影片分析的兩大支柱是 FFmpeg(媒體處理的瑞士刀)和 AI 視覺模型(用於理解每個畫面中的內容)。FFmpeg 處理機械性的工作——將影片分割成畫面、透過像素差異門檻偵測場景變化、提取音訊波形。AI 視覺處理語義性的工作——識別 UI 元件、讀取文字、提取色彩值以及理解版面配置模式。
何時使用此技能
當使用者有下列情況時,觸發此技能:
- 想要定期或在場景邊界處從影片中提取畫面
- 需要分析影片中繼資料(解析度、長度、編解碼器、位元率)
- 詢問場景偵測或場景變更時間戳記
- 想要從影片內容中提取色彩調色盤或設計系統
- 需要分析音軌(靜音偵測、音量級別、波形)
- 詢問影片的動作分析或動畫時間
- 想要使用 AI 視覺逐畫面理解影片內容
- 需要從影片產生縮圖或預覽條
在以下情況不要觸發此技能:
- 從頭開始建立或編輯影片——請改用 remotion-video 或 video-creator
- 撰寫影片腳本或分鏡圖——請改用 video-scriptwriting
- 直播影片或即時影片處理
- 用於發佈的影片編碼/轉碼(這是渲染任務,而非分析)
關鍵原則
-
先提取再分析 - 永遠將畫面擷取(FFmpeg)與語義分析(AI 視覺)分開。試圖在一個步驟中完成兩者會導致脆弱的管線。先將畫面提取到磁碟,再進行分析。
-
先使用 ffprobe,再使用 ffmpeg - 在處理任何影片之前,先使用 ffprobe 檢查其屬性。盲目對未知格式執行 FFmpeg 命令會導致無聲失敗和損壞的輸出。
-
場景偵測優於固定間隔 - 分析影片內容時,應在場景邊界處提取畫面,而不是按固定時間間隔。場景變化畫面能以遠少於每秒擷取一幀的數量,捕捉到影片的視覺多樣性。
-
處處使用 JSON 輸出 - 使用 ffprobe 的 JSON 輸出格式,並將你的分析結果結構化為 JSON。這使得管線可組合,且結果可機器讀取。
-
磁碟空間意識 - 影片畫面擷取可能會產生數千個大型圖片檔案。在擷取前務必估算輸出大小,使用適當的圖片格式(JPEG 用於分析,PNG 用於像素級精確作業),並在分析後清理暫存的畫面。
核心概念
FFmpeg 管線架構
FFmpeg 透過一個解封裝、解碼、濾鏡、編碼和封裝的管線來處理影片。對於分析,我們主要使用解碼和濾鏡階段:
輸入檔案 -> 解封裝器 -> 解碼器 -> 濾鏡圖 -> 輸出 (畫面/資料)
用於分析的關鍵濾鏡概念:
select濾鏡:根據表達式選擇要輸出的畫面showinfo濾鏡:印出畫面中繼資料(時間戳、圖片類型等)scene偵測:連續畫面之間的像素級差異分數fps濾鏡:降低影格率以按規律間隔提取
場景偵測
場景偵測透過使用像素差異比較連續畫面來運作。FFmpeg 的 scene 濾鏡會產生一個從 0.0(完全相同)到 1.0(完全不同)的分數。0.3-0.4 的門檻能捕捉到主要場景變化,同時忽略攝影機運鏡和光線變化。
| 門檻值 | 行為 |
|---|---|
| 0.1-0.2 | 非常敏感 - 捕捉平移、縮放、光線變化 |
| 0.3-0.4 | 平衡 - 捕捉切換、轉場、主要變化 |
| 0.5-0.7 | 保守 - 僅限硬切換和劇烈場景變化 |
| 0.8-1.0 | 過於激進 - 會錯過大多數場景變化 |
AI 視覺分析工作流程
從影片中提取結構化資料的工作流程如下:
- 探查 - 使用 ffprobe 取得影片中繼資料(長度、解析度、影格率)
- 提取 - 使用 FFmpeg 在場景邊界處拉取關鍵畫面
- 讀取 - 使用 Read 工具載入每個畫面圖片(支援圖片)
- 分析 - 針對每個畫面,識別色彩、字型、版面、元件
- 聚合 - 找出跨畫面的一致模式
- 輸出 - 產生結構化的設計系統或內容分析
常見任務
1. 安裝並驗證 FFmpeg
檢查 FFmpeg 是否可用,並檢查其版本和功能。
# 檢查 FFmpeg 安裝
ffmpeg -version
# 檢查 ffprobe 安裝
ffprobe -version
# 在 macOS 上安裝
brew install ffmpeg
# 在 Ubuntu/Debian 上安裝
sudo apt-get update && sudo apt-get install -y ffmpeg
# 驗證支援的格式
ffmpeg -formats 2>/dev/null | head -20
# 驗證支援的編解碼器
ffmpeg -codecs 2>/dev/null | grep -i h264
2. 在場景邊界處提取關鍵畫面
僅提取發生顯著視覺變化的畫面。這是取樣影片內容最有效的方式。
# 在場景變化處提取畫面 (門檻值 0.3)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep showinfo
# 提取並將時間戳記錄到檔案
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep "pts_time" > scenes/timestamps.txt
# 提取場景畫面為 JPEG (檔案較小,適合分析)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
scenes/scene_%04d.jpg
3. 按規律間隔提取畫面
當無論內容變化如何,都需要均勻間隔的樣本時。
# 每秒提取一個畫面
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1" frames/frame_%04d.png
# 每 5 秒提取一個畫面
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1/5" frames/frame_%04d.png
# 僅提取 I 畫面(來自編解碼器的關鍵畫面)
mkdir -p keyframes
ffmpeg -i input.mp4 \
-vf "select='eq(pict_type,I)'" \
-vsync vfr \
keyframes/kf_%04d.png
# 在特定時間戳提取單個畫面
ffmpeg -i input.mp4 -ss 00:01:30 -frames:v 1 thumbnail.png
# 僅提取第一個畫面
ffmpeg -i input.mp4 -frames:v 1 first_frame.png
4. 使用 ffprobe 分析影片中繼資料
在處理前檢查影片屬性。務必使用 JSON 輸出以獲得機器可讀的結果。
# 完整中繼資料為 JSON(串流和格式)
ffprobe -v quiet \
-print_format json \
-show_format \
-show_streams \
input.mp4
# 僅取得長度
ffprobe -v error \
-show_entries format=duration \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# 取得解析度
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=width,height \
-of csv=s=x:p=0 \
input.mp4
# 取得影格率
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=r_frame_rate \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# 取得編解碼器資訊
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=codec_name,codec_long_name,profile \
-of json \
input.mp4
# 計算總畫面數
ffprobe -v error \
-count_frames \
-select_streams v:0 \
-show_entries stream=nb_read_frames \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
5. 偵測場景並列出時間戳
在不安裝畫面擷取的情況下取得場景變更時間戳列表。
# 列出場景變更時間戳
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep pts_time
# 提取每個畫面的場景分數(用於分析)
ffmpeg -i input.mp4 \
-vf "select='gte(scene,0)',metadata=print" \
-f null - \
2>&1 | grep "lavfi.scene_score"
# 計算場景變更數量
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep -c "pts_time"
6. 提取音訊波形並偵測靜音
分析音軌以找出無聲間隙、音量級別和視覺波形。
# 偵測靜音時段(可用於尋找章節分隔點)
ffmpeg -i input.mp4 \
-af silencedetect=noise=-30dB:d=0.5 \
-f null - \
2>&1 | grep silence
# 產生音訊波形圖片
ffmpeg -i input.mp4 \
-filter_complex "showwavespic=s=1920x200:colors=blue" \
-frames:v 1 \
waveform.png
# 分析音量級別
ffmpeg -i input.mp4 \
-af volumedetect \
-f null - \
2>&1 | grep volume
# 提取音訊頻譜視覺化
ffmpeg -i input.mp4 \
-filter_complex "showspectrumpic=s=1920x512:color=intensity" \
-frames:v 1 \
spectrum.png
7. AI 視覺分析工作流程
提取畫面,然後使用 Claude 的視覺能力進行分析,從影片內容中提取結構化資訊。
# 步驟 1:探查影片
ffprobe -v quiet -print_format json -show_format -show_streams input.mp4
# 步驟 2:提取場景畫面
mkdir -p analysis_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
analysis_frames/frame_%04d.jpg
提取畫面後,使用 Read 工具載入每張圖片。Read 工具支援圖片檔案(PNG、JPG 等),並會以視覺方式呈現它們。針對每個畫面,分析:
- 色彩:提取主要的十六進位色彩值、背景顏色、強調色
- 字型:識別字體大小、粗細、行高、標題層級
- 版面:偵測網格模式、彈性佈局、間距節奏、邊距
- 元件:識別按鈕、卡片、頁首、導航、表單
- 動畫狀態:注意轉場、懸停狀態、載入指示器
匯總所有畫面的發現,以建立一致的設計系統。
8. 從影片中提取設計系統
一個從產品示範或 UI 導覽影片中提取設計系統的完整工作流程。
# 步驟 1:取得影片資訊
ffprobe -v quiet -print_format json -show_format input.mp4
# 步驟 2:提取場景畫面(捕捉每個獨特的畫面)
mkdir -p design_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.4)'" \
-vsync vfr \
-q:v 1 \
design_frames/screen_%04d.png
# 步驟 3:也按規律間隔提取以確保覆蓋率
ffmpeg -i input.mp4 \
-vf "fps=1/3" \
-q:v 1 \
design_frames/interval_%04d.png
畫面提取後,使用 AI 視覺分析每個畫面並編譯:
{
"colors": {
"primary": "#2563EB",
"secondary": "#7C3AED",
"background": "#FFFFFF",
"surface": "#F3F4F6",
"text": "#111827",
"textSecondary": "#6B7280"
},
"typography": {
"headingFont": "Inter",
"bodyFont": "Inter",
"scale": ["12px", "14px", "16px", "20px", "24px", "32px", "48px"]
},
"spacing": {
"unit": "8px",
"scale": ["4px", "8px", "12px", "16px", "24px", "32px", "48px", "64px"]
},
"components": ["button", "card", "navbar", "sidebar", "input", "modal"]
}
反模式 / 常見錯誤
| 錯誤 | 為什麼錯誤 | 應該怎麼做 |
|---|---|---|
| 從影片中提取每一幀 | 產生數千個檔案,浪費磁碟和分析時間 | 使用場景偵測或固定間隔(每秒 1 幀或更少) |
| 在處理前跳過 ffprobe | 未知的編解碼器或損壞的檔案會導致 FFmpeg 無聲失敗 | 務必先探查以驗證格式和屬性 |
| 對大量畫面擷取使用 PNG | PNG 檔案比 JPEG 大 5-10 倍,對分析而言品質增益極小 | 使用 JPEG(-q:v 2)進行分析;僅在像素級精確工作時使用 PNG |
| 場景門檻設太低(0.1) | 捕捉到攝影機運動、光線變化——產生太多畫面 | 從 0.3-0.4 開始,並根據結果調整 |
在使用 select 濾鏡時忽略 -vsync vfr | 會產生重複畫面以填補時間軸中的空白 | 使用 select 濾鏡時務必使用 -vsync vfr |
| 分析沒有時間戳的畫面 | 無法將分析結果關聯回影片時間軸 | 使用 showinfo 濾鏡為每個畫面捕捉 pts_time |
| 對數百個畫面執行 AI 視覺分析 | 超出上下文限制並浪費令牌 | 每次分析階段限制為 10-20 個代表性畫面 |
| 對 ffmpeg 路徑進行硬編碼 | 會因作業系統和安裝方法而中斷 | 直接使用 ffmpeg 和 ffprobe,依賴 PATH 環境變數 |
注意事項
-
使用 select 濾鏡時必須加上
-vsync vfr- 如果沒有-vsync vfr,FFmpeg 會用重複的畫面填補所選畫面之間的「缺失」畫面,以維持恆定的影格率。這意味著提取 5 個場景變化畫面可能會產生 500 個輸出檔案,其中大部分是重複的。務必將select濾鏡與-vsync vfr搭配使用。 -
場景偵測門檻因內容而異 - 0.3 的門檻值對於敘事性影片中的切換效果良好,但動畫內容或畫面錄製可能需要 0.4-0.5,因為漸進式轉場會產生較低的場景分數。務必在提取後檢查畫面數量,並調整門檻值。
-
ffprobe 畫面計數很慢 - 使用 ffprobe 的
-count_frames會解碼整個影片以準確計數畫面。對於長影片,這可能需要幾分鐘。請改為使用串流中繼資料中的nb_frames(較不準確但即時)或根據長度和影格率估算。 -
音訊靜音偵測參數需要調整 - 預設的
-30dB雜訊門檻值