Clipify
找出影片中最有趣的時刻,將其剪輯成獨立短片,可選擇將 16:9 格式轉換為 9:16(臉部動態追蹤或分割畫面),並加上 Opus 風格逐字字幕。
原始程式碼:~/projects/clipify(從 github.com/louisedesadeleer/clipify 複製)
輸入
- 影片檔案路徑(使用者需提供;否則請詢問)
- 可選:要求的輸出格式(9:16、16:9、1:1)
- 可選:字幕樣式偏好
工具
- Whisper:
whisper --model tiny.en --word_timestamps True --output_format json(快速;非英語請使用--model base) - ffmpeg: 在 macOS 上解碼時加上
-hwaccel videotoolbox,渲染時使用-preset ultrafast。最終輸出:-c:v libx264 -crf 20 - 腳本:
~/projects/clipify/scripts/analyze.py— 從兩個 ROI 動態數據檔案生成說話者時間軸build_pan.py— 使用硬切換的 ffmpeg 裁切 x 表達式build_ass.py— 從 Whisper JSON 生成 Opus 風格 ASS 字幕audio_align.py— 找出子片段在較長來源中的偏移量
工作目錄:/tmp/clipify/(開始時建立)
工作流程
步驟 1 — 找出最有趣的部分
mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
讀取 JSON,選取 3-5 個候選片段。有趣的訊號:精彩台詞/反應、情節反轉、尷尬停頓、自嘲、音頻峰值。
每個片段:[開始時間, 結束時間, 有趣的原因, 建議標題]。目標長度 10-25 秒。顯示列表,讓使用者挑選。
步驟 2 — 剪輯
ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4
步驟 3 — 輸出格式
詢問:「9:16(TikTok/Reels)、16:9(YouTube)還是 1:1(Instagram 貼文)?」
步驟 4 — 如果是 16:9 轉 9:16:動態追蹤或分割畫面
4a — 臉部動態追蹤
- 取一個畫面樣本,目測臉部 ROI(嘴巴+下巴區域,格式為 x,y,w,h)
- 透過 ffmpeg 的 tblend+signalstats 提取每個 ROI 的逐幀動作能量
- 建立說話者時間軸:
python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json - 選擇垂直條帶的平移 x 座標(1920 來源的裁切寬度為 608)
- 生成 x 表達式並渲染:
python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X
4b — 分割畫面
兩個堆疊的區塊(各 1080x960),活躍說話者在上方。根據 segments.json 建立啟用表達式。
步驟 5 — 字幕
三種樣式:opus(大字粗體,黃色當前詞)、karaoke(4 字一組,綠色高亮)、minimal(簡潔 Helvetica)。
whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"
步驟 6 — 輸出
- 儲存至
<來源目錄>/clipify_out/ - 印出:名稱、長度、有趣的原因、輸出路徑
- 開啟第一個輸出供檢視
- 提供迭代選項
常見問題
- 不要過度調整 ROI(最多 2 次迭代)
- 檢查片段中是否有場景切換(
select='gt(scene,0.3)') - 4K 來源:先降頻至 1080p,或將所有座標加倍
- 對剪輯後的片段(非完整來源)執行 Whisper 以取得字幕時間戳
- 如果來源已有內嵌字幕,使用
audio_align.py找出乾淨的母帶
需求
- 支援 libx264 和 libass 的 ffmpeg(用於字幕燒錄)。檢查:
ffmpeg -filters 2>&1 | grep subtitles。預設的 Homebrew ffmpeg 公式不包含 libass。請使用 homebrew-ffmpeg tap:brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg。如果 brew 回報 CLT 過舊,請先執行softwareupdate --install "Command Line Tools for Xcode <version>"(檢查softwareupdate --list取得確切標籤)。 - whisper (openai-whisper):
brew install openai-whisper或pip install openai-whisper - Python 3 + numpy
- 建議使用 macOS(VideoToolbox),Linux 上也可運作(不加 hwaccel 旗標)
若無 libass 的替代方案
如果 ffmpeg 缺少 subtitles/ass 濾鏡,可使用 drawtext 作為簡單字幕的替代方案(一次一個字,較不美觀但功能正常)。或重新安裝附帶 libass 的 ffmpeg。