影片流暢化(節奏匹配) 是做什麼的?
AI 影片工具很少回傳剛好等於輸入長度的結果,而且它們會自行加入凍結幀(與前一幀幾乎無異的畫面)。若要將片段塞進指定位置,傳統的「取最近幀」方式會跳過某些幀並重複其他幀,這就是抖動的來源。節奏匹配則相反:每個輸出幀要不是原始幀,就是透過光流在精確時間點生成的插補幀;當片段要取代影片的某部分時,其播放節奏也會與被取代的部分完全相同。
工具:位於此檔案旁的 scripts/ 目錄。它們需要安裝了 opencv-python 和 numpy 的 Python 環境,以及能在 PATH 中存取的 ffmpeg。每個腳本都會新建一個檔案;原始影片保持不變。
步驟
- 測量。 對每個涉及的片段執行
python scripts/check_smooth.py <clip>,並對原始影片(若有)使用--ref參數。此腳本在比較幀時會先消除亮度與對比度的差異,因此光線變化(例如片場的膠片閃爍、燈光或調色改變)會被列在光線變化下方,而非視為跳動:這些是預期效果,而非抖動。當它印出VERDICT already smooth(判定:已流暢)時,表示該片段無需進行節奏匹配:請告知使用者並跳過該片段的步驟 2。當你對每個部分都了解以下資訊時即完成:其幀數 vs 需填充的區間長度、剪接點位置,以及凍結幀的數量。 - 對每個部分進行節奏匹配。 選擇分支:
- 取代影片的一部分(原始部分存在):從影片中剪出該精確區間(
ffmpeg -ss <start> -t <len>,需重新編碼以確保幀數精確),然後執行python scripts/pace_match.py --edit <ai_part> --ref <original_span> --out <part_paced>。鏡頭與剪接點會自動配對;當剪接點數量不同時,請使用--shots ref_from-ref_to:clip_from-clip_to,...參數。 - 無參考的片段(拼接原始 AI 片段,或抖動的片段):執行
python scripts/pace_match.py --edit <clip> --out <clip_paced>會移除凍結幀,並將影片均勻地重新分配至其原始長度,或透過--frames N指定目標幀數。沒有凍結幀的片段會原封不動地複製(使用--force會強制重新繪製)。此方法無法重建 AI 跳過的幀;若仍有跳動,則需要--ref或 RIFE/Topaz。 音訊會自動跟著處理(--audio-from可指定其他檔案,--no-audio則移除音訊),並根據精確幀數進行填充或修剪;如果寫入的幀數與預期不符,腳本會停止執行。 當所有經過節奏匹配的部分,每個鏡頭都印出與其區間完全相符的幀數,且每個剪接點都與原始影片位於同一幀時即完成。 - 在事件發生前剪接(例如「在爆米花跳起之前剪接」):執行
python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg。--roi是以畫面比例定義的關注區域。它會印出每個幀在消除光線變化與攝影機偏移後的局部變化,對可能的事件進行排序,並輸出包含每個幀時間與編號的聯繫圖。查看圖表:剪接點應設在事件開始移動前的最後一幀,通常比排名最高的幀早一兩幀。然後使用ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(需重新編碼;絕對不要使用-shortest)。請針對每個版本獨立檢查事件幀:最終 1080p 版本的事件起始時間可能比 480p 草稿早一兩幀。
- 取代影片的一部分(原始部分存在):從影片中剪出該精確區間(
- 組合。
- 將部分片段放回影片中: 執行
python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<part_paced> ...。此腳本會對每個鏡頭進行色彩匹配,使其與被取代的鏡頭一致,保留原始影片的音訊與每一幀,並拒絕幀數不符的部分。 - 將片段拼接成一部影片: 首先確保每個片段具有相同的尺寸與影格率,然後使用
ffmpeg -f concat或 concat 濾鏡進行重新編碼拼接。 當新檔案的總幀數符合預期(使用ffprobe -count_frames檢查)時即完成。
- 將部分片段放回影片中: 執行
- 與參考影片比對驗證。 執行
python scripts/check_smooth.py <new> --ref <original> --ranges <each edited span>,並對原始影片(不加--ref)執行相同腳本以獲得其自身的統計數據。當每個經過編輯且有動態的區間都滿足以下條件時即完成:- 凍結幀數量等於或低於參考影片的數量(一個刻意保持的姿勢在參考影片中也是凍結的);
- 跳幀數量未超過參考影片;
- 「跟隨參考」指標在主體移動的區域達到 0.85 或更高。
對於僅有攝影機移動(空景、緩慢推鏡)或動態幅度約低於 2 的區間,「跟隨參考」的分數會較低,因為 AI 會重新繪製手持攝影機的晃動;請用肉眼判斷,確保凍結幀與跳幀數量仍等於或低於參考影片。接著向使用者展示並排比較,以及編輯區間的一半速度版本(
setpts=2*PTS),然後才能宣布完成。
注意事項(來自實際運行經驗)
- Seedance 影片編輯會改變長度。 一個 3 秒的輸入回傳成 4.04 秒(放慢至 1.35 倍);一個 6 秒的輸入回傳成 5.7 秒。其輸出也帶有 1–3 個自帶的凍結幀。請使用長度 4 秒以上、且起始與結束於剪接點的輸入。永遠不要相信回傳的長度:每次都要進行節奏匹配。
- 替換整個鏡頭。 在鏡頭中間替換編輯過的幀會產生跳動,因為原始與編輯部分在此銜接。請確保每個部分都是從剪接點到剪接點。
- 音訊軌道短於影片 會使
ffmpeg -shortest丟棄最後幾幀(一個 95 幀的剪輯段輸出僅 93 幀)。splice_parts.py和pace_match.py會保留每一幀;若手動重新封裝,請使用-af apad -t <frames/fps>而非-shortest。 - 光線變化不是抖動。 膠片燈光的閃爍、燈具或調色變化過去會被誤判為「跳動」。現在檢查程式會先消除亮度差異,並將這些變化列為光線變化;請僅評估剩餘的跳動。
- Higgsfield 資產連結(
higgsfield.ai/asset/all/<id>):該 id 為生成任務的 id;請使用 Higgsfield 連接器的jobs_wait讀取其result_url並下載。 - 色彩: 針對每個鏡頭進行匹配,並在每個剪接點重新開始,這樣一個鏡頭的調色就不會影響到下一個。
引擎
- OpenCV DIS 光流(預設,
--engine opencv):在並排比較測試後被選為預設引擎。它與 RIFE 一樣流暢,已內建,且無需 GPU。 - RIFE(
--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1):在快速運動(如急推鏡頭)時銳利度約提升 10%,但每幀處理時間約 2.5 秒。它需要rife-ncnn-vulkan(github.com/nihui/rife-ncnn-vulkan,約 430 MB),此工具不會常駐安裝:再次下載前請先詢問。使用--gpu選擇獨立 GPU 索引(在筆記型電腦上通常為 1;0 通常是整合晶片)。 - 仍然不夠流暢: 對原始 AI 片段執行 Topaz Video AI(Apollo 或 Chronos)。由使用者自行執行;請為他們準備好片段和精確的幀數。