Communitygithub.com

影片流暢化(節奏匹配)

讓拼接的 AI 影片流暢播放,透過節奏匹配技術:每一幀皆是真實幀或光流插補幀,絕無跳幀或重複幀。適用於 AI 編輯(Seedance 影片編輯、Kling、Luma 等影片轉影片)回傳長度與替換片段不符、多段 AI 片段拼接成一部影片,或成品影片出現卡頓、凍結、抖動(「定格」、「卡住」、「跳動」)等情況。

影片流暢化(節奏匹配) 是什麼?

這個技能「影片流暢化(節奏匹配)」專門解決 AI 生成影片常見的長度不一致與畫面停滯問題。AI 工具常回傳長度不符的片段,並在影片中引入凍結幀(與前一幀幾乎無異的畫面)。傳統的「取最近幀」剪接方式會產生跳幀與重複,導致影片抖動。此技能的節奏匹配技術則確保每個輸出幀都是原始幀或經由光流演算法在精確時間點生成的插補幀,使影片播放時與原始素材的節奏一致。 技能支援多種平台與引擎,包括預設的 OpenCV DIS 光流(無需 GPU,流暢度與 RIFE 相當),以及可選的 RIFE(基於 ncnn-vulkan,在快速運動場景下銳利度提升約 10%,但處理速度較慢)。工作流程包含四個步驟:1) 測量:使用 `check_smooth.py` 分析片段與參考影片,判斷是否有凍結幀或跳幀,並產出流暢度判定;2) 節奏匹配:根據是否有參考片段,使用 `pace_match.py` 將 AI 片段精確對齊至目標幀數;3) 組合:使用 `splice_parts.py` 將處理後的片段拼回原始影片,並進行色彩匹配;4) 驗證:再次使用 `check_smooth.py` 對照參考影片,確保凍結幀與跳幀數量不超過原始影片,且「跟隨參考」指標達到 0.85 以上。這些工具均以 Python 腳本形式提供,需安裝 `opencv-python`、`numpy` 及 `ffmpeg`。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ido6/smooth-video/tree/HEAD/smooth-video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

影片流暢化(節奏匹配) 是做什麼的?

AI 影片工具很少回傳剛好等於輸入長度的結果,而且它們會自行加入凍結幀(與前一幀幾乎無異的畫面)。若要將片段塞進指定位置,傳統的「取最近幀」方式會跳過某些幀並重複其他幀,這就是抖動的來源。節奏匹配則相反:每個輸出幀要不是原始幀,就是透過光流在精確時間點生成的插補幀;當片段要取代影片的某部分時,其播放節奏也會與被取代的部分完全相同。

工具:位於此檔案旁的 scripts/ 目錄。它們需要安裝了 opencv-python 和 numpy 的 Python 環境,以及能在 PATH 中存取的 ffmpeg。每個腳本都會新建一個檔案;原始影片保持不變。

步驟

  1. 測量。 對每個涉及的片段執行 python scripts/check_smooth.py <clip>,並對原始影片(若有)使用 --ref 參數。此腳本在比較幀時會先消除亮度與對比度的差異,因此光線變化(例如片場的膠片閃爍、燈光或調色改變)會被列在光線變化下方,而非視為跳動:這些是預期效果,而非抖動。當它印出 VERDICT already smooth(判定:已流暢)時,表示該片段無需進行節奏匹配:請告知使用者並跳過該片段的步驟 2。當你對每個部分都了解以下資訊時即完成:其幀數 vs 需填充的區間長度、剪接點位置,以及凍結幀的數量。
  2. 對每個部分進行節奏匹配。 選擇分支:
    • 取代影片的一部分(原始部分存在):從影片中剪出該精確區間(ffmpeg -ss <start> -t <len>,需重新編碼以確保幀數精確),然後執行 python scripts/pace_match.py --edit <ai_part> --ref <original_span> --out <part_paced>。鏡頭與剪接點會自動配對;當剪接點數量不同時,請使用 --shots ref_from-ref_to:clip_from-clip_to,... 參數。
    • 無參考的片段(拼接原始 AI 片段,或抖動的片段):執行 python scripts/pace_match.py --edit <clip> --out <clip_paced> 會移除凍結幀,並將影片均勻地重新分配至其原始長度,或透過 --frames N 指定目標幀數。沒有凍結幀的片段會原封不動地複製(使用 --force 會強制重新繪製)。此方法無法重建 AI 跳過的幀;若仍有跳動,則需要 --ref 或 RIFE/Topaz。 音訊會自動跟著處理(--audio-from 可指定其他檔案,--no-audio 則移除音訊),並根據精確幀數進行填充或修剪;如果寫入的幀數與預期不符,腳本會停止執行。 當所有經過節奏匹配的部分,每個鏡頭都印出與其區間完全相符的幀數,且每個剪接點都與原始影片位於同一幀時即完成。
    • 在事件發生前剪接(例如「在爆米花跳起之前剪接」):執行 python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg。--roi 是以畫面比例定義的關注區域。它會印出每個幀在消除光線變化與攝影機偏移後的局部變化,對可能的事件進行排序,並輸出包含每個幀時間與編號的聯繫圖。查看圖表:剪接點應設在事件開始移動前的最後一幀,通常比排名最高的幀早一兩幀。然後使用 ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(需重新編碼;絕對不要使用 -shortest)。請針對每個版本獨立檢查事件幀:最終 1080p 版本的事件起始時間可能比 480p 草稿早一兩幀。
  3. 組合。
    • 將部分片段放回影片中: 執行 python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<part_paced> ...。此腳本會對每個鏡頭進行色彩匹配,使其與被取代的鏡頭一致,保留原始影片的音訊與每一幀,並拒絕幀數不符的部分。
    • 將片段拼接成一部影片: 首先確保每個片段具有相同的尺寸與影格率,然後使用 ffmpeg -f concat 或 concat 濾鏡進行重新編碼拼接。 當新檔案的總幀數符合預期(使用 ffprobe -count_frames 檢查)時即完成。
  4. 與參考影片比對驗證。 執行 python scripts/check_smooth.py <new> --ref <original> --ranges <each edited span>,並對原始影片(不加 --ref)執行相同腳本以獲得其自身的統計數據。當每個經過編輯且有動態的區間都滿足以下條件時即完成:
    • 凍結幀數量等於或低於參考影片的數量(一個刻意保持的姿勢在參考影片中也是凍結的);
    • 跳幀數量未超過參考影片;
    • 「跟隨參考」指標在主體移動的區域達到 0.85 或更高。 對於僅有攝影機移動(空景、緩慢推鏡)或動態幅度約低於 2 的區間,「跟隨參考」的分數會較低,因為 AI 會重新繪製手持攝影機的晃動;請用肉眼判斷,確保凍結幀與跳幀數量仍等於或低於參考影片。接著向使用者展示並排比較,以及編輯區間的一半速度版本(setpts=2*PTS),然後才能宣布完成。

注意事項(來自實際運行經驗)

  • Seedance 影片編輯會改變長度。 一個 3 秒的輸入回傳成 4.04 秒(放慢至 1.35 倍);一個 6 秒的輸入回傳成 5.7 秒。其輸出也帶有 1–3 個自帶的凍結幀。請使用長度 4 秒以上、且起始與結束於剪接點的輸入。永遠不要相信回傳的長度:每次都要進行節奏匹配。
  • 替換整個鏡頭。 在鏡頭中間替換編輯過的幀會產生跳動,因為原始與編輯部分在此銜接。請確保每個部分都是從剪接點到剪接點。
  • 音訊軌道短於影片 會使 ffmpeg -shortest 丟棄最後幾幀(一個 95 幀的剪輯段輸出僅 93 幀)。splice_parts.py 和 pace_match.py 會保留每一幀;若手動重新封裝,請使用 -af apad -t <frames/fps> 而非 -shortest。
  • 光線變化不是抖動。 膠片燈光的閃爍、燈具或調色變化過去會被誤判為「跳動」。現在檢查程式會先消除亮度差異,並將這些變化列為光線變化;請僅評估剩餘的跳動。
  • Higgsfield 資產連結(higgsfield.ai/asset/all/<id>):該 id 為生成任務的 id;請使用 Higgsfield 連接器的 jobs_wait 讀取其 result_url 並下載。
  • 色彩: 針對每個鏡頭進行匹配,並在每個剪接點重新開始,這樣一個鏡頭的調色就不會影響到下一個。

引擎

  • OpenCV DIS 光流(預設,--engine opencv):在並排比較測試後被選為預設引擎。它與 RIFE 一樣流暢,已內建,且無需 GPU。
  • RIFE(--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1):在快速運動(如急推鏡頭)時銳利度約提升 10%,但每幀處理時間約 2.5 秒。它需要 rife-ncnn-vulkan(github.com/nihui/rife-ncnn-vulkan,約 430 MB),此工具不會常駐安裝:再次下載前請先詢問。使用 --gpu 選擇獨立 GPU 索引(在筆記型電腦上通常為 1;0 通常是整合晶片)。
  • 仍然不夠流暢: 對原始 AI 片段執行 Topaz Video AI(Apollo 或 Chronos)。由使用者自行執行;請為他們準備好片段和精確的幀數。

相關技能