平滑视频(节奏匹配) 是做什么的?
AI 视频工具极少能返回您指定的长度,并且它们会引入自己的冻结帧(与前一个像素几乎完全相同的帧)。通过选取最近帧来将剪辑适配到插槽中,会造成某些帧被跳过、某些帧被重复:这就是卡顿的原因。节奏匹配则不同:每个输出帧要么是源帧,要么是在精确时刻生成的光流插帧;当剪辑替换影片的一部分时,其时间节奏会与被替换的部分完全一致。
工具:位于此文件旁边的 scripts/ 目录。它们需要安装 Python 及 opencv-python + numpy,并且 ffmpeg 需在 PATH 中。每个脚本都会写入一个新的文件;源视频保持不变。
步骤
- 测量。 对涉及的每个剪辑以及影片(如果有原片段,使用
--ref参考)运行python scripts/check_smooth.py <clip>。它会通过校准亮度和对比度来比较帧,因此光照变化(场景中的胶片闪烁、灯光或调色偏移)会被列为光照偏移,而非跳跃:这些是预期的,不是卡顿。当它打印出VERDICT already smooth时,说明该片段无需节奏匹配:请告知用户并跳过对该片段的第 2 步。当您了解每个部分的帧数(对比其需填充的区间)、剪辑点位置以及冻结帧后,本步骤即告完成。 - 对每个部分进行节奏匹配。 选择分支:
- 替换影片的一部分(原片段存在):从影片中精确切出该区间(
ffmpeg -ss <start> -t <len>,重新编码以确保帧精确),然后运行python scripts/pace_match.py --edit <ai_part> --ref <original_span> --out <part_paced>。镜头和剪辑点会自动配对;当剪辑点数量不一致时,传递--shots ref_from-ref_to:clip_from-clip_to,...参数。 - 没有参考的剪辑(拼接原始 AI 片段,或存在卡顿的剪辑):运行
python scripts/pace_match.py --edit <clip> --out <clip_paced>会去除冻结帧并按其自身长度均匀重采样,或按--frames N指定的帧数输出。没有冻结帧的剪辑会原样复制(使用--force参数可强制重新绘制)。它无法重建 AI 跳过的帧;如果仍然存在跳跃,则需要--ref或借助 RIFE/Topaz。 音频会自动跟随(--audio-from可选择另一文件,--no-audio可移除音频),填充或裁剪至精确帧数;如果写入的帧数与预期不符,脚本会停止。 当每个节奏匹配后的部分都精确打印其区间的帧数,逐镜头匹配,且每个剪辑点都与原片段位于同一帧时,本步骤即告完成。 - 在事件发生前精确剪断(“在爆米花跳起前剪切”):运行
python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg。--roi指定要观察的区域,以帧的百分比表示。它会打印每一帧在去除光照影响和摄像机漂移后的局部变化,对可能的事件进行排序,并输出带有每帧时间和编号的联系图。查看该图:剪切点应设置在事物开始移动之前的最后一帧,通常比排名第一的事件早一到两帧。然后运行ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(重新编码;绝不使用-shortest)。在每个版本上单独检查事件帧:1080p 最终输出的事件开始帧可能比其 480p 草稿早一到两帧。
- 替换影片的一部分(原片段存在):从影片中精确切出该区间(
- 组合在一起。
- 将各部分嵌入影片: 运行
python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<part_paced> ...。它会将每个镜头的色彩与所替换的镜头匹配,保留影片的音频和每一帧,如果某部分的帧数不匹配则会拒绝。 - 将多个剪辑合并为一个视频: 首先将所有剪辑调整为相同的尺寸和帧率,然后使用
ffmpeg -f concat或 concat 滤镜(重新编码)进行拼接。 当新文件具有预期的总帧数(通过ffprobe -count_frames检查)时,本步骤即告完成。
- 将各部分嵌入影片: 运行
- 与参考进行验证。 对新文件运行
python scripts/check_smooth.py <new> --ref <original> --ranges <each edited span>,并对原始文件(不带--ref)运行相同命令以获取其自身的计数。当每个有运动的编辑区间满足以下条件时,本步骤即告完成:- 冻结帧数低于或等于参考的计数(保持的姿势在参考中也是冻结的);
- 跳跃次数不超过参考;
- 在主体移动的区域中,“跟随参考”得分达到 0.85 或更高。
对于仅存在摄像机漂移(空镜头、缓慢推进缩放)或运动幅度约低于 2 的区间,“跟随”得分会较低,因为 AI 重绘了手持漂移;请肉眼判断,冻结帧和跳跃次数仍需低于或等于参考。然后,在宣布完成之前,向用户展示并排对比以及编辑区间的半速版本(
setpts=2*PTS)。
注意事项(实际运行中发现的问题)
- Seedance 视频编辑会改变长度。 一个 3 秒的输入返回了 4.04 秒(慢放 1.35 倍);一个 6 秒的输入返回了 5.7 秒。其输出还自带 1-3 个冻结帧。请使用 4 秒或更长的输入,并确保它们从剪辑点开始,到剪辑点结束。永远不要相信返回的长度:每次都进行节奏匹配。
- 替换整个镜头。 在镜头中间替换编辑过的帧,会在原片段与编辑片段接合处产生跳跃。每个部分都从剪辑点切到剪辑点。
- 音频轨比视频短 会导致
ffmpeg -shortest丢弃最后几帧(一个 95 帧的剪辑输出变成了 93 帧)。splice_parts.py和pace_match.py会保留每一帧;如果手动混流,请使用-af apap -t <frames/fps>代替-shortest。 - 光照变化不是卡顿。 胶片闪烁、灯光或调色偏移曾被视为“跳跃”。现在的检查会先校准亮度,将这些列为光照偏移;仅判断剩余的跳跃。
- Higgsfield 资源链接 (
higgsfield.ai/asset/all/<id>):id 是生成任务 ID;使用 Higgsfield 连接器的jobs_wait读取其result_url并下载。 - 色彩: 每个镜头单独匹配,并在每次剪辑点重新开始,确保一个镜头的调色不会渗入下一个镜头。
引擎
- OpenCV DIS 光流(默认,
--engine opencv):经过并排测试后选为默认。它与 RIFE 一样流畅,已安装,无需 GPU。 - RIFE (
--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1):在高速运动(如急推镜头)时大约锐利 10%,但每帧约需 2.5 秒。需要安装rife-ncnn-vulkan(来自 github.com/nihui/rife-ncnn-vulkan,约 430 MB),该工具不会持续安装:请在再次下载前征求用户意见。使用--gpu选择离散 GPU 索引(在笔记本电脑上通常为 1;0 通常是集成芯片)。 - 仍然不够流畅: 对原始 AI 剪辑运行 Topaz Video AI(Apollo 或 Chronos)。由用户运行;请为他们准备好剪辑和精确的帧数。