Communitygithub.com

平滑视频(节奏匹配)

通过节奏匹配使拼接的 AI 视频流畅播放:每一帧都是真实帧或光流插帧,绝无跳帧或重复帧。适用于 AI 剪辑(Seedance 视频编辑、Kling、Luma 等视频转视频)返回长度与原片段不符、需重新嵌入影片时;多个 AI 片段拼接为一个视频时;或完成的 AI 视频出现卡顿、冻结帧或抖动时。

平滑视频(节奏匹配) 是什么?

AI 视频工具通常无法保证输出与输入长度一致,并且会引入自身的冻结帧。传统的“取最近帧”方法会导致跳帧和重复,产生卡顿。Smooth Video(节奏匹配)技能通过光流插帧技术,确保每一帧要么是原始帧,要么是在精确时刻生成的插值帧,从而让视频播放自然流畅。该技能支持多种场景:当一个 AI 编辑片段需要替换影片中某一段时,它会以原片段为参考进行节奏匹配;当多个 AI 片段需要拼接时,它能自动去除冻结帧并均匀重采样;对于已经完成的 AI 视频,它也能修复卡顿问题。工具集包含多个 Python 脚本,依赖 opencv-python、numpy 和 ffmpeg。用户通过 check_smooth.py 测量帧冻结和跳跃,使用 pace_match.py 进行核心的节奏匹配,并利用 splic_parts.py 将处理后的片段无缝拼接回原始影片,同时保持色彩一致性。该技能还支持 OpenCV DIS(默认,无需 GPU)和 RIFE(基于 GPU,高速运动时更清晰)两种光流引擎。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ido6/smooth-video/tree/HEAD/smooth-video

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

平滑视频(节奏匹配) 是做什么的?

AI 视频工具极少能返回您指定的长度,并且它们会引入自己的冻结帧(与前一个像素几乎完全相同的帧)。通过选取最近帧来将剪辑适配到插槽中,会造成某些帧被跳过、某些帧被重复:这就是卡顿的原因。节奏匹配则不同:每个输出帧要么是源帧,要么是在精确时刻生成的光流插帧;当剪辑替换影片的一部分时,其时间节奏会与被替换的部分完全一致。

工具:位于此文件旁边的 scripts/ 目录。它们需要安装 Python 及 opencv-python + numpy,并且 ffmpeg 需在 PATH 中。每个脚本都会写入一个新的文件;源视频保持不变。

步骤

  1. 测量。 对涉及的每个剪辑以及影片(如果有原片段,使用 --ref 参考)运行 python scripts/check_smooth.py <clip>。它会通过校准亮度和对比度来比较帧,因此光照变化(场景中的胶片闪烁、灯光或调色偏移)会被列为光照偏移,而非跳跃:这些是预期的,不是卡顿。当它打印出 VERDICT already smooth 时,说明该片段无需节奏匹配:请告知用户并跳过对该片段的第 2 步。当您了解每个部分的帧数(对比其需填充的区间)、剪辑点位置以及冻结帧后,本步骤即告完成。
  2. 对每个部分进行节奏匹配。 选择分支:
    • 替换影片的一部分(原片段存在):从影片中精确切出该区间(ffmpeg -ss <start> -t <len>,重新编码以确保帧精确),然后运行 python scripts/pace_match.py --edit <ai_part> --ref <original_span> --out <part_paced>。镜头和剪辑点会自动配对;当剪辑点数量不一致时,传递 --shots ref_from-ref_to:clip_from-clip_to,... 参数。
    • 没有参考的剪辑(拼接原始 AI 片段,或存在卡顿的剪辑):运行 python scripts/pace_match.py --edit <clip> --out <clip_paced> 会去除冻结帧并按其自身长度均匀重采样,或按 --frames N 指定的帧数输出。没有冻结帧的剪辑会原样复制(使用 --force 参数可强制重新绘制)。它无法重建 AI 跳过的帧;如果仍然存在跳跃,则需要 --ref 或借助 RIFE/Topaz。 音频会自动跟随(--audio-from 可选择另一文件,--no-audio 可移除音频),填充或裁剪至精确帧数;如果写入的帧数与预期不符,脚本会停止。 当每个节奏匹配后的部分都精确打印其区间的帧数,逐镜头匹配,且每个剪辑点都与原片段位于同一帧时,本步骤即告完成。
    • 在事件发生前精确剪断(“在爆米花跳起前剪切”):运行 python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg。--roi 指定要观察的区域,以帧的百分比表示。它会打印每一帧在去除光照影响和摄像机漂移后的局部变化,对可能的事件进行排序,并输出带有每帧时间和编号的联系图。查看该图:剪切点应设置在事物开始移动之前的最后一帧,通常比排名第一的事件早一到两帧。然后运行 ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(重新编码;绝不使用 -shortest)。在每个版本上单独检查事件帧:1080p 最终输出的事件开始帧可能比其 480p 草稿早一到两帧。
  3. 组合在一起。
    • 将各部分嵌入影片: 运行 python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<part_paced> ...。它会将每个镜头的色彩与所替换的镜头匹配,保留影片的音频和每一帧,如果某部分的帧数不匹配则会拒绝。
    • 将多个剪辑合并为一个视频: 首先将所有剪辑调整为相同的尺寸和帧率,然后使用 ffmpeg -f concat 或 concat 滤镜(重新编码)进行拼接。 当新文件具有预期的总帧数(通过 ffprobe -count_frames 检查)时,本步骤即告完成。
  4. 与参考进行验证。 对新文件运行 python scripts/check_smooth.py <new> --ref <original> --ranges <each edited span>,并对原始文件(不带 --ref)运行相同命令以获取其自身的计数。当每个有运动的编辑区间满足以下条件时,本步骤即告完成:
    • 冻结帧数低于或等于参考的计数(保持的姿势在参考中也是冻结的);
    • 跳跃次数不超过参考;
    • 在主体移动的区域中,“跟随参考”得分达到 0.85 或更高。 对于仅存在摄像机漂移(空镜头、缓慢推进缩放)或运动幅度约低于 2 的区间,“跟随”得分会较低,因为 AI 重绘了手持漂移;请肉眼判断,冻结帧和跳跃次数仍需低于或等于参考。然后,在宣布完成之前,向用户展示并排对比以及编辑区间的半速版本(setpts=2*PTS)。

注意事项(实际运行中发现的问题)

  • Seedance 视频编辑会改变长度。 一个 3 秒的输入返回了 4.04 秒(慢放 1.35 倍);一个 6 秒的输入返回了 5.7 秒。其输出还自带 1-3 个冻结帧。请使用 4 秒或更长的输入,并确保它们从剪辑点开始,到剪辑点结束。永远不要相信返回的长度:每次都进行节奏匹配。
  • 替换整个镜头。 在镜头中间替换编辑过的帧,会在原片段与编辑片段接合处产生跳跃。每个部分都从剪辑点切到剪辑点。
  • 音频轨比视频短 会导致 ffmpeg -shortest 丢弃最后几帧(一个 95 帧的剪辑输出变成了 93 帧)。splice_parts.py 和 pace_match.py 会保留每一帧;如果手动混流,请使用 -af apap -t <frames/fps> 代替 -shortest。
  • 光照变化不是卡顿。 胶片闪烁、灯光或调色偏移曾被视为“跳跃”。现在的检查会先校准亮度,将这些列为光照偏移;仅判断剩余的跳跃。
  • Higgsfield 资源链接 (higgsfield.ai/asset/all/<id>):id 是生成任务 ID;使用 Higgsfield 连接器的 jobs_wait 读取其 result_url 并下载。
  • 色彩: 每个镜头单独匹配,并在每次剪辑点重新开始,确保一个镜头的调色不会渗入下一个镜头。

引擎

  • OpenCV DIS 光流(默认,--engine opencv):经过并排测试后选为默认。它与 RIFE 一样流畅,已安装,无需 GPU。
  • RIFE (--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1):在高速运动(如急推镜头)时大约锐利 10%,但每帧约需 2.5 秒。需要安装 rife-ncnn-vulkan(来自 github.com/nihui/rife-ncnn-vulkan,约 430 MB),该工具不会持续安装:请在再次下载前征求用户意见。使用 --gpu 选择离散 GPU 索引(在笔记本电脑上通常为 1;0 通常是集成芯片)。
  • 仍然不够流畅: 对原始 AI 剪辑运行 Topaz Video AI(Apollo 或 Chronos)。由用户运行;请为他们准备好剪辑和精确的帧数。

相关技能