从静态图像生成无缝循环视频
两个阶段,保持它们的独立性是整个技巧的关键:
make-loop.py渲染运动。它不会尝试进行循环。- 使用 Remotion/HyperFrames 中的真实帧(桥接片段、剪切点或流式插帧)来闭合循环。避免使用交叉淡入淡出(crossfade)来闭合循环,因为它们在方向性运动上会产生鬼影。
- 当单个渲染无法同时实现长和快时,
chain.py将几个短片段连接成一个长循环(§5)。
这三个脚本位于 scripts/ 目录中。如果你的 ComfyUI 不在 http://127.0.0.1:8188 上,请设置 COMFY_URL。以下所有内容都是通过先尝试错误而学到的;每个规则都有产生它的测量方法。
python make-loop.py <image> "<prompt>" --width 544 --height 800 --length 73 --steps 8 --physics 80 --seed 11
python seamless.py <raw.mp4> <out.mp4> --fade 20
python chain.py <out.mp4> --fade 14 <a.mp4> <b.mp4> <c.mp4>
1. 获得任何运动
最初的渲染没有任何风、大气和行走。下面的每一个设置都被设置成了抑制运动的值:
| 设置 | 错误值 | 正确值 | 原因 |
|---|---|---|---|
last_frame | = first_frame | 省略它 | 将结尾固定到开始的静止图像是回到起点的指令,所以模型通过拒绝移动来保证循环。这是最大的原因。 |
| steps | 4 | 8 | Turbo LoRA 被宣传为 4 步。两个已发布的 i2v 工作流都使用 8(euler)或 20(res_multistep)。4 步是得到连贯画面的下限,而不是运动。 |
shift_video | 12.0(节点默认值) | 6.0 | 每个参考工作流都传递 6。 |
| LoRA 堆栈 | 仅 turbo | turbo + wushu_spatial_physics_v2 | 一个空间物理适配器。这是为布料、水和行走的人物赋予重量的关键。 |
| prompt | "gentle", "subtle", "camera perfectly still" | 主动的物理动词 | 要求微妙就得到微妙。 |
修复所有五个设置后的测量效果(相同源图像):
之前 之后
中位帧步长 1.73 → 4.55 2.6x
累计运动量 133 → 325 2.4x
将提示词写成物理描述,而不是情绪。 命名什么在动以及如何动:"她向前走,头发和裙子被强风吹动;花瓣脱落并旋转翻滚;水花涌起并泛起涟漪;薄雾在地面上滚动"。避免使用 "ambient"、"gentle"、"subtle"、"slow"、"camera locked" —— 它们都会消耗运动。
长度,及其陷阱
--length 位于模型的 17k+5 网格上(5、22、39、56、73 … 192、243)。否则节点会静默地向上取整。模型的训练范围大约是 ~124-362 帧(其自己的工具提示),所以 73 帧低于其训练范围,而 192 帧正好是 8.0 秒。
但长度不会带来运动,假设它会导致浪费渲染。 相同图像、相同提示词、相同设置,仅更改帧数:
73 帧 中位帧步长 4.55 累计运动量 325
192 帧 中位帧步长 1.25 累计运动量 293
相同的行程,2.6 倍的时间 —— 即 慢动作。模型将其描述的任何内容以给定持续时间的速度进行分配;对于给定的提示词,每秒运动量 x 持续时间大致是常数。
所以这两个杠杆是独立的,并且两者都需要:
- 持续时间 来自
--length。 - 速度 来自 PROMPT 是否有足够的事情可做。场景描述("风吹,花瓣漂流")大约是 3 秒的材料;拉伸到 8 秒会变得缓慢。
对于一个长且仍然有运动的视频片段,请编写连续的节拍并明确说明:"她大步向前并持续行走,永不暂停;一阵强风撕裂;花瓣剥落并爆裂成旋转的云团;水花涌起并回落;格子图案快速闪烁和脉动;薄雾掠过并消散。从第一帧到最后一帧持续快速运动,没有静止,没有慢动作。"
缓慢的节奏并不总是错误的 —— 对于作为背景的薄纱来说,它可能比急促更好。根据表面来判断:主角需要速度,背景板需要漂移。
192 帧大约是 73 帧的 VRAM 时间的 2.6 倍:在 12 GB RTX 3060 上,544x800 分辨率下需要 662 秒,有 1.7 GB 空余。为了适应,可以降低分辨率而不是长度。
此技能使用的模型(全部本地,必须安装在你的 ComfyUI 中)
UNET minimax_h3_fl_or_ref2va_w4a8_pruned_a.safetensors
LoRA 1 minimax_h3_fl2v_turbo_4step_v1.2_768p.safetensors 1.0
LoRA 2 Minimax H3\wushu_spatial_physics_v2_1000_pruned.safetensors 0.8
CLIP minimaxH3Fl2vaPruned_fl2vaPrunedFp8Scaled_txt.safetensors 类型 "minimax"
VAE minimax_h3_video_vae_fp16.safetensors
不要在 12 GB 显卡上使用 qwen3vl_32b_minimax_h3_nvfp4_awq 作为文本编码器;上面修剪过的 fp8 版本才是适合的。在 RTX 3060 上,608x896 分辨率下,每个 73 帧视频片段大约需要 5.5 分钟。
2. 闭合循环:优先使用真实帧而非交叉淡入淡出
淡入淡出或交叉溶解会在任何具有方向性运动(行走的人物、飘动的雾气)的元素上产生鬼影。seamless.py 和 chain.py 使用交叉淡入淡出,所以把它们当作快速选项,当质量重要时,使用任何支持硬切的编辑工具(Remotion、HyperFrames、ffmpeg、视频编辑器)从真实帧构建接缝:
- 桥接片段(首选)。 渲染第二个 MiniMax H3 视频片段,其
first_frame= 循环视频片段的最后一帧,last_frame= 它的第一帧。在 Remotion 或 HyperFrames 中使用硬切将 A + 桥接片段连接起来。运动承载了环绕过渡;没有任何溶解。 - 选择一个真实的循环点。 在视频片段中搜索一个晚期/早期帧对,其差异大约在中位帧步长的 1.5 倍以内,并在那里进行剪切。
- 运动补偿插帧(光流:RIFE/FILM、ffmpeg
minterpolatemci 或 Resolve Speed Warp)仅在结尾到开始间隙很小时使用;在大间隙上会变形。
在 Remotion 或 HyperFrames 中合成并导出最终循环(硬切、<Loop>/循环合成),然后按照第 3 节中的方法来测量环绕过渡。
3. 测量它 —— 每个错误是如何产生的
三个独立的测量错误都拒绝了一个实际上正常的循环。如果循环"失败",在重新渲染之前先怀疑测量方法。
将接缝与视频片段自身的帧步长分布进行比较,而不是与零或一个样本进行比较。当接缝不大于其周围的变换时,它是不可见的。
- 单个视频片段中间样本不是"正常"的。 运动是不均匀的;中间部分通常是平静的部分。在那里采样一个过渡会通过一个其环绕过渡实际上是最大跳跃的视频片段。在一次遍历中读取每一个内部步长:
ffmpeg -vf "tblend=all_mode=difference,signalstats,metadata=print"。 - 仅凭百分位数对于紧密的分布来说过于严格。 一个比中位数高 27% 的接缝可能位于第 98 百分位,但仍然小于最大的普通步长。根据两个来评判:在观察到的范围内 AND 在中位数的约 1.5 倍以内。
- 测量无损编码,而不是最终交付的文件。 输出的第 0 帧是 I 帧;其相邻帧是 P 帧,因此与它进行差异比较会测量出两个编码和两个图片的差异。
迹象:当修剪视频片段时,这个数字不会移动。内容无关的常数 = 伪影,而不是内容。同一个循环,无损:接缝 2.99 同一个循环,CRF 26:接缝 4.65 <- 其中 1.66 是纯编解码器误差
seamless.py 现在会构建一个无损副本仅用于测量,并交付 CRF 26 文件。它的判决行是你要阅读的内容。
metadata=print 需要 -v info
它在信息级别记录日志,所以 -v error 会静默删除测量读取的唯一的输出,并且每个数字都会返回 nan。
4. 当环绕过渡真的失败时
在无损修复后,SEAM VISIBLE 意味着方向性运动 —— 一个朝一个方向行走的人物,积累的雾气 —— 并且更长的 --fade 不会修复它。已验证:16、24 和 30 的淡入淡出长度都使接缝保持不变。
按优先顺序:
- 缩短循环 —— 但只有在检查了它不是编解码器问题(如上所述)之后。更少的源帧意味着更少的累积漂移。请注意,这与长度规则相矛盾:较短的循环会使淡入淡出更频繁,所以当视频片段已经低于约 6 秒时,优先选择重新编写提示词而不是修剪。
- 重新编写提示词以实现循环运动而非单向运动 —— 阵风、旋转的花瓣、涟漪的水面、脉动的光。放弃行走和积累的雾气。
- 渲染更长的视频片段(243 帧),以便有更多材料来寻找循环点,并且更宽的淡入淡出占用的比例更少。
5. 又长又快:链式拼接短视频段
单个渲染无法同时给你两者 —— 请参阅上面的长度部分。通过将几个短的快速片段连接起来,chain.py 实现了这一点,将每个片段的尾部交叉淡入淡出到下一个片段的头部,循环进行,这样环绕过渡关闭在同一个片段的连续帧上。
segment[i] = crossfade(clip[i-1] tail K, clip[i] head K) ++ clip[i][K : F-K]
输出长度 = N x (F - K)
三个 73 帧的片段,使用 14 帧的淡入淡出,得到约 7.4 秒。测量显示,使用种子 7 / 11 / 23 / 41 对同一图像的三个片段,其中位步长都落在 4.36-5.04 范围内,因此这些片段在能量上可以互换,但在细节上有所不同。
这也是解决循环让人感到疲劳的真正方法。 一个 2.2 秒的循环每分钟重复 27 次;眼睛捕捉到的不是接缝 —— 它的测量是干净的 —— 而是同一段素材的重复。不同的片段消除了重复;连接处成为真正不同内容之间的溶解,这些内容被视为过渡而不是卡顿。
所有片段必须具有相同的大小。 blend 会失败并显示 Error reinitializing filters!,既不指出原因也不指出文件。chain.py 预先检查并拒绝,而不是重新缩放 —— 尺寸不匹配意味着关于哪些渲染属于一起的错误,拉伸一个会掩盖这个问题。
分辨率不会影响运动:544x800 片段的测量结果与 608x896 片段相同,因此以小尺寸渲染链,并将预算花在片段数量上。
6. 不是你制作的循环
检查它们。一个已经使用并带有 loop 属性的资产不一定是一个循环:一个用于某个项目的手和花朵背景测量得到29.95 的环绕值,而中位步长为 4.65 —— 一个 6.4 倍的跳跃,无论它在哪里使用都会明显可见。而 seamless.py 无需重新渲染就将其修复到了 4.98,因为交叉淡入淡出只需要文件本身。
7. 将其放在网页上
<video class="plate" id="plateLoop" autoplay loop muted playsinline
preload="auto" poster="assets/still.webp" aria-hidden="true">
<source src="assets/loop.mp4" type="video/mp4">
</video>
- 仅
autoplay是不够的。 如果没有自动播放授权,它在 iframe 内会被静默拒绝,并且在页面获得用户激活之前也会被拒绝。拒绝会导致海报图像保留,看起来像是没有人制作动画的静态图片。在canplay事件以及第一次pointerdown/keydown/scroll/touchstart事件上重试自动播放,并在prefers-reduced-motion下暂停。 poster携带锐利的静态图像,这样被阻止的自动播放或慢速连接会显示原始艺术,而不是黑色。- 从同一元素中移除任何 CSS 漂移/肯伯恩斯效果。 两个相互竞争的运动,并且变换会放大缩放产生的模糊。
- 一个 600 像素宽的视频片段覆盖一个 1920 像素的视口,会产生大约 3 倍的放大,并且比静态图像明显更柔和。在薄纱背景后面是可以接受的;对于清晰的满幅头部,建议使用约 900 像素以上的分辨率,20 步和
res_multistep采样器。
预算:在 CRF 26 下,每个 2.2 秒的视频片段大约 500 KB。