Video suave (sincronización de ritmo)
Las herramientas de video IA rara vez devuelven la duración que se les dio, y añaden sus propios congelamientos (un fotograma que apenas difiere del anterior). Ajustar un clip a un espacio seleccionando el fotograma más cercano luego salta algunos fotogramas y repite otros: eso es el tartamudeo. Sincronización de ritmo en su lugar: cada fotograma de salida es un fotograma fuente o un intermedio de flujo óptico dibujado en el momento exacto que se necesita, y, cuando el clip reemplaza una parte de una película, temporizado para moverse exactamente como la parte que reemplaza.
Herramientas: scripts/ junto a este archivo. Necesitan Python con opencv-python + numpy, y ffmpeg en PATH. Cada script escribe un archivo nuevo; el video fuente permanece como está.
Pasos
- Medir. Ejecuta
python scripts/check_smooth.py <clip>en cada clip involucrado, y en la película (--refel original cuando lo haya). Compara fotogramas con brillo y contraste igualados, por lo que un cambio de luz (un parpadeo de una lámpara en el set, una lámpara, un cambio de gradación) se lista bajo cambios de luz, no saltos: esos son intencionados, no tartamudeo. Cuando imprimeVERDICT already smooth(veredicto: ya es suave), no hay nada que sincronizar: díselo y salta el paso 2 para ese clip. Hecho cuando sabes, para cada parte: su recuento de fotogramas versus el espacio que debe llenar, dónde están sus cortes y sus fotogramas congelados. - Sincronizar cada parte. Elige la rama:
- Reemplaza una parte de una película (la parte original existe): corta ese intervalo exacto de la película (
ffmpeg -ss <inicio> -t <duración>, re-codificado para que los fotogramas sean exactos), luegopython scripts/pace_match.py --edit <parte_ia> --ref <intervalo_original> --out <parte_sincronizada>. Los planos y cortes se emparejan automáticamente; cuando los recuentos de cortes difieren, pasa--shots ref_desde-ref_hasta:clip_desde-clip_hasta,.... - Un clip sin referencia (unir clips IA en bruto, o un clip que tartamudea):
python scripts/pace_match.py --edit <clip> --out <clip_sincronizado>elimina los congelamientos y lo re-espacia uniformemente a su propia duración, o a--frames N. Un clip sin congelamientos se copia sin cambios (--forcelo redibuja de todas formas). No puede reconstruir fotogramas que la IA saltó; un salto que permanece necesita--refo RIFE/Topaz. El sonido viene automáticamente (--audio-fromelige otro archivo,--no-audiolo elimina), rellenado o recortado al recuento exacto de fotogramas; el script se detiene si el recuento de fotogramas escrito difiere. Hecho cuando cada parte sincronizada imprime exactamente el recuento de fotogramas de su intervalo, plano por plano, con cada corte en el mismo fotograma que el original. - Cortar justo antes de que algo suceda ("cortar antes de que las palomitas salten"):
python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out hoja.jpg.--roies el área a vigilar, como fracciones del fotograma. Imprime el cambio local de cada fotograma con la luz igualada y la deriva de cámara restada, clasifica los eventos probables y escribe una hoja de contactos con la hora y el número de cada fotograma. Mira la hoja: el corte va en el último fotograma antes de que la cosa comience a moverse, a menudo uno o dos fotogramas antes del mejor clasificado. Luegoffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(re-codificado; nunca-shortest). Verifica el fotograma del evento en cada versión por separado: una finalización en 1080p puede iniciar el evento uno o dos fotogramas antes que su borrador en 480p.
- Reemplaza una parte de una película (la parte original existe): corta ese intervalo exacto de la película (
- Unirlo todo.
- Partes en una película:
python scripts/splice_parts.py --film <película> --out <película_v2> --part <inicio_s>:<fin_s>:<parte_sincronizada> .... Empareja el color de cada plano con el que reemplaza, mantiene el audio de la película y cada fotograma, y rechaza una parte cuyo recuento de fotogramas no coincida. - Clips en un solo video: primero haz que todos los clips tengan el mismo tamaño y fps, luego únelos con
ffmpeg -f concato el filtro concat, re-codificando. Hecho cuando el nuevo archivo tiene el recuento total de fotogramas esperado (ffprobe -count_frames).
- Partes en una película:
- Verificar contra la referencia. Ejecuta
python scripts/check_smooth.py <nuevo> --ref <original> --ranges <cada intervalo editado>, y lo mismo en el original (sin--ref) para sus propios recuentos. Hecho cuando, en cada intervalo editado que tiene movimiento:- los fotogramas congelados están en o por debajo del recuento de la referencia (una pose mantenida está congelada también en la referencia);
- los saltos no son más que los de la referencia;
- "sigue a ref" es 0.85 o superior donde el sujeto se mueve.
Un intervalo donde solo la cámara se desplaza (un plano vacío, un zoom lento y sigiloso), o con movimiento por debajo de aproximadamente 2, puntúa más bajo en "sigue" porque la IA redibuja la deriva de la cámara manual; júzgalo a ojo, los fotogramas congelados y los saltos aún en o por debajo de los de la referencia. Luego muestra al usuario una comparación lado a lado y una versión a media velocidad de los intervalos editados (
setpts=2*PTS), antes de darlo por terminado.
Problemas comunes (vistos en ejecuciones reales)
- Seedance video edit cambia la duración. Una entrada de 3 s regresó 4.04 s (ralentizada 1.35×); una entrada de 6 s regresó 5.7 s. Sus salidas también tenían 1–3 congelamientos propios. Envía entradas de 4 s o más que comiencen y terminen en cortes. Nunca confíes en la duración devuelta: sincroniza el ritmo cada vez.
- Reemplazar planos completos. Intercambiar fotogramas editados en medio de un plano muestra un salto donde se encuentran el original y la edición. Corta cada parte de corte a corte.
- Una pista de audio más corta que el video hace que
ffmpeg -shortestelimine los últimos fotogramas (un corte de 95 fotogramas salió de 93).splice_parts.pyypace_match.pymantienen cada fotograma; al remuxear manualmente usa-af apad -t <fotogramas/fps>en lugar de-shortest. - Los cambios de luz no son tartamudeo. Un parpadeo de luz de película, una lámpara o un cambio de gradación solían leerse como 'saltos'. Las comprobaciones ahora igualan primero el brillo y los listan como cambios de luz; juzga solo los saltos restantes.
- Enlaces de activos de Higgsfield (
higgsfield.ai/asset/all/<id>): el id es el id del trabajo de generación; lee suresult_urlcon el conector de Higgsfieldjobs_waity descarga eso. - Color: empareja por plano y comienza fresco en cada corte, para que la gradación de un plano nunca se filtre al siguiente.
Motores
- Flujo óptico OpenCV DIS (predeterminado,
--engine opencv): elegido como predeterminado tras una prueba lado a lado. Es tan suave como RIFE, ya instalado, sin necesidad de GPU. - RIFE (
--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1): aproximadamente un 10% más nítido durante movimientos rápidos como zooms bruscos, pero alrededor de 2.5 s por fotograma. Necesitarife-ncnn-vulkan(github.com/nihui/rife-ncnn-vulkan, aproximadamente 430 MB), que no se mantiene instalado: pregunta antes de descargarlo de nuevo. Elige el índice de GPU discreta con--gpu(en un portátil, a menudo 1; 0 suele ser el chip integrado). - Todavía no es lo suficientemente suave: Topaz Video AI (Apollo o Chronos) ejecutado sobre los clips IA en bruto. El usuario lo ejecuta; prepara los clips y los recuentos exactos de fotogramas para ellos.