Communitygithub.com

smooth-video

Haz que los videos de IA combinados se reproduzcan sin problemas mediante la sincronización de ritmo: cada fotograma es real o un intermedio de flujo óptico, nunca un fotograma saltado o repetido.

¿Qué es smooth-video?

Este skill (smooth-video) resuelve un problema común en la edición con herramientas de IA generativa de video (como Seedance, Kling, Luma o cualquier video a video): los clips generados rara vez coinciden en duración fotograma a fotograma con el segmento que deben reemplazar, y además suelen incluir congelamientos de fotogramas. La técnica de 'pace-match' (sincronización de ritmo) garantiza que cada fotograma de salida sea un fotograma real de la fuente o un intermedio calculado mediante flujo óptico, evitando saltos, repeticiones o fotogramas congelados. El skill incluye scripts en Python que dependen de opencv-python, numpy y ffmpeg. Proporciona un flujo de trabajo completo: medir la suavidad del clip original y de referencia, sincronizar cada parte (con o sin referencia), unir las partes en el video final y verificar que los parámetros de suavidad (congelamientos, saltos y seguimiento de la referencia) estén dentro de los límites aceptables. Es compatible con sistemas Linux, macOS y Windows, y está diseñado para integrarse en flujos de edición profesional donde la precisión fotograma a fotograma es crítica.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ido6/smooth-video/tree/HEAD/smooth-video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Video suave (sincronización de ritmo)

Las herramientas de video IA rara vez devuelven la duración que se les dio, y añaden sus propios congelamientos (un fotograma que apenas difiere del anterior). Ajustar un clip a un espacio seleccionando el fotograma más cercano luego salta algunos fotogramas y repite otros: eso es el tartamudeo. Sincronización de ritmo en su lugar: cada fotograma de salida es un fotograma fuente o un intermedio de flujo óptico dibujado en el momento exacto que se necesita, y, cuando el clip reemplaza una parte de una película, temporizado para moverse exactamente como la parte que reemplaza.

Herramientas: scripts/ junto a este archivo. Necesitan Python con opencv-python + numpy, y ffmpeg en PATH. Cada script escribe un archivo nuevo; el video fuente permanece como está.

Pasos

  1. Medir. Ejecuta python scripts/check_smooth.py <clip> en cada clip involucrado, y en la película (--ref el original cuando lo haya). Compara fotogramas con brillo y contraste igualados, por lo que un cambio de luz (un parpadeo de una lámpara en el set, una lámpara, un cambio de gradación) se lista bajo cambios de luz, no saltos: esos son intencionados, no tartamudeo. Cuando imprime VERDICT already smooth (veredicto: ya es suave), no hay nada que sincronizar: díselo y salta el paso 2 para ese clip. Hecho cuando sabes, para cada parte: su recuento de fotogramas versus el espacio que debe llenar, dónde están sus cortes y sus fotogramas congelados.
  2. Sincronizar cada parte. Elige la rama:
    • Reemplaza una parte de una película (la parte original existe): corta ese intervalo exacto de la película (ffmpeg -ss <inicio> -t <duración>, re-codificado para que los fotogramas sean exactos), luego python scripts/pace_match.py --edit <parte_ia> --ref <intervalo_original> --out <parte_sincronizada>. Los planos y cortes se emparejan automáticamente; cuando los recuentos de cortes difieren, pasa --shots ref_desde-ref_hasta:clip_desde-clip_hasta,....
    • Un clip sin referencia (unir clips IA en bruto, o un clip que tartamudea): python scripts/pace_match.py --edit <clip> --out <clip_sincronizado> elimina los congelamientos y lo re-espacia uniformemente a su propia duración, o a --frames N. Un clip sin congelamientos se copia sin cambios (--force lo redibuja de todas formas). No puede reconstruir fotogramas que la IA saltó; un salto que permanece necesita --ref o RIFE/Topaz. El sonido viene automáticamente (--audio-from elige otro archivo, --no-audio lo elimina), rellenado o recortado al recuento exacto de fotogramas; el script se detiene si el recuento de fotogramas escrito difiere. Hecho cuando cada parte sincronizada imprime exactamente el recuento de fotogramas de su intervalo, plano por plano, con cada corte en el mismo fotograma que el original.
    • Cortar justo antes de que algo suceda ("cortar antes de que las palomitas salten"): python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out hoja.jpg. --roi es el área a vigilar, como fracciones del fotograma. Imprime el cambio local de cada fotograma con la luz igualada y la deriva de cámara restada, clasifica los eventos probables y escribe una hoja de contactos con la hora y el número de cada fotograma. Mira la hoja: el corte va en el último fotograma antes de que la cosa comience a moverse, a menudo uno o dos fotogramas antes del mejor clasificado. Luego ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps> (re-codificado; nunca -shortest). Verifica el fotograma del evento en cada versión por separado: una finalización en 1080p puede iniciar el evento uno o dos fotogramas antes que su borrador en 480p.
  3. Unirlo todo.
    • Partes en una película: python scripts/splice_parts.py --film <película> --out <película_v2> --part <inicio_s>:<fin_s>:<parte_sincronizada> .... Empareja el color de cada plano con el que reemplaza, mantiene el audio de la película y cada fotograma, y rechaza una parte cuyo recuento de fotogramas no coincida.
    • Clips en un solo video: primero haz que todos los clips tengan el mismo tamaño y fps, luego únelos con ffmpeg -f concat o el filtro concat, re-codificando. Hecho cuando el nuevo archivo tiene el recuento total de fotogramas esperado (ffprobe -count_frames).
  4. Verificar contra la referencia. Ejecuta python scripts/check_smooth.py <nuevo> --ref <original> --ranges <cada intervalo editado>, y lo mismo en el original (sin --ref) para sus propios recuentos. Hecho cuando, en cada intervalo editado que tiene movimiento:
    • los fotogramas congelados están en o por debajo del recuento de la referencia (una pose mantenida está congelada también en la referencia);
    • los saltos no son más que los de la referencia;
    • "sigue a ref" es 0.85 o superior donde el sujeto se mueve. Un intervalo donde solo la cámara se desplaza (un plano vacío, un zoom lento y sigiloso), o con movimiento por debajo de aproximadamente 2, puntúa más bajo en "sigue" porque la IA redibuja la deriva de la cámara manual; júzgalo a ojo, los fotogramas congelados y los saltos aún en o por debajo de los de la referencia. Luego muestra al usuario una comparación lado a lado y una versión a media velocidad de los intervalos editados (setpts=2*PTS), antes de darlo por terminado.

Problemas comunes (vistos en ejecuciones reales)

  • Seedance video edit cambia la duración. Una entrada de 3 s regresó 4.04 s (ralentizada 1.35×); una entrada de 6 s regresó 5.7 s. Sus salidas también tenían 1–3 congelamientos propios. Envía entradas de 4 s o más que comiencen y terminen en cortes. Nunca confíes en la duración devuelta: sincroniza el ritmo cada vez.
  • Reemplazar planos completos. Intercambiar fotogramas editados en medio de un plano muestra un salto donde se encuentran el original y la edición. Corta cada parte de corte a corte.
  • Una pista de audio más corta que el video hace que ffmpeg -shortest elimine los últimos fotogramas (un corte de 95 fotogramas salió de 93). splice_parts.py y pace_match.py mantienen cada fotograma; al remuxear manualmente usa -af apad -t <fotogramas/fps> en lugar de -shortest.
  • Los cambios de luz no son tartamudeo. Un parpadeo de luz de película, una lámpara o un cambio de gradación solían leerse como 'saltos'. Las comprobaciones ahora igualan primero el brillo y los listan como cambios de luz; juzga solo los saltos restantes.
  • Enlaces de activos de Higgsfield (higgsfield.ai/asset/all/<id>): el id es el id del trabajo de generación; lee su result_url con el conector de Higgsfield jobs_wait y descarga eso.
  • Color: empareja por plano y comienza fresco en cada corte, para que la gradación de un plano nunca se filtre al siguiente.

Motores

  • Flujo óptico OpenCV DIS (predeterminado, --engine opencv): elegido como predeterminado tras una prueba lado a lado. Es tan suave como RIFE, ya instalado, sin necesidad de GPU.
  • RIFE (--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1): aproximadamente un 10% más nítido durante movimientos rápidos como zooms bruscos, pero alrededor de 2.5 s por fotograma. Necesita rife-ncnn-vulkan (github.com/nihui/rife-ncnn-vulkan, aproximadamente 430 MB), que no se mantiene instalado: pregunta antes de descargarlo de nuevo. Elige el índice de GPU discreta con --gpu (en un portátil, a menudo 1; 0 suele ser el chip integrado).
  • Todavía no es lo suficientemente suave: Topaz Video AI (Apollo o Chronos) ejecutado sobre los clips IA en bruto. El usuario lo ejecuta; prepara los clips y los recuentos exactos de fotogramas para ellos.

Skills relacionados