Communitygithub.com

smooth-video (속도 매칭)

AI로 생성된 비디오 클립을 속도 매칭(Pace-matching)하여 매끄럽게 재생합니다. 모든 프레임은 실제 프레임이거나 광학 흐름(optical flow) 보간 프레임으로, 건너뛰거나 반복되는 프레임이 없습니다.

smooth-video (속도 매칭)란 무엇인가요?

Smooth-video (속도 매칭)는 AI 비디오 편집 도구(Seedance, Kling, Luma 등)에서 생성된 클립이 원본 길이와 다르게 반환되었을 때 발생하는 끊김(stutter), 프레임 고정(freeze), 점프(jump) 문제를 해결하는 전문 기술입니다. 이 기술은 각 출력 프레임이 원본 프레임이거나 광학 흐름(optical flow)을 이용한 보간 프레임이 되도록 하여, 프레임이 건너뛰어지거나 반복되지 않도록 보장합니다. 주요 기능으로는 클립의 프레임 수와 속도를 측정하는 `check_smooth.py`, 원본 영상의 일부를 대체할 때 속도를 일치시키는 `pace_match.py`, 특정 이벤트 발생 직전 지점을 찾는 `find_moment.py`, 여러 파트를 원본 영상에 매끄럽게 결합하는 `splice_parts.py` 등이 포함되어 있습니다. OpenCV DIS 광학 흐름(기본)과 RIFE 엔진을 지원하며, Python과 opencv-python, numpy, ffmpeg 환경에서 실행됩니다. 이 기술은 AI 편집 클립을 기존 영화에 삽입하거나 여러 AI 클립을 하나의 영상으로 결합할 때, 그리고 완성된 AI 영상이 말더듬거나 깜빡일 때 특히 유용합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ido6/smooth-video/tree/HEAD/smooth-video

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Smooth video (속도 매칭)

AI 비디오 도구는 거의 항상 입력받은 길이와 다른 길이로 결과를 반환하며, 자체적으로 프레임 고정(앞 프레임과 거의 차이가 없는 프레임)을 추가합니다. 클립을 가장 가까운 프레임으로 맞춰 슬롯에 넣으면 일부 프레임을 건너뛰고 일부를 반복하게 되는데, 그것이 바로 끊김(stutter)입니다. 대신 **속도 매칭(pace-match)**을 사용하세요: 모든 출력 프레임은 원본 프레임이거나 정확히 필요한 순간에 생성된 광학 흐름 보간 프레임이며, 클립이 영화의 일부를 대체할 때는 대체되는 부분과 정확히 같은 속도로 움직이도록 시간이 조정됩니다.

도구: 이 파일과 같은 위치의 scripts/ 디렉토리에 있습니다. opencv-python + numpy가 설치된 Python과 PATH에 ffmpeg가 필요합니다. 모든 스크립트는 새 파일을 생성하며; 원본 비디오는 그대로 유지됩니다.

단계

  1. 측정. 관련된 모든 클립과 영화(원본이 있는 경우 --ref 사용)에 대해 python scripts/check_smooth.py <clip>을 실행합니다. 밝기와 대비를 평준화한 후 프레임을 비교하므로, 조명 변화(세트의 영화 플리커, 램프, 그레이드 변화)는 점프가 아닌 광도 변화로 나열됩니다: 이는 의도된 것이지 끊김이 아닙니다. VERDICT already smooth가 출력되면 속도 매칭할 필요가 없는 것입니다. 그 사실을 알리고 해당 클립에 대한 2단계를 건너뜁니다. 각 부분에 대해 프레임 수와 채워야 할 구간, 컷 위치, 고정된 프레임을 파악하면 완료됩니다.
  2. 각 부분을 속도 매칭. 다음 분기 중 하나를 선택합니다:
    • 영화의 일부를 대체하는 경우(원본 부분이 존재): 영화에서 해당 구간을 정확히 잘라냅니다(ffmpeg -ss <start> -t <len>, 프레임 정확도를 위해 재인코딩). 그런 다음 python scripts/pace_match.py --edit <ai_part> --ref <original_span> --out <part_paced>를 실행합니다. 샷과 컷은 자동으로 짝지어집니다. 컷 수가 다른 경우 --shots ref_from-ref_to:clip_from-clip_to,...를 전달합니다.
    • 참조 영상이 없는 클립(원시 AI 클립을 결합하거나 끊기는 클립): python scripts/pace_match.py --edit <clip> --out <clip_paced>를 실행하면 프레임 고정을 제거하고 자체 길이(또는 --frames N으로 지정된 길이)에 맞게 균일하게 재배치합니다. 프레임 고정이 없는 클립은 변경 없이 그대로 복사됩니다(--force는 강제로 다시 그림). AI가 건너뛴 프레임을 재구성할 수는 없습니다. 남아있는 점프는 --ref 또는 RIFE/Topaz가 필요합니다. 사운드는 자동으로 따라옵니다(--audio-from으로 다른 파일 선택, --no-audio로 제거). 사운드는 정확한 프레임 수에 맞춰 패딩되거나 잘립니다. 스크립트는 기록된 프레임 수가 일치하지 않으면 중단됩니다. 각 속도 매칭된 부분이 해당 구간의 정확한 프레임 수를 출력하고, 샷별로 각 컷이 원본과 동일한 프레임에 위치하면 완료됩니다.
    • 어떤 일이 일어나기 직전에 자르기("팝콘이 튀기기 직전에 자르기"): python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg. --roi는 프레임 분수로 표시된 감시 영역입니다. 각 프레임의 지역적 변화를 조명을 평준화하고 카메라 드리프트를 제거한 후 출력하며, 가능성이 높은 이벤트 순위를 매기고 각 프레임의 시간과 번호가 포함된 연락처 시트를 작성합니다. 시트를 확인합니다: 컷은 물체가 움직이기 시작하기 직전의 마지막 프레임에 위치하며, 종종 최상위 순위 프레임보다 한두 프레임 앞섭니다. 그런 다음 ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(재인코딩, 절대 -shortest 사용 금지). 각 버전별로 이벤트 프레임을 별도로 확인합니다: 1080p 최종본은 480p 드래프트보다 이벤트가 한두 프레임 일찍 시작될 수 있습니다.
  3. 조합.
    • 영화에 파트 삽입: python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<part_paced> .... 각 샷을 대체되는 샷에 색상 매칭하고, 영화의 오디오와 모든 프레임을 유지하며, 프레임 수가 일치하지 않는 파트는 거부합니다.
    • 클립을 하나의 영상으로 결합: 먼저 모든 클립의 크기와 FPS를 동일하게 만든 후, ffmpeg -f concat 또는 concat 필터로 결합합니다(재인코딩). 새 파일의 예상 총 프레임 수가 일치하면 완료됩니다(ffprobe -count_frames).
  4. 참조 영상과 비교하여 검증. python scripts/check_smooth.py <new> --ref <original> --ranges <each edited span>를 실행하고, 원본에 대해서도 동일한 검사(--ref 없이)를 수행하여 자체 프레임 수를 확인합니다. 움직임이 있는 모든 편집 구간에서 다음 조건을 만족하면 완료됩니다:
    • 고정된 프레임 수가 참조 영상의 수 이하(포즈 유지는 참조 영상에서도 고정됨);
    • 점프가 참조 영상 이하;
    • "참조 추종(follows ref)" 점수가 0.85 이상 (피사체가 움직이는 경우) 카메라만 드리프트하는 구간(빈 샷, 느린 확대/축소)이나 움직임이 약 2 미만인 경우, AI가 핸드헬드 드리프트를 다시 그리기 때문에 "참조 추종" 점수가 낮아집니다. 이 경우 눈으로 판단하고, 고정 프레임과 점프는 여전히 참조 영상 이하인지 확인합니다. 그런 다음 사용자에게 나란히 비교 영상과 편집 구간의 반속도 버전(setpts=2*PTS)을 보여주고 완료라고 판단합니다.

주의사항 (실제 실행에서 발견됨)

  • Seedance 비디오 편집은 길이를 변경합니다. 3초 입력이 4.04초(1.35배 느려짐)로 반환되었고, 6초 입력이 5.7초로 반환되었습니다. 출력물에도 자체적으로 1~3개의 프레임 고정이 있었습니다. 컷에서 시작하고 끝나는 4초 이상의 입력을 보내십시오. 반환된 길이를 절대 신뢰하지 말고 매번 속도 매칭을 수행하십시오.
  • 전체 샷을 교체하십시오. 샷 중간에 편집된 프레임을 교체하면 원본과 편집본이 만나는 지점에서 점프가 발생합니다. 각 부분을 컷에서 컷까지 자르십시오.
  • 오디오 트랙이 비디오보다 짧은 경우 ffmpeg -shortest는 마지막 프레임을 버립니다(95프레임 컷이 93프레임으로 출력됨). splice_parts.py와 pace_match.py는 모든 프레임을 유지합니다. 수동으로 리먹싱할 때는 -shortest 대신 -af apad -t <frames/fps>를 사용하십시오.
  • 조명 변화는 끊김이 아닙니다. 영화 조명 플리커, 램프 또는 그레이드 변화가 '점프'로 읽히곤 했습니다. 이제 검사가 먼저 밝기를 평준화하고 이를 광도 변화로 나열합니다. 남은 점프만 판단하십시오.
  • Higgsfield 자산 링크 (higgsfield.ai/asset/all/<id>): id는 생성 작업 id입니다. Higgsfield 커넥터의 jobs_wait로 해당 result_url을 읽고 다운로드하십시오.
  • 색상: 샷별로 매칭하고 각 컷에서 새로 시작하여 한 샷의 그레이드가 다음 샷으로 번지지 않도록 하십시오.

엔진

  • OpenCV DIS 광학 흐름(기본값, --engine opencv): 나란히 비교 테스트 후 기본값으로 선택되었습니다. RIFE만큼 부드럽고, 이미 설치되어 있으며 GPU가 필요하지 않습니다.
  • RIFE (--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1): 충돌 줌과 같은 빠른 움직임에서 약 10% 더 선명하지만 프레임당 약 2.5초가 소요됩니다. rife-ncnn-vulkan(github.com/nihui/rife-ncnn-vulkan, 약 430MB)이 필요하며, 이는 설치된 상태로 유지되지 않습니다. 다시 다운로드하기 전에 문의하십시오. 개별 GPU 인덱스는 --gpu로 선택합니다(노트북에서는 보통 1, 0은 일반적으로 통합 칩).
  • 여전히 충분히 부드럽지 않은 경우: Topaz Video AI(Apollo 또는 Chronos)를 원시 AI 클립에 대해 실행합니다. 사용자가 실행합니다. 클립과 정확한 프레임 수를 준비해 주십시오.

관련 스킬