Communitygithub.com

スムーズ動画 (ペース合わせ)

AIによる結合動画を、ペース合わせで滑らかに再生します。すべてのフレームは実フレームまたはオプティカルフローによる補間フレームであり、スキップや繰り返しはありません。AI編集(Seedance動画編集、Kling、Luma、その他v2v)で生成されたクリップの長さが置き換え前と異なり、フィルムに戻す必要がある場合、複数のAIクリップを1つの動画に結合する場合、または完成したAI動画がカクつく、フリーズフレームがある、ジッターがある場合(「גיטרים」「תקוע」「קופץ」)に使用します。

スムーズ動画 (ペース合わせ) とは?

このスキル「smooth-video」は、AI動画ツールが出力するクリップの長さが入力と一致せず、フリーズやスキップによってカクつきが生じる問題を解決します。`scripts/` フォルダ内のPythonスクリプト群を使用し、オプティカルフロー(デフォルトはOpenCV DIS、高速動作時はRIFEも選択可能)に基づいて各フレームを正確なタイミングで生成することで、すべての出力フレームが元のソースフレームまたはその補間フレームになるようにします。対応ツールは、Python(opencv-python + numpy)とffmpegです。 主な手順として、まず `check_smooth.py` で各クリップのフレーム数やフリーズを測定し、次に `pace_match.py` で参照映像がある場合はそれに合わせて、ない場合はクリップ自体の長さに合わせてペース調整します。その後 `splice_parts.py` でパーツをフィルムに結合し、最後に `check_smooth.py` で参照映像との一致度(フリーズ数、ジャンプ数、動きの追従率)を検証します。音声も自動でフレーム数に合わせてパディング/トリミングされ、フレーム数が一致しない場合は停止するため、精度が保証されます。このスキルは、Seedance、Kling、Lumaなど、任意のビデオ-to-ビデオ(v2v)ツールで生成されたクリップのカクつき修正に特に有効です。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ido6/smooth-video/tree/HEAD/smooth-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

スムーズ動画 (ペース合わせ) は何をしますか?

AI動画ツールは、指定された長さを返すことはほとんどなく、さらに独自のフリーズ(直前のフレームとほとんど変わらないフレーム)を追加します。クリップをスロットに合わせるために最も近いフレームを選択すると、一部のフレームがスキップされ、他のフレームが繰り返されます。これがカクつきの原因です。ペース合わせ では、代わりに、出力フレームのすべてがソースフレームか、必要な正確な瞬間に描画されたオプティカルフローによる補間フレームであり、クリップがフィルムの一部を置き換える場合、置き換えられた部分とまったく同じように動くようにタイミングが調整されます。

ツール: このファイルと同じディレクトリの scripts/。Python(opencv-python + numpy)と、PATHが通った ffmpeg が必要です。すべてのスクリプトは新しいファイルを書き込みます。ソース動画はそのまま残ります。

手順

  1. 測定. 関係するすべてのクリップとフィルム(元のフィルムがある場合は --ref で指定)に対して python scripts/check_smooth.py <clip> を実行します。これは、明るさとコントラストを均等にした状態でフレームを比較するため、照明の変化(セットのフィルムフリッカー、ランプ、グレードシフト)は光の変化としてリストされ、ジャンプとしては扱われません。これらは意図的なものであり、カクつきではありません。VERDICT already smooth と表示された場合は、ペース合わせの必要はありません。その旨を伝え、そのクリップについては手順2をスキップします。各部分について、そのフレーム数と埋めるべきスパン、カット位置、フリーズフレームが分かれば完了です。
  2. 各部分をペース合わせ. 次の分岐を選択します。
    • フィルムの一部を置き換える場合(元の部分が存在する場合): フィルムからその正確なスパンを切り出し(ffmpeg -ss <start> -t <len>、フレームを正確にするために再エンコード)、次に python scripts/pace_match.py --edit <ai_part> --ref <original_span> --out <part_paced> を実行します。ショットとカットは自動的にペアリングされます。カット数が異なる場合は、--shots ref_from-ref_to:clip_from-clip_to,... を渡します。
    • 参照がないクリップの場合(生のAIクリップを結合する場合、またはカクつくクリップの場合): python scripts/pace_match.py --edit <clip> --out <clip_paced> は、フリーズを削除し、クリップ自体の長さ、または --frames N で指定された長さに均等に再配置します。フリーズがないクリップは変更されずにコピーされます(--force で強制的に再描画も可能)。AIがスキップしたフレームを再構築することはできません。残ったジャンプには --ref または RIFE/Topaz が必要です。 音声は自動的に付随し(--audio-from で別のファイルを選択、--no-audio で削除)、正確なフレーム数にパディングまたはトリミングされます。書き込まれたフレーム数が異なる場合、スクリプトは停止します。 ペース調整された各部分が、そのスパンの正確なフレーム数、ショットごと、各カットがオリジナルと同じフレームで出力されれば完了です。
    • 何かが起こる直前でカットする場合(「ポップコーンが跳ねる直前でカット」): python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg。--roi は監視する領域で、フレームの割合で指定します。各フレームの局所的な変化を明るさを均等にし、カメラのドリフトを差し引いて表示し、可能性の高いイベントをランク付けし、各フレームの時間と番号が記載されたコンタクトシートを出力します。シートを確認します。カットは、対象が動き始める前の最後のフレーム、多くの場合、最もランクの高いフレームの1〜2フレーム前に配置します。その後、ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(再エンコード。-shortest は決して使用しない)。イベントフレームを各バージョンで個別に確認します。1080p最終版では、480pドラフトよりも1〜2フレーム早くイベントが開始する可能性があります。
  3. 組み立て.
    • フィルムへのパーツの挿入: python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<part_paced> ...。各ショットを置き換えるショットにカラーマッチングし、フィルムの音声とすべてのフレームを保持し、フレーム数が一致しないパーツは拒否します。
    • クリップを1つの動画に結合: 最初にすべてのクリップを同じサイズとfpsにし、次に ffmpeg -f concat または concat フィルタを使用して結合し、再エンコードします。 新しいファイルの予想される総フレーム数が確認できれば完了です(ffprobe -count_frames)。
  4. 参照に対する検証. python scripts/check_smooth.py <new> --ref <original> --ranges <each edited span> を実行し、オリジナルに対しても(--ref なしで)同様に実行し、それ自体のカウントを確認します。動きのあるすべての編集スパンにおいて、以下を満たせば完了です。
    • フリーズフレーム数が参照の数以下である(保持されたポーズは参照でもフリーズしている)。
    • ジャンプ数が参照の数以下である。
    • 被写体が動く場合の「follows ref」が0.85以上である。 カメラのみがドリフトするスパン(空のショット、ゆっくりとしたズーム)や、動きが約2未満のスパンでは、AIがハンドヘルドのドリフトを再描画するため、「follows」スコアは低くなります。目視で判断し、フリーズ数とジャンプ数が参照以下であることを確認します。その後、ユーザーにサイドバイサイドと、編集スパンのハーフスピードバージョン(setpts=2*PTS)を表示してから、完了とします。

注意点(実際の運用で確認済み)

  • Seedance動画編集は長さを変更します。 3秒の入力が4.04秒(1.35倍にスロー)で返ってきました。6秒の入力は5.7秒で返ってきました。その出力にも1〜3個の独自のフリーズがありました。4秒以上の入力を、カットで開始および終了するように送信してください。返される長さを決して信用せず、毎回ペース合わせを行ってください。
  • ショット全体を置き換える。 ショットの途中で編集フレームを交換すると、元のフレームと編集フレームが交わる部分にジャンプが表示されます。各パーツはカットからカットまでで切り取ってください。
  • 音声トラックが動画より短い と、ffmpeg -shortest は最後のフレームをドロップします(95フレームのカットが93フレームになりました)。splice_parts.py と pace_match.py はすべてのフレームを保持します。手動でリマックスする場合は、-shortest の代わりに -af apad -t <frames/fps> を使用してください。
  • 光の変化はカクつきではありません。 フィルムライトのフリッカー、ランプ、グレードシフトは以前は「ジャンプ」として読み取られていました。現在のチェックでは最初に明るさを均等にし、これらを光の変化としてリストします。残りのジャンプのみを判断してください。
  • Higgsfieldアセットリンク (higgsfield.ai/asset/all/<id>) : idは生成ジョブのidです。Higgsfieldコネクタの jobs_wait でその result_url を読み取り、ダウンロードしてください。
  • 色: ショットごとにマッチングし、各カットで新たに開始するため、あるショットのグレードが次のショットににじむことはありません。

エンジン

  • OpenCV DISオプティカルフロー(デフォルト、--engine opencv): サイドバイサイドテストの後、デフォルトとして選択されました。RIFEと同様にスムーズで、既にインストールされており、GPUは不要です。
  • RIFE (--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1): クラッシュズームなどの高速移動中に約10%シャープですが、1フレームあたり約2.5秒かかります。rife-ncnn-vulkan(github.com/nihui/rife-ncnn-vulkan、約430 MB)が必要で、これはインストールされたままにはなりません。再度ダウンロードする前に確認を取ってください。--gpu で個別のGPUインデックスを選択します(ラップトップでは、多くの場合1。0は通常統合チップです)。
  • それでもスムーズでない場合: 生のAIクリップに対してTopaz Video AI(ApolloまたはChronos)を実行します。ユーザーが実行します。クリップと正確なフレーム数を準備してください。

関連スキル