スムーズ動画 (ペース合わせ) は何をしますか?
AI動画ツールは、指定された長さを返すことはほとんどなく、さらに独自のフリーズ(直前のフレームとほとんど変わらないフレーム)を追加します。クリップをスロットに合わせるために最も近いフレームを選択すると、一部のフレームがスキップされ、他のフレームが繰り返されます。これがカクつきの原因です。ペース合わせ では、代わりに、出力フレームのすべてがソースフレームか、必要な正確な瞬間に描画されたオプティカルフローによる補間フレームであり、クリップがフィルムの一部を置き換える場合、置き換えられた部分とまったく同じように動くようにタイミングが調整されます。
ツール: このファイルと同じディレクトリの scripts/。Python(opencv-python + numpy)と、PATHが通った ffmpeg が必要です。すべてのスクリプトは新しいファイルを書き込みます。ソース動画はそのまま残ります。
手順
- 測定. 関係するすべてのクリップとフィルム(元のフィルムがある場合は
--refで指定)に対してpython scripts/check_smooth.py <clip>を実行します。これは、明るさとコントラストを均等にした状態でフレームを比較するため、照明の変化(セットのフィルムフリッカー、ランプ、グレードシフト)は光の変化としてリストされ、ジャンプとしては扱われません。これらは意図的なものであり、カクつきではありません。VERDICT already smoothと表示された場合は、ペース合わせの必要はありません。その旨を伝え、そのクリップについては手順2をスキップします。各部分について、そのフレーム数と埋めるべきスパン、カット位置、フリーズフレームが分かれば完了です。 - 各部分をペース合わせ. 次の分岐を選択します。
- フィルムの一部を置き換える場合(元の部分が存在する場合): フィルムからその正確なスパンを切り出し(
ffmpeg -ss <start> -t <len>、フレームを正確にするために再エンコード)、次にpython scripts/pace_match.py --edit <ai_part> --ref <original_span> --out <part_paced>を実行します。ショットとカットは自動的にペアリングされます。カット数が異なる場合は、--shots ref_from-ref_to:clip_from-clip_to,...を渡します。 - 参照がないクリップの場合(生のAIクリップを結合する場合、またはカクつくクリップの場合):
python scripts/pace_match.py --edit <clip> --out <clip_paced>は、フリーズを削除し、クリップ自体の長さ、または--frames Nで指定された長さに均等に再配置します。フリーズがないクリップは変更されずにコピーされます(--forceで強制的に再描画も可能)。AIがスキップしたフレームを再構築することはできません。残ったジャンプには--refまたは RIFE/Topaz が必要です。 音声は自動的に付随し(--audio-fromで別のファイルを選択、--no-audioで削除)、正確なフレーム数にパディングまたはトリミングされます。書き込まれたフレーム数が異なる場合、スクリプトは停止します。 ペース調整された各部分が、そのスパンの正確なフレーム数、ショットごと、各カットがオリジナルと同じフレームで出力されれば完了です。 - 何かが起こる直前でカットする場合(「ポップコーンが跳ねる直前でカット」):
python scripts/find_moment.py <clip> --roi x,y,w,h --from <s> --to <s> --out sheet.jpg。--roiは監視する領域で、フレームの割合で指定します。各フレームの局所的な変化を明るさを均等にし、カメラのドリフトを差し引いて表示し、可能性の高いイベントをランク付けし、各フレームの時間と番号が記載されたコンタクトシートを出力します。シートを確認します。カットは、対象が動き始める前の最後のフレーム、多くの場合、最もランクの高いフレームの1〜2フレーム前に配置します。その後、ffmpeg -i <clip> -frames:v <N> ... -af apad -t <N/fps>(再エンコード。-shortestは決して使用しない)。イベントフレームを各バージョンで個別に確認します。1080p最終版では、480pドラフトよりも1〜2フレーム早くイベントが開始する可能性があります。
- フィルムの一部を置き換える場合(元の部分が存在する場合): フィルムからその正確なスパンを切り出し(
- 組み立て.
- フィルムへのパーツの挿入:
python scripts/splice_parts.py --film <film> --out <film_v2> --part <start_s>:<end_s>:<part_paced> ...。各ショットを置き換えるショットにカラーマッチングし、フィルムの音声とすべてのフレームを保持し、フレーム数が一致しないパーツは拒否します。 - クリップを1つの動画に結合: 最初にすべてのクリップを同じサイズとfpsにし、次に
ffmpeg -f concatまたは concat フィルタを使用して結合し、再エンコードします。 新しいファイルの予想される総フレーム数が確認できれば完了です(ffprobe -count_frames)。
- フィルムへのパーツの挿入:
- 参照に対する検証.
python scripts/check_smooth.py <new> --ref <original> --ranges <each edited span>を実行し、オリジナルに対しても(--refなしで)同様に実行し、それ自体のカウントを確認します。動きのあるすべての編集スパンにおいて、以下を満たせば完了です。- フリーズフレーム数が参照の数以下である(保持されたポーズは参照でもフリーズしている)。
- ジャンプ数が参照の数以下である。
- 被写体が動く場合の「follows ref」が0.85以上である。
カメラのみがドリフトするスパン(空のショット、ゆっくりとしたズーム)や、動きが約2未満のスパンでは、AIがハンドヘルドのドリフトを再描画するため、「follows」スコアは低くなります。目視で判断し、フリーズ数とジャンプ数が参照以下であることを確認します。その後、ユーザーにサイドバイサイドと、編集スパンのハーフスピードバージョン(
setpts=2*PTS)を表示してから、完了とします。
注意点(実際の運用で確認済み)
- Seedance動画編集は長さを変更します。 3秒の入力が4.04秒(1.35倍にスロー)で返ってきました。6秒の入力は5.7秒で返ってきました。その出力にも1〜3個の独自のフリーズがありました。4秒以上の入力を、カットで開始および終了するように送信してください。返される長さを決して信用せず、毎回ペース合わせを行ってください。
- ショット全体を置き換える。 ショットの途中で編集フレームを交換すると、元のフレームと編集フレームが交わる部分にジャンプが表示されます。各パーツはカットからカットまでで切り取ってください。
- 音声トラックが動画より短い と、
ffmpeg -shortestは最後のフレームをドロップします(95フレームのカットが93フレームになりました)。splice_parts.pyとpace_match.pyはすべてのフレームを保持します。手動でリマックスする場合は、-shortestの代わりに-af apad -t <frames/fps>を使用してください。 - 光の変化はカクつきではありません。 フィルムライトのフリッカー、ランプ、グレードシフトは以前は「ジャンプ」として読み取られていました。現在のチェックでは最初に明るさを均等にし、これらを光の変化としてリストします。残りのジャンプのみを判断してください。
- Higgsfieldアセットリンク (
higgsfield.ai/asset/all/<id>) : idは生成ジョブのidです。Higgsfieldコネクタのjobs_waitでそのresult_urlを読み取り、ダウンロードしてください。 - 色: ショットごとにマッチングし、各カットで新たに開始するため、あるショットのグレードが次のショットににじむことはありません。
エンジン
- OpenCV DISオプティカルフロー(デフォルト、
--engine opencv): サイドバイサイドテストの後、デフォルトとして選択されました。RIFEと同様にスムーズで、既にインストールされており、GPUは不要です。 - RIFE (
--engine rife --rife <rife-ncnn-vulkan.exe> --gpu 1): クラッシュズームなどの高速移動中に約10%シャープですが、1フレームあたり約2.5秒かかります。rife-ncnn-vulkan(github.com/nihui/rife-ncnn-vulkan、約430 MB)が必要で、これはインストールされたままにはなりません。再度ダウンロードする前に確認を取ってください。--gpuで個別のGPUインデックスを選択します(ラップトップでは、多くの場合1。0は通常統合チップです)。 - それでもスムーズでない場合: 生のAIクリップに対してTopaz Video AI(ApolloまたはChronos)を実行します。ユーザーが実行します。クリップと正確なフレーム数を準備してください。