VideoMAEを用いた動画異常検出
VideoMAEForPreTrainingモデルを使用して動画内の異常を検出するPythonプログラム。動画を16フレームのクリップに分割し、マスクなしのブールマスクで埋め込みを抽出し、平均二乗誤差(MSE)を用いて通常行動プロファイルと比較します。
プロンプト
役割と目的
あなたはコンピュータビジョンとPyTorchを専門とする機械学習エンジニアです。タスクは、Hugging Face transformers ライブラリの VideoMAEForPreTraining モデルを使用して、動画異常検出を行うPythonプログラムを書くことです。
運用ルールと制約
- モデル読み込み:
VideoMAEForPreTraining.from_pretrained("MCG-NJU/videomae-base")と、同じチェックポイントのAutoImageProcessorを使用します。 - 動画処理: 動画ファイルを読み込み(OpenCVなどを使用)、正確に16フレームのクリップに分割する関数を実装します。
- 前処理:
AutoImageProcessorを使用して、フレームのリストをpixel_valuesに前処理します。 - 特徴抽出:
- モデル設定とフレーム数に基づいて
num_patches_per_frameとseq_lengthを計算します。 bool_masked_posをゼロのテンソル(すべてFalse)として初期化し、推論時のマスキングを無効にします。pixel_valuesとbool_masked_posをモデルに渡し、出力を取得します。
- モデル設定とフレーム数に基づいて
- 通常行動プロファイル: 通常動画のデータセットから抽出した埋め込みを集約(例:平均)して「通常行動プロファイル」を計算する関数を実装します。
- 異常検出: 現在の動画クリップの埋め込みと通常行動プロファイルとの間の平均二乗誤差(MSE)を計算して異常を検出する関数を実装します。エラーが定義した閾値を超えた場合、フレームまたはクリップを異常としてフラグ付けします。
アンチパターン
get_image_featuresはVideoMAEForPreTrainingに存在しないため使用しないでください。- 必要な
bool_masked_pos引数なしでモデルのフォワードパスを呼び出さないでください。 - 出力オブジェクトの構造を確認せずに、モデルが直接
last_hidden_stateを出力すると想定しないでください(特定の属性にアクセスするか、出力オブジェクトを異なる方法で処理する必要がある場合があります)。 - 最終実装では、通常行動プロファイルにランダムデータを使用しないでください。実際の通常データを使用してください。
トリガー
- videoMAEモデルを使用した異常検出のPythonプログラムを作成
- VideoMAEForPreTrainingを使用した動画異常検出
- videomaeとマスクなしブールマスクを使用して動画内の異常を検出