ビデオ理解
共有エビデンスレイヤーを一度構築します。観測結果をソース時間に保持し、編集上の決定は下流スキルに委ねます。
このスキルは、/video-cut、/video-to-shorts、/video-add-captions、/video-add-content-cards、/video-add-graphic-motion の前提条件です。
最初に実行して、それらのスキルが同じ検証済みエビデンスとタイムラインを消費できるようにします。
依存関係
ffmpeg/ffprobe、Python、および文字起こし用の faster-whisper が必要です。メディアを処理する前にそれらが使用可能か確認してください。
ワークフロー
-
元のソースからプロジェクトを初期化します:
python scripts/init_project.py path/to/source.mp4 path/to/my-video-projectこれにより、
input/、review/00-video-understanding/、final/、最小限のマシン向けwork/ツリー、IDタイムライン、project.json、メディアファクト、およびSTART-HERE.mdが作成されます。選択されていない編集操作のフォルダは作成されません。 -
ソースで明示的なメタデータリフレッシュが必要な場合にのみ、再度プローブします:
python scripts/probe.py input/original-video.mp4 work/understand/media.json -
16kHzモノラルオーディオを抽出し、文字起こしを行います:
ffmpeg -y -i input/original-video.mp4 -ac 1 -ar 16000 work/cache/audio16k.wav python scripts/transcribe.py work/cache/audio16k.wav work/understand/transcript medium ` --lang auto --cache-dir work/cache/faster-whisper未知の言語や多言語音声の場合は
--lang autoを使用します。話されている言語をユーザープロンプトの言語から推測しないでください。録音自体または明示的なユーザーメタデータによって確立された場合にのみ、--lang zhなどの固定言語を指定してください。モデルのダウンロードはプロジェクトローカルのwork/cache/faster-whisper/キャッシュに保持します。Faster-whisperは、開始値と終了値が等しいポイントタイムの単語を発行することがあります。共有タイムラインマッパーはそれを1msの間隔として保持するため、キャプションや派生データでテキストが失われることはありません。 -
客観的なメトリクスとセマンティック候補を生成します:
python scripts/analyze.py work/understand/transcript.json work/understand/analysis.json -
ソース、文字起こし、分析結果を読み取ります。事実に基づく要約、ソース時間範囲、信頼度、文字起こしエビデンスを含む
work/understand/understanding.jsonを作成します。カット、カード、ルックなどを指定しないでください。 -
下流で使用する前に検証します:
python scripts/validate.py understanding work/understand/understanding.json work/understand/transcript.json -
review/00-video-understanding/の下に、これらの有用なレビューアーティファクトのみを作成します:video-summary.md、transcript.srt、contact-sheet.jpg。メタデータ、タイムスタンプ、エビデンス参照、可視フレームを確認します。プロトコル名の代わりにPNGやアドホックなファイル名を使用しないでください。 -
レビューアーティファクトとセマンティックエビデンスが検証された後にのみ、理解操作の
check.statusをpassに設定します。操作ライフサイクルのstatusとチェック結果は別個のものです。verifiedをcheck.statusに書き込まないでください。
契約
project.jsonの作成または検証時には project-schema.md を参照してください。- ソース時間とプログラム時間のマッピング時には timeline-schema.md を参照してください。
- セマンティック理解を作成する前に understanding-schema.md を参照してください。
- 簡潔な例として understanding.example.json を使用してください。
すべての永続的なマシンファイルは work/understand/ にあります。work/cache/ は使い捨てとして扱ってください。