video-analysis
動画をモデルが読める形に変換します:全フレームの数値計測、タイムスタンプ付きコンタクトシート、文字起こし、サウンドタイムラインとスペクトログラム画像、そしてそれらから作成された分析レポート。これは分析ツールに対する手順であり、ツールそのものではありません(所有者のプライベートスクリプトは同梱されず、移植版はTOOLS_SPECに従います)。編集、レンダリング、スタイル適用は決して行いません。
このファイルよりも優先されるルール
- 入力は読み取り専用です。 前後のハッシュを比較(
input.sha256=sha256_after);出力はanalysis/<video>/以下にのみ配置します。ユーザーが指定したURLのみをダウンロードし、ソースとファイル名を明記します。これは参照用コピーであり、再配布は禁止です。プラットフォームのウォーターマーク、エンドカード、ジングルは統計から除外し、リストに記載します。 - カバレッジを最初に明示します。 すべてのレポートはカバレッジブロックで始まります:フル vs サンプリング、デコード済み/期待フレーム数、除外されたもの、実行されなかったもの。サンプルをフルカバレッジとして提示してはいけません。サンプリング実行では、カット数やペーシングを測定された事実として引用してはいけません。
- ツールを実行し、ffmpegで手動サンプリングしないでください。 ツールがない場合は
blocked: tool_missingと報告して要求します。手動フォールバックは、明示的にsampledとラベル付けした確認のみ許可され、カウントは行いません。 - 読んでから書く: すべてのシートとすべての音声画像を表示し、3~6倍にズームし、すべての
check編集ポイントをフレームから判断し、誤ったカウントを修正して報告します。 - ローカル、無料、プライベート。 有料の動画理解APIは使用せず、動画やフレーム、音声をアップロードせず、
private素材のリモート曲識別も行いません。日付入りの見積もりと事前承認(paid-generation-gate)が必要です。ヘブライ語音声は強制的にheに設定され、名前、ブランド、数字については一度のASRパスを信頼してはいけません。 - 曲の一致はライセンスではありません。 「Xと識別されたが、同期許可は確認されていない」または「未識別」と報告し、タイトルをでっち上げてはいけません。AudioSet形式のラベルは推測であり(「おそらくウィッシュ音」)、テンポとキーは推定値であり、倍速/半減速を確認する必要があります。
- 一度に1つの重いジョブを
render_lockの下で実行します。約2分を超えるものはバックグラウンドでログとETA付きで実行され、実行時間は保証されません(所有者のバッチ:負荷下で動画1本あたり9~23分、マシン依存)。スキルは手順であり、許可ではありません。ユーザーとプロジェクトの制限がこのファイルより優先されます。
このスキルが想定するツールインターフェース(TOOLS_SPEC video-analysis、--help で確認)
python tools/analyze.py <video|URL|folder> --out analysis/<video> [--detail quick|standard|full]
[--asr auto|always|never] [--no-song-id] [--no-audio-ai] [--check]
python tools/frames.py <video> --at <t> --pad 0.25 --out analysis/<video> # 短いウィンドウの全フレーム
出力契約(references/output-contract.md):analysis/<video>/{measurements.json, frames.csv, sheets/ (index.json + images), transcript.json, audio.json} + breakdown.md。
手順
| # | 実行内容 | 成果物 |
|---|---|---|
| 0 | 実行内容のみ質問:全体の分析か、1つの質問(カット/文字起こし/曲)か?機密素材(private)か?分析レポートの言語は?フォルダの場合は最初に一覧表示;以前の分析を上書きしない | スコープ行 |
| 1 | 事前チェック(analyze --check / doctor):OS、ffmpeg、検出されたASRルート(CPU / Vulkan / CUDA / MLX;未検出の場合は none)、Vulkan環境フラグを記録;ルートなし = 文字起こしのみ blocked | environment ブロック |
| 2 | ロック下でバックグラウンド実行。--detail:コーパス/長時間トークには quick、デフォルトは standard、モーショングラフィックスや非常に速い編集、転送用の参照には full(references/thresholds.md)。複数動画:1バッチ、次に動画ごとに1エージェント(そのフォルダのみ、breakdown.md を出力、期限、返信は10行以内) | 分析フォルダ |
| 3 | python scripts/validate_analysis.py analysis/<video> --stage produced | PASS または失敗コンポーネント |
| 4 | 読み取り:すべてのシート、すべての音声画像;異なるデバイスのみズーム;check ポイントを解決;カウントを修正(pacing.override + review.corrections);テンポの倍速/半減速を確認 | review ブロック |
| 5 | python scripts/validate_analysis.py analysis/<video> --video <source>;終了コード0が必要で、数値を事実として提示可能 | 検証レポート |
| 6 | references/reading-and-breakdown.md に従い、ユーザーの言語で breakdown.md を作成(最初にカバレッジ、7セクション、不確実性は最後) | breakdown.md |
| 7 | 報告:ファイルパス、5~10行、修正点、確定できなかった点;次のスキル(reference-style-transfer、タイプスキル)を提案し、代わりに実行しない | メッセージ |
ゲート
状態は pass | fail | blocked | n/a と理由。タイムアウト、空サンプル、入力欠落は blocked、pass ではありません。ツール呼び出し成功は実行の証拠、表示されたシートは外観の証拠です。
| ゲート | 述語 | 証拠 | 偽の場合 | 責任者 | 再確認タイミング |
|---|---|---|---|---|---|
| G1 マシンプロファイル | ASRルートが検出され記録されている;Vulkanルートは GGML_VK_DISABLE_COOPMAT を記録(所有者のAMDドライバは =1 が必要;その他ドライバは未テスト) | doctor/--check からの measurements.environment | CPUルートにフォールバックして報告;GPUを決して仮定しない | このスキル + doctor | 新しいマシン、ドライバ、またはモデル |
| G2 契約有効 | 5つのコンポーネントすべてがパス、または理由付きで n/a | validate_analysis.py 終了コード0(--video 指定) | コンポーネントを修正または再実行;不足部分をINSUFFICIENTと報告 | validate_analysis.py | 再実行または手動編集 |
| G3 カバレッジステートメント | レポートがモード、デコード/期待フレーム数、除外、未実行リスト、claims_not_allowed で始まる | breakdown.md の最初のブロック | 追加;主張を「sampled」に格下げ | このスキル | 各レポート |
| G4 カット検出器回帰 | 検出器のしきい値変更により、ラベル付きセットのベースラインF1以上を維持(所有者の履歴:20の手動検証済み広告、339編集ポイント、プライベート、未再現で0.89 = P 0.87 / R 0.91;既知の盲点:キネティックタイプと連続カメラ部分) | cut_regression.py --pair ... --min-f1 0.89 終了コード0、>= 100 真実点 | しきい値変更を元に戻す | cut_regression.py | 検出器変更ごと;目視では決して行わない |
| G5 入力未変更 | ソースハッシュが前後で一致 | validate_analysis.py --video | 元のファイルから復元し再実行 | validate_analysis.py | 毎回の実行時 |
| G6 読んでから書く | すべてのキーフレーム/概要シートと音声画像を表示;すべての check ポイントを解決;フレーム上のカウントを確認 | review ブロック完了(ステージ reviewed) | 戻って表示する | このスキル | 各分析時 |
| G7 プライバシーと権利 | private 入力:リモート曲識別なし、クラウドASRなし、フレームアップロードなし;一致 = ライセンスなし | song_id.status、asr.route | 抜粋ログを削除しローカルで再実行 | このスキル | 毎回の実行時 |
引用する数値と制限、およびその範囲
- カット検出器:所有者のチューニングのみ(G4);自動カット数は、広告プロモーションビデオの約60%でフレーム確認まで誤りがあった;キネティックタイプの1例では、自動的に108 カット/分と読み取られ、シートからは42 カット/分だった。
- ASR(所有者のマシン、E08、1パス、読み上げ音声):Vulkan 5.82 音声秒/壁秒、CPU CT2 int8 0.84、WER 17.7-19.4%:
references/volatile-facts.md(日付入り、2026-12-31 期限)。 - サウンド分析は実際に実行される場合のみ:ビート/BPM/キーは最低3秒の音楽が必要;歌唱ボーカルはno-VAD歌詞パスが必要(信頼できるセグメントのみ、「SUNG LYRICS」とタグ付け)。
参考文献(必要に応じて読み込む)
references/output-contract.md- 出力ファイルの作成、移植、デバッグ時、検証レポートの読み取り時。references/thresholds.md- 検出器のチューニングや移植時、--detailの選択時、誤ったカウントの説明時。references/reading-and-breakdown.md- シート読み取り前と分析レポート作成前。references/volatile-facts.md- 速度、WER、価格、ライセンス、ツールの事実を引用する前(日付入りモジュール)。agent-content/references/asr-routes.md(標準的なASRルート、他が管理)とhebrew-captions-asr(キャプション品質の文字起こし);reference-style-transferはこのスキルのフォルダを消費します。- スクリプト:
scripts/validate_analysis.py(契約チェック、--self-check)、scripts/cut_regression.py(F1ゲート、--self-check);両方とも失敗時にクローズ(終了コード0/1/2)。