video-analysis
동영상을 모델이 읽을 수 있는 형태로 변환합니다: 모든 프레임의 수치 측정값, 타임스탬프가 포함된 콘택트 시트, 전사, 사운드 타임라인과 스펙트로그램 이미지, 그리고 이들로부터 작성된 분석 보고서입니다. 분석 도구 위에서 실행되는 절차이며, 도구 자체가 아닙니다(소유자의 개인 스크립트는 배포되지 않으며, 학습용 포트는 TOOLS_SPEC을 따릅니다). 절대 편집, 렌더링 또는 스타일을 적용하지 않습니다.
이 파일보다 우선하는 규칙
- 입력은 읽기 전용입니다. 실행 전후 해시값이 일치해야 하며(
input.sha256=sha256_after), 출력은 오직analysis/<video>/디렉토리 아래에만 저장됩니다. 사용자가 제공한 URL만 다운로드하며, 소스와 파일명을 기록합니다. 이는 참조 사본이며 절대 재배포되지 않습니다. 플랫폼 워터마크, 엔드 카드, 징글은 통계에서 제외하고 목록에 기록합니다. - 커버리지를 먼저 명시합니다. 모든 보고서는 커버리지 블록으로 시작합니다: 전체 vs 샘플링, 디코딩된 프레임 수/예상 프레임 수, 제외된 항목, 실행되지 않은 항목. 샘플을 전체 커버리지로 제시해서는 안 됩니다. 샘플링된 실행은 컷 수나 페이싱을 측정된 사실로 인용할 수 없습니다.
- 도구를 실행하고, ffmpeg로 수동 샘플링하지 마십시오. 도구가 없으면
blocked: tool_missing을 명시하고 요청합니다. 수동 대체는 명시적으로sampled레이블을 붙인 경우에만 허용되며, 수치를 포함할 수 없습니다. - 쓰기 전에 읽으십시오: 모든 시트와 모든 오디오 이미지를 보고, 3-6배 확대하고, 모든
check편집 지점을 프레임 단위로 결정하고, 잘못된 수치를 바로잡고 그 사실을 명시합니다. - 로컬, 무료, 프라이빗. 유료 동영상 이해 API, 동영상이나 프레임 또는 오디오 업로드,
private자료에 대한 원격 노래 ID는 날짜가 명시된 견적과 사전 승인(paid-generation-gate) 없이 사용할 수 없습니다. 히브리어 음성은he로 강제 지정되며, 이름, 브랜드, 숫자에 대해 한 번의 ASR 패스를 신뢰해서는 안 됩니다. - 노래 일치는 라이선스가 아닙니다. "X로 식별됨, 동기화 라이선스 미확보" 또는 "식별 불가"로 보고하며, 제목을 임의로 만들어서는 안 됩니다. AudioSet 스타일 레이블은 추정치이며("아마 whoosh"), 템포와 키는 추정치이며 반/두 배 템포를 확인해야 합니다.
- 한 번에 하나의 무거운 작업
render_lock아래에서 실행됩니다. 약 2분을 초과하는 작업은 로그와 예상 완료 시간과 함께 백그라운드에서 실행됩니다. 실행 시간을 보장하지 않습니다(소유자 배치: 부하 상태에서 동영상당 9-23분, 시스템 사양에 따라 다름). 스킬은 절차일 뿐 권한이 아닙니다: 사용자 및 프로젝트 제한이 이 파일을 재정의합니다.
이 스킬이 예상하는 도구 인터페이스 (TOOLS_SPEC video-analysis; --help로 확인)
python tools/analyze.py <video|URL|folder> --out analysis/<video> [--detail quick|standard|full]
[--asr auto|always|never] [--no-song-id] [--no-audio-ai] [--check]
python tools/frames.py <video> --at <t> --pad 0.25 --out analysis/<video> # 짧은 구간의 모든 프레임
출력 계약(references/output-contract.md): analysis/<video>/{measurements.json, frames.csv, sheets/ (index.json + images), transcript.json, audio.json} + breakdown.md.
절차
| # | 수행 | 산출물 |
|---|---|---|
| 0 | 실행을 변경하는 항목만 질문합니다: 전체 분석 또는 한 가지 질문(컷/전사/노래)? 기밀 자료(private)? 분석 보고서 언어는 무엇? 폴더인 경우 먼저 목록 출력; 이전 분석을 덮어쓰지 않음 | 범위 라인 |
| 1 | 사전 점검(analyze --check / doctor): OS, ffmpeg, 감지된 ASR 경로(CPU / Vulkan / CUDA / MLX; 감지되지 않으면 none), Vulkan 환경 플래그 기록; 경로 없음 = 전사에 대해 blocked만 | environment 블록 |
| 2 | 락 아래에서 백그라운드 실행. --detail: quick은 코퍼스/긴 대화, standard 기본값, full은 모션 그래픽, 매우 빠른 편집 또는 전사 참조용(references/thresholds.md). 여러 동영상: 하나의 배치, 그 다음 동영상당 하나의 에이전트(해당 폴더만, breakdown.md가 출력, 마감 기한, 응답 <= 10줄) | 분석 폴더 |
| 3 | python scripts/validate_analysis.py analysis/<video> --stage produced | PASS 또는 실패한 구성 요소 |
| 4 | 읽기: 모든 시트, 모든 오디오 이미지; 확대는 고유 기기만; check 지점 해결; 수치 수정(pacing.override + review.corrections); 템포 절반/두 배 감사 | review 블록 |
| 5 | python scripts/validate_analysis.py analysis/<video> --video <source>; 종료 코드 0이어야 수치를 사실로 제시 가능 | 검증 보고서 |
| 6 | 사용자 언어로 breakdown.md 작성 (references/reading-and-breakdown.md 준수: 커버리지 우선, 7개 섹션, 불확실성은 마지막에) | breakdown.md |
| 7 | 보고: 파일 경로, 5-10줄, 수정 사항, 확인할 수 없었던 사항; 다음 스킬(reference-style-transfer, 타입 스킬)을 직접 수행하는 대신 제안 | 메시지 |
게이트
상태는 pass | fail | blocked | n/a이며 이유를 함께 제시합니다. 타임아웃, 빈 샘플 또는 누락된 입력은 blocked, 절대 pass가 아닙니다. 성공적인 도구 호출은 실행 증거이며, 확인된 시트는 외관 증거입니다.
| 게이트 | 조건 | 증거 | 거짓인 경우 | 소유자 | 재확인 시점 |
|---|---|---|---|---|---|
| G1 기계 프로필 | ASR 경로가 감지되고 기록됨; Vulkan 경로는 GGML_VK_DISABLE_COOPMAT 기록(소유자의 AMD 드라이버는 =1 필요; 다른 드라이버는 테스트되지 않음) | doctor/--check의 measurements.environment | CPU 경로로 대체하고 그 사실을 명시; GPU를 가정하지 않음 | 이 스킬 + doctor | 새 기계, 드라이버 또는 모델 |
| G2 계약 유효 | 다섯 가지 구성 요소 모두 통과 또는 사유와 함께 n/a | validate_analysis.py 종료 코드 0 (--video 제공) | 구성 요소 수정 또는 재실행; 누락된 부분과 함께 INSUFFICIENT 보고 | validate_analysis.py | 재실행 또는 수동 편집 시 |
| G3 커버리지 명시문 | 보고서가 모드, 디코딩/예상 프레임 수, 제외 항목, 실행되지 않은 목록, claims_not_allowed로 시작 | breakdown.md의 첫 번째 블록 | 추가하고, 주장을 "sampled"로 하향 조정 | 이 스킬 | 각 보고서 |
| G4 컷 감지기 회귀 | 검출기 임계값 변경 시 F1이 레이블링된 세트의 기준선 이상 유지(소유자 과거 0.89 = P 0.87 / R 0.91, 20개의 수동 검증된 광고, 339개의 편집 지점, 비공개, 미재현성; 알려진 사각지대: 키네틱 타입 및 연속 카메라 조각) | cut_regression.py --pair ... --min-f1 0.89 종료 코드 0, >= 100개의 실제 지점 | 임계값 변경 되돌리기 | cut_regression.py | 모든 검출기 변경 시; 육안으로 확인 불가 |
| G5 입력 건드리지 않음 | 소스 해시가 전후 일치 | validate_analysis.py --video | 원본에서 파일 복원 후 재실행 | validate_analysis.py | 매 실행 시 |
| G6 쓰기 전 읽기 | 모든 키프레임/개요 시트 및 오디오 이미지 확인; 모든 check 지점 해결; 프레임에서 수치 검증 | review 블록 완료(단계 검토됨) | 돌아가서 확인 | 이 스킬 | 각 분석 시 |
| G7 프라이버시 및 권리 | private 입력: 원격 노래 ID, 클라우드 ASR, 프레임 업로드 금지; 일치 = 라이선스 아님 | song_id.status, asr.route | 발췌 로그 삭제 후 로컬 재실행 | 이 스킬 | 각 실행 시 |
인용할 수치와 한계 및 범위
- 컷 감지기: 소유자 튜닝만 해당(G4); 자동 컷 수는 광고-프로모션 동영상의 약 60%에서 프레임 확인 전까지 틀렸습니다; 한 키네틱 타입 예제는 자동으로 분당 108컷, 시트에서는 42컷을 읽었습니다.
- ASR(소유자 기계, E08, 단일 패스, 낭독 음성): Vulkan 5.82 오디오-초/벽-초, CPU CT2 int8 0.84, WER 17.7-19.4%:
references/volatile-facts.md(날짜 기입, 2026-12-31 만료). - 사운드 분석은 실제로만 실행됨: 비트/BPM/키는 최소 3초의 음악 필요; 보컬이 있는 노래는 no-VAD 가사 패스 필요(신뢰할 수 있는 세그먼트만, "SUNG LYRICS" 태그).
참조 자료 (필요시 로드)
references/output-contract.md- 출력 파일 작성, 포팅 또는 디버깅 시; 검증 보고서 읽기 시.references/thresholds.md- 검출기 튜닝 또는 포팅,--detail선택, 잘못된 수치 설명 시.references/reading-and-breakdown.md- 시트 읽기 전 및 분석 보고서 쓰기 전.references/volatile-facts.md- 속도, WER, 가격, 라이선스 또는 도구 사실 인용 전(날짜 기입 모듈).agent-content/references/asr-routes.md(표준 ASR 경로, 다른 곳 소유) 및hebrew-captions-asr(자막급 전사);reference-style-transfer는 이 스킬의 폴더를 사용합니다.- 스크립트:
scripts/validate_analysis.py(계약 확인,--self-check),scripts/cut_regression.py(F1 게이트,--self-check); 둘 다 실패 시 종료(종료 코드 0 / 1 / 2).