Analyse vidéo
Convertit une vidéo en ce qu'un modèle peut lire : une mesure numérique de chaque image, des planches de contacts horodatées, une transcription, une chronologie sonore et des images de spectrogramme, puis une analyse écrite à partir de ces données. Il s'agit d'une procédure utilisant l'outil d'analyse, pas de l'outil lui-même (le script privé du propriétaire n'est pas distribué ; le portage étudiant suit TOOLS_SPEC). Il n'édite jamais, ne rend jamais et n'applique jamais un style.
Règles qui prévalent sur le reste de ce fichier
- Les entrées sont en lecture seule. Hachage avant et après (
input.sha256=sha256_after) ; les sorties vont uniquement dansanalysis/<video>/. Téléchargez uniquement l'URL donnée par l'utilisateur, en nommant la source et le fichier ; c'est une copie de référence, jamais redistribuée ; un filigrane de la plateforme, une carte de fin et un jingle sont exclus des statistiques et listés. - La couverture est indiquée en premier. Chaque rapport commence par un bloc de couverture : complète ou échantillonnée, images décodées sur attendues, ce qui a été exclu, ce qui n'a PAS été exécuté. Un échantillon n'est jamais présenté comme une couverture complète. Une exécution échantillonnée ne peut pas citer les comptes de coupes ou le rythme comme des faits mesurés.
- Exécutez l'outil ; n'échantillonnez jamais manuellement avec ffmpeg. Si l'outil est manquant, indiquez
bloqué : outil_manquantet demandez ; un repli manuel n'est autorisé que comme un aperçu explicitement étiquetééchantillonnesans comptes. - Lisez avant d'écrire : visualisez CHAQUE planche et CHAQUE image audio ; zoomez 3 à 6 fois ; décidez chaque point de montage
checkà partir des images ; corrigez les comptes erronés et signalez-le. - Local, gratuit, privé. Pas d'API payante de compréhension vidéo, pas de téléversement de la vidéo, de ses images ou de son audio, pas d'identification de chanson à distance sur du contenu
privé, sans un devis daté et une approbation préalable (paid-generation-gate). Le discours hébreu est forcé àhe; ne vous fiez jamais à une seule passe ASR pour les noms, les marques et les nombres. - Une correspondance de chanson n'est pas une licence. Rapportez "identifié comme X, licence de synchronisation non établie" ou "non identifié" ; n'inventez jamais un titre. Les étiquettes de type AudioSet sont des suppositions ("probablement un whoosh") ; le tempo et la tonalité sont des estimations avec vérification moitié/double tempo.
- Un seul travail lourd à la fois sous
render_lock; tout ce qui dépasse environ 2 minutes s'exécute en arrière-plan avec un journal et une ETA ; pas de promesse de temps d'exécution (lot du propriétaire : 9-23 min par vidéo sous charge, dépendant de la machine). Les compétences sont une procédure, pas une permission : les restrictions de l'utilisateur et du projet prévalent sur ce fichier.
Interface d'outil attendue par cette compétence (TOOLS_SPEC video-analysis ; vérifiez avec --help)
python tools/analyze.py <video|URL|dossier> --out analysis/<video> [--detail rapide|standard|complet]
[--asr auto|toujours|jamais] [--no-song-id] [--no-audio-ai] [--check]
python tools/frames.py <video> --at <t> --pad 0.25 --out analysis/<video> # chaque image d'une courte fenêtre
Contrat de sortie (references/output-contract.md) : analysis/<video>/{measurements.json, frames.csv, sheets/ (index.json + images), transcript.json, audio.json} + breakdown.md.
Procédure
| # | Faire | Artefact |
|---|---|---|
| 0 | Demander uniquement ce qui change l'exécution : analyse complète ou une question (coupes / transcription / chanson) ? Contenu confidentiel (privé) ? Quelle langue pour l'analyse ? Un dossier : listez-le d'abord ; ne jamais écraser une analyse antérieure | ligne de portée |
| 1 | Pré-vol (analyze --check / doctor) : enregistrer OS, ffmpeg, route ASR détectée (CPU / Vulkan / CUDA / MLX ; aucune si non détectée), le drapeau d'environnement Vulkan ; pas de route = bloqué pour la transcription uniquement | bloc environnement |
| 2 | Exécuter en arrière-plan sous le verrou. --detail : rapide pour corpus/longue discussion, standard par défaut, complet pour graphiques animés, montages très rapides ou une référence à transférer (references/thresholds.md). Plusieurs vidéos : un lot, puis un agent par vidéo (son dossier uniquement, breakdown.md comme sortie, échéance, réponse <= 10 lignes) | dossiers d'analyse |
| 3 | python scripts/validate_analysis.py analysis/<video> --stage produced | RÉUSSI ou les composants défaillants |
| 4 | Lire : toutes les planches, toutes les images audio ; zoomer uniquement sur les écrans distincts ; résoudre les points check ; corriger le compte (pacing.override + review.corrections) ; vérifier le tempo moitié/double | bloc review |
| 5 | python scripts/validate_analysis.py analysis/<video> --video <source> ; sortie 0 requise pour présenter les chiffres comme des faits | rapport de validation |
| 6 | Écrire breakdown.md dans la langue de l'utilisateur selon references/reading-and-breakdown.md (couverture d'abord, 7 sections, incertitudes en dernier) | breakdown.md |
| 7 | Rapporter : le chemin du fichier, 5-10 lignes, les corrections, ce qui n'a pas pu être établi ; proposer la compétence suivante (reference-style-transfer, une compétence de type) au lieu de le faire | message |
Barrières
Les états sont réussi | échoué | bloqué | n/a avec une raison. Un délai d'attente, un échantillon vide ou une entrée manquante est bloqué, jamais réussi. Un appel d'outil réussi est une preuve d'exécution ; les planches visualisées sont une preuve d'apparence.
| Barrière | Prédicat | Preuve | Si faux | Propriétaire | Re-vérification quand |
|---|---|---|---|---|---|
| G1 profil machine | Route ASR détectée et enregistrée ; la route Vulkan enregistre GGML_VK_DISABLE_COOPMAT (le pilote AMD du propriétaire a besoin de =1 ; autres pilotes non testés) | measurements.environment de doctor/--check | basculer vers la route CPU et le dire ; ne jamais supposer un GPU | cette compétence + doctor | nouvelle machine, pilote ou modèle |
| G2 contrat valide | les cinq composants passent ou sont n/a avec une raison | validate_analysis.py sortie 0 (--video fourni) | corriger ou ré-exécuter le composant ; signaler INSUFFISANT avec la pièce manquante | validate_analysis.py | toute ré-exécution ou modification manuelle |
| G3 déclaration de couverture | le rapport s'ouvre avec le mode, images décodées/attendues, exclusions, liste non exécutée, reclamations_non_autorisees | premier bloc de breakdown.md | l'ajouter ; rétrograder les affirmations à "échantillonné" | cette compétence | chaque rapport |
| G4 régression du détecteur de coupes | tout changement d'un seuil de détecteur maintient F1 >= la base de référence de l'ensemble étiqueté (le propriétaire historique 0.89 = P 0.87 / R 0.91 sur 20 publicités vérifiées à la main, 339 points de montage, privé, non reproduit ; angle mort connu : typographie cinétique et pièces à caméra continue) | cut_regression.py --pair ... --min-f1 0.89 sortie 0 avec >= 100 points de vérité | annuler le changement de seuil | cut_regression.py | tout changement de détecteur ; jamais à l'œil |
| G5 entrées intactes | le hachage source est égal avant et après | validate_analysis.py --video | restaurer le fichier depuis l'original, ré-exécuter | validate_analysis.py | chaque exécution |
| G6 lire avant d'écrire | chaque planche d'image clé/vue d'ensemble et image audio visualisée ; chaque point check résolu ; comptes vérifiés sur les images | bloc review complet (étape revue) | revenir en arrière et les visualiser | cette compétence | chaque analyse |
| G7 vie privée et droits | entrée privée : pas d'identification de chanson à distance, pas d'ASR cloud, pas de téléversement d'image ; correspondance = pas de licence | song_id.status, asr.route | supprimer le journal d'extrait, ré-exécuter localement | cette compétence | chaque exécution |
Chiffres et limites à citer avec leur portée
- Détecteur de coupes : réglage du propriétaire uniquement (G4) ; le comptage automatique des coupes était erroné dans environ 60 % des vidéos promotionnelles jusqu'à vérification sur les images ; un exemple de typographie cinétique indiquait 108 coupes/min automatiquement contre 42 à partir des planches.
- ASR (machine du propriétaire, E08, une passe, discours lu) : Vulkan 5.82 audio-s par mur-s, CPU CT2 int8 0.84, WER 17.7-19.4 % :
references/volatile-facts.md(daté ; expire le 31/12/2026). - L'analyse sonore ne s'exécute que pour de vrai : beats/BPM/tonalité nécessitent >= 3 s de musique ; voix chantées nécessitent la passe de paroles sans VAD (segments confiants uniquement, étiquetés "PAROLES CHANTÉES").
Références (charger quand)
references/output-contract.md- écrire, porter ou déboguer un fichier de sortie ; lire un rapport de validation.references/thresholds.md- régler ou porter le détecteur, choisir--detail, expliquer un compte erroné.references/reading-and-breakdown.md- avant de lire les planches et avant d'écrire l'analyse.references/volatile-facts.md- avant de citer toute vitesse, WER, prix, licence ou fait d'outil (module daté).agent-content/references/asr-routes.md(routes ASR canoniques, détenues ailleurs) ethebrew-captions-asr(transcriptions de qualité sous-titres) ;reference-style-transferconsomme les dossiers de cette compétence.- Scripts :
scripts/validate_analysis.py(vérification de contrat,--self-check),scripts/cut_regression.py(barrière F1,--self-check) ; les deux échouent fermés (sortie 0 / 1 / 2).