Lorsque cette compétence est activée, commencez toujours votre première réponse par l'emoji :mag:.
Que fait Analyseur Vidéo ?
L'analyse vidéo est la pratique consistant à extraire des informations structurées de fichiers vidéo - métadonnées, images-clés, limites de scènes, palettes de couleurs, données de mouvement et caractéristiques audio. Un pipeline d'analyse vidéo bien construit combine FFmpeg pour l'extraction d'images et le traitement du signal avec des modèles de vision IA pour la compréhension sémantique du contenu visuel. Cette compétence couvre le workflow complet, des fichiers vidéo bruts aux données exploitables : utilisation de ffprobe pour l'inspection des métadonnées, des graphes de filtres FFmpeg pour l'extraction d'images et la détection de scènes, l'analyse audio pour la détection de silence et de volume, et la vision IA pour l'extraction de systèmes de design et la compréhension du contenu.
Les deux piliers de l'analyse vidéo sont FFmpeg (le couteau suisse du traitement multimédia) et les modèles de vision IA (pour comprendre ce qui se trouve dans chaque image). FFmpeg gère le travail mécanique - diviser la vidéo en images, détecter les changements de scène via des seuils de différence de pixels, extraire les formes d'onde audio. La vision IA gère le travail sémantique - identifier les composants d'interface utilisateur, lire le texte, extraire les valeurs de couleur et comprendre les motifs de mise en page.
Quand utiliser cette compétence
Déclenchez cette compétence lorsque l'utilisateur :
- Souhaite extraire des images d'une vidéo à intervalles réguliers ou aux limites de scènes
- A besoin d'analyser des métadonnées vidéo (résolution, durée, codecs, débit)
- Pose des questions sur la détection de scènes ou les horodatages de changement de scène
- Souhaite extraire une palette de couleurs ou un système de design à partir d'un contenu vidéo
- A besoin d'analyser des pistes audio (détection de silence, niveaux de volume, formes d'onde)
- Pose des questions sur l'analyse de mouvement ou le timing d'animation à partir d'une vidéo
- Souhaite utiliser la vision IA pour comprendre le contenu vidéo image par image
- A besoin de générer des miniatures ou des bandes d'aperçu à partir de fichiers vidéo
Ne déclenchez PAS cette compétence pour :
- Créer ou éditer des vidéos à partir de zéro - utilisez remotion-video ou video-creator
- Écrire des scripts vidéo ou des storyboards - utilisez video-scriptwriting
- Diffusion vidéo en direct ou traitement vidéo en temps réel
- Encodage/transcodage vidéo pour distribution (c'est une tâche de rendu, pas d'analyse)
Principes clés
-
Extraire puis analyser - Séparez toujours l'extraction d'images (FFmpeg) de l'analyse sémantique (vision IA). Essayer de faire les deux en une seule étape conduit à des pipelines fragiles. Extrayez d'abord les images sur disque, puis analysez-les.
-
Utilisez ffprobe avant ffmpeg - Avant de traiter une vidéo, inspectez-la avec ffprobe pour comprendre ses propriétés. Exécuter aveuglément des commandes FFmpeg sur des formats inconnus entraîne des échecs silencieux et des sorties corrompues.
-
Détection de scènes plutôt qu'intervalles fixes - Lors de l'analyse d'un contenu vidéo, extrayez les images aux limites de scènes plutôt qu'à intervalles de temps fixes. Les images de changement de scène capturent la diversité visuelle de la vidéo avec beaucoup moins d'images qu'une extraction par seconde.
-
Sortie JSON partout - Utilisez le format de sortie JSON de ffprobe et structurez vos résultats d'analyse en JSON. Cela rend les pipelines composables et les résultats lisibles par machine.
-
Conscience de l'espace disque - L'extraction d'images vidéo peut générer des milliers de grands fichiers image. Estimez toujours la taille de sortie avant d'extraire, utilisez des formats d'image appropriés (JPEG pour l'analyse, PNG pour un travail pixel-parfait) et nettoyez les images temporaires après l'analyse.
Concepts fondamentaux
Architecture du pipeline FFmpeg
FFmpeg traite la vidéo à travers un pipeline de démultiplexage, décodage, filtrage, encodage et multiplexage. Pour l'analyse, nous utilisons principalement les étages de décodage et de filtrage :
Fichier d'entrée -> Démultiplexeur -> Décodeur -> Graphe de filtres -> Sortie (images/données)
Concepts clés des filtres pour l'analyse :
- Filtre
select: choisir les images à produire en fonction d'expressions - Filtre
showinfo: afficher les métadonnées des images (horodatages, type d'image, etc.) - Détection
scene: score de différence au niveau pixel entre images consécutives - Filtre
fps: réduire la fréquence d'images pour extraire à intervalles réguliers
Détection de scènes
La détection de scènes fonctionne en comparant des images consécutives à l'aide de la différence de pixels. Le filtre scene d'FFmpeg produit un score de 0,0 (identique) à 1,0 (complètement différent). Un seuil de 0,3-0,4 capture les changements de scène majeurs tout en ignorant les mouvements de caméra et les variations d'éclairage.
| Seuil | Comportement |
|---|---|
| 0,1-0,2 | Très sensible - capture les panoramiques, zooms, changements d'éclairage |
| 0,3-0,4 | Équilibré - capture les coupures, transitions, changements majeurs |
| 0,5-0,7 | Conservateur - uniquement les coupures franches et changements de scène dramatiques |
| 0,8-1,0 | Trop agressif - manque la plupart des changements de scène |
Workflow d'analyse par vision IA
Le workflow pour extraire des données structurées d'une vidéo à l'aide de la vision IA :
- Sonder - Obtenez les métadonnées vidéo avec ffprobe (durée, résolution, fps)
- Extraire - Tirez les images clés aux limites de scènes à l'aide d'FFmpeg
- Lire - Chargez chaque image à l'aide de l'outil Read (prend en charge les images)
- Analyser - Pour chaque image, identifiez les couleurs, la typographie, la mise en page, les composants
- Agréger - Trouvez des motifs cohérents à travers les images
- Produire - Générez un système de design structuré ou une analyse de contenu
Tâches courantes
1. Installer et vérifier FFmpeg
Vérifiez si FFmpeg est disponible et inspectez sa version et ses capacités.
# Vérifier l'installation FFmpeg
ffmpeg -version
# Vérifier l'installation ffprobe
ffprobe -version
# Installer sur macOS
brew install ffmpeg
# Installer sur Ubuntu/Debian
sudo apt-get update && sudo apt-get install -y ffmpeg
# Vérifier les formats supportés
ffmpeg -formats 2>/dev/null | head -20
# Vérifier les codecs supportés
ffmpeg -codecs 2>/dev/null | grep -i h264
2. Extraire les images clés aux limites de scènes
Extrayez uniquement les images où des changements visuels significatifs se produisent. C'est le moyen le plus efficace d'échantillonner le contenu vidéo.
# Extraire les images aux changements de scène (seuil 0,3)
mkdir -p scènes
ffmpeg -i entrée.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scènes/scène_%04d.png \
2>&1 | grep showinfo
# Extraire avec les horodatages enregistrés dans un fichier
ffmpeg -i entrée.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scènes/scène_%04d.png \
2>&1 | grep "pts_time" > scènes/horodatages.txt
# Extraire les images de scènes en JPEG (fichiers plus petits, bons pour l'analyse)
mkdir -p scènes
ffmpeg -i entrée.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
scènes/scène_%04d.jpg
3. Extraire des images à intervalles réguliers
Lorsque vous avez besoin d'échantillons espacés uniformément, indépendamment des changements de contenu.
# Extraire une image par seconde
mkdir -p images
ffmpeg -i entrée.mp4 -vf "fps=1" images/image_%04d.png
# Extraire une image toutes les 5 secondes
mkdir -p images
ffmpeg -i entrée.mp4 -vf "fps=1/5" images/image_%04d.png
# Extraire uniquement les images I (images clés du codec)
mkdir -p images_clés
ffmpeg -i entrée.mp4 \
-vf "select='eq(pict_type,I)'" \
-vsync vfr \
images_clés/ic_%04d.png
# Extraire une seule image à un horodatage spécifique
ffmpeg -i entrée.mp4 -ss 00:01:30 -frames:v 1 miniature.png
# Extraire uniquement la première image
ffmpeg -i entrée.mp4 -frames:v 1 première_image.png
4. Analyser les métadonnées vidéo avec ffprobe
Inspectez les propriétés de la vidéo avant de la traiter. Utilisez toujours la sortie JSON pour des résultats lisibles par machine.
# Métadonnées complètes en JSON (flux et format)
ffprobe -v quiet \
-print_format json \
-show_format \
-show_streams \
entrée.mp4
# Obtenir uniquement la durée
ffprobe -v error \
-show_entries format=duration \
-of default=noprint_wrappers=1:nokey=1 \
entrée.mp4
# Obtenir la résolution
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=width,height \
-of csv=s=x:p=0 \
entrée.mp4
# Obtenir la fréquence d'images
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=r_frame_rate \
-of default=noprint_wrappers=1:nokey=1 \
entrée.mp4
# Obtenir les informations sur le codec
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=codec_name,codec_long_name,profile \
-of json \
entrée.mp4
# Compter le nombre total d'images
ffprobe -v error \
-count_frames \
-select_streams v:0 \
-show_entries stream=nb_read_frames \
-of default=noprint_wrappers=1:nokey=1 \
entrée.mp4
5. Détecter les scènes et lister les horodatages
Obtenez une liste des horodatages de changement de scène sans extraire les images.
# Lister les horodatages de changement de scène
ffmpeg -i entrée.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep pts_time
# Extraire les scores de scène pour chaque image (pour analyse)
ffmpeg -i entrée.mp4 \
-vf "select='gte(scene,0)',metadata=print" \
-f null - \
2>&1 | grep "lavfi.scene_score"
# Compter le nombre de changements de scène
ffmpeg -i entrée.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep -c "pts_time"
6. Extraire la forme d'onde audio et détecter le silence
Analysez la piste audio pour les trous de silence, les niveaux de volume et les formes d'onde visuelles.
# Détecter les périodes de silence (utile pour trouver les coupures de chapitre)
ffmpeg -i entrée.mp4 \
-af silencedetect=noise=-30dB:d=0.5 \
-f null - \
2>&1 | grep silence
# Générer la forme d'onde audio sous forme d'image
ffmpeg -i entrée.mp4 \
-filter_complex "showwavespic=s=1920x200:colors=blue" \
-frames:v 1 \
forme_d_onde.png
# Analyser les niveaux de volume
ffmpeg -i entrée.mp4 \
-af volumedetect \
-f null - \
2>&1 | grep volume
# Extraire la visualisation du spectre audio
ffmpeg -i entrée.mp4 \
-filter_complex "showspectrumpic=s=1920x512:color=intensity" \
-frames:v 1 \
spectre.png
7. Workflow d'analyse par vision IA
Extrayez les images puis analysez-les avec la capacité de vision de Claude pour extraire des informations structurées du contenu vidéo.
# Étape 1 : Sonder la vidéo
ffprobe -v quiet -print_format json -show_format -show_streams entrée.mp4
# Étape 2 : Extraire les images de scène
mkdir -p images_analyse
ffmpeg -i entrée.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
images_analyse/image_%04d.jpg
Après avoir extrait les images, utilisez l'outil Read pour charger chaque image. L'outil Read prend en charge les fichiers image (PNG, JPG, etc.) et les présentera visuellement. Pour chaque image, analysez :
- Couleurs : Extrayez les valeurs hexadécimales des couleurs dominantes, couleurs d'arrière-plan, couleurs d'accentuation
- Typographie : Identifiez les tailles de police, graisses, hauteurs de ligne, hiérarchie des titres
- Mise en page : Détectez les motifs de grille, dispositions flex, rythmes d'espacement, marges
- Composants : Identifiez les boutons, cartes, en-têtes, navigation, formulaires
- État d'animation : Notez les transitions, états de survol, indicateurs de chargement
Agrégez les résultats sur toutes les images pour construire un système de design cohérent.
8. Extraction de système de design à partir d'une vidéo
Un workflow complet pour extraire un système de design à partir d'une démo de produit ou d'une vidéo de visite guidée d'interface utilisateur.
# Étape 1 : Obtenir les informations vidéo
ffprobe -v quiet -print_format json -show_format entrée.mp4
# Étape 2 : Extraire les images de scène (capture chaque écran unique)
mkdir -p images_design
ffmpeg -i entrée.mp4 \
-vf "select='gt(scene,0.4)'" \
-vsync vfr \
-q:v 1 \
images_design/écran_%04d.png
# Étape 3 : Extraire également à intervalles réguliers pour la couverture
ffmpeg -i entrée.mp4 \
-vf "fps=1/3" \
-q:v 1 \
images_design/intervalle_%04d.png
Après l'extraction d'images, analysez chaque image avec la vision IA et compilez :
{
"couleurs": {
"primaire": "#2563EB",
"secondaire": "#7C3AED",
"arrière-plan": "#FFFFFF",
"surface": "#F3F4F6",
"texte": "#111827",
"texteSecondaire": "#6B7280"
},
"typographie": {
"policeTitre": "Inter",
"policeCorps": "Inter",
"échelle": ["12px", "14px", "16px", "20px", "24px", "32px", "48px"]
},
"espacement": {
"unité": "8px",
"échelle": ["4px", "8px", "12px", "16px", "24px", "32px", "48px", "64px"]
},
"composants": ["bouton", "carte", "barreDeNavigation", "barreLatérale", "champDeSaisie", "modale"]
}
Anti-patrons / erreurs courantes
| Erreur | Pourquoi c'est mal | Que faire à la place |
|---|---|---|
| Extraire chaque image d'une vidéo | Génère des milliers de fichiers, gaspille du disque et du temps d'analyse | Utilisez la détection de scènes ou des intervalles fixes (1 fps ou moins) |
| Sauter ffprobe avant le traitement | Les codecs inconnus ou fichiers corrompus provoquent des échecs silencieux d'FFmpeg | Sondez toujours d'abord pour valider le format et les propriétés |
| Utiliser PNG pour l'extraction d'images en masse | Les fichiers PNG sont 5 à 10 fois plus gros que JPEG avec un gain de qualité minime pour l'analyse | Utilisez JPEG (-q:v 2) pour l'analyse ; PNG uniquement pour un travail pixel-parfait |
| Régler le seuil de scène trop bas (0,1) | Capture les mouvements de caméra, variations d'éclairage - produit trop d'images | Commencez avec 0,3-0,4 et ajustez selon les résultats |
Ignorer -vsync vfr avec le filtre select | Produit des images en double comblant les trous dans la chronologie | Utilisez toujours -vsync vfr avec le filtre select |
| Analyser des images sans horodatages | Impossible de corréler les résultats d'analyse à la chronologie vidéo | Utilisez le filtre showinfo pour capturer pts_time avec chaque image |
| Exécuter la vision IA sur des centaines d'images | Dépasse les limites de contexte et gaspille des jetons | Limitez-vous à 10-20 images représentatives par passe d'analyse |
| Coder en dur les chemins ffmpeg | Casse selon les OS et méthodes d'installation | Utilisez ffmpeg et ffprobe directement, en vous basant sur PATH |
Pièges
-
-vsync vfrest requis avec les filtres select - Sans-vsync vfr, FFmpeg comble les images "manquantes" entre les images sélectionnées avec des doublons pour maintenir une fréquence d'images constante. Cela signifie qu'extraire 5 images de changement de scène peut produire 500 fichiers de sortie, dont la plupart sont des doublons. Associez toujours les filtresselectavec-vsync vfr. -
Le seuil de détection de scène varie selon le contenu - Un seuil de 0,3 fonctionne bien pour les coupures dans une vidéo narrative, mais le contenu animé ou les enregistrements d'écran peuvent nécessiter 0,4-0,5 car les transitions progressives produisent des scores de scène plus faibles. Vérifiez toujours le nombre d'images après extraction et ajustez le seuil.
-
Le comptage d'images avec ffprobe est lent - Utiliser
-count_framesavec ffprobe décode la vidéo entière pour compter les images avec précision. Pour les longues vidéos, cela peut prendre des minutes. Utiliseznb_framesà partir des métadonnées du flux à la place (moins précis mais instantané) ou estimez à partir de la durée et de la fréquence d'images. -
Les paramètres de détection de silence audio nécessitent un réglage - Le seuil de bruit par défaut
-30dBpour la détection de silence peut ne pas fonctionner correctement sur un contenu avec différents niveaux sonores. Commencez par-30dB:d=0.5et ajustez en fonction des résultats. Pour un contenu à faible volume, essayez-50dB; pour un contenu à fort volume,-20dBpeut être plus approprié. -
Les noms de fichiers avec séquence nécessitent des zéros de remplissage - Utilisez
%04dpour garantir que les fichiers image sont correctement ordonnés lors d'un tri alphabétique.image_1.jpg,image_10.jpg,image_2.jpgne sont pas dans le bon ordre ;image_0001.jpg,image_0002.jpg,image_0010.jpgle sont. -
Le filtre select évalue une expression par image - L'expression
'gt(scene,0.3)'est évaluée pour chaque image décodée. Si le score de détection de scène pour une image dépasse 0,3, cette image est incluse dans la sortie. Pour déboguer quelles images sont sélectionnées, ajoutezshowinfoau graphe de filtres.
Configuration de l'environnement
Ces outils sont requis pour l'analyse vidéo :
| Outil | Vérification d'installation | URLs |
|---|---|---|
| ffmpeg | ffmpeg -version | Téléchargement FFmpeg |
| ffprobe | ffprobe -version | Inclus avec FFmpeg |
FFmpeg et ffprobe sont disponibles sur la plupart des systèmes et sont inclus dans les images de conteneurs cloud courantes. Si vous exécutez des analyses vidéo sur un service cloud, ces outils sont généralement préinstallés ou disponibles dans votre environnement.
Installation par système d'exploitation
# macOS (Homebrew)
brew install ffmpeg
# Ubuntu/Debian
sudo apt-get update
sudo apt-get install -y ffmpeg
# Windows (Chocolatey)
choco install ffmpeg
# Windows (Scoop)
scoop install ffmpeg
# Vérifier toutes les installations
ffmpeg -version && ffprobe -version