Extracteur de Contenu Vidéo
Aperçu
Extrait automatiquement les images clés des fichiers vidéo MP4 à des intervalles de temps configurables, effectue une reconnaissance optique de caractères (OCR) sur chaque image et génère un rapport Markdown structuré. Le rapport inclut les métadonnées vidéo (durée, résolution, codecs) et les transcriptions OCR image par image avec références temporelles.
Cette compétence est conçue pour Codex CLI et nécessite FFmpeg et Tesseract OCR installés sur la machine locale.
Quand Utiliser Cette Compétence
- Utilisez-la lorsque vous devez extraire du texte à partir de présentations vidéo, de cours ou de screencasts.
- Utilisez-la lorsque vous souhaitez créer des transcriptions consultables à partir de fichiers vidéo sans sous-titres intégrés.
- Utilisez-la lorsque vous devez analyser le contenu vidéo de manière programmatique et générer des résumés structurés.
- Utilisez-la lorsque l'utilisateur demande de « lire ce qui est à l'écran » ou « extraire le contenu de cette vidéo ».
Comment ça Marche
Étape 1 : Analyser les Métadonnées Vidéo
La compétence utilise ffprobe pour extraire les métadonnées vidéo : durée, résolution, fréquence d'images, informations sur le codec et taille du fichier.
Étape 2 : Extraire les Images Clés
À l'aide de FFmpeg, la compétence capture des images à l'intervalle configuré (par défaut : toutes les 30 secondes). Chaque image est sauvegardée sous forme d'image JPEG horodatée.
Étape 3 : Reconnaissance Optique de Caractères (OCR)
Chaque image extraite est traitée par Tesseract OCR. Si le mode PSM par défaut ne renvoie aucun texte significatif, il bascule vers une segmentation de page entièrement automatique.
Étape 4 : Générer le Rapport Markdown
Toutes les données extraites sont assemblées dans un document Markdown structuré.
Exemples
Exemple 1 : Extraction de Base
Invite de l'agent : Utilise la compétence d'extraction de contenu vidéo pour extraire le contenu de lecture.mp4
La sortie génère lecture.md et le répertoire lecture_frames/.
Exemple 2 : Intervalle Personnalisé
Paramètres : video_path, output_dir, interval(seconds), lang Extraire toutes les 60 secondes avec OCR en anglais uniquement : python scripts/extract_video.py recording.mp4 ./output 60 eng
Exemple 3 : Contenu Bilingue
Extraction avec OCR par défaut en chinois + anglais : python scripts/extract_video.py lecture.mp4 . 15 chi_sim+eng
Bonnes Pratiques
- Utilisez des intervalles plus courts (10-15s) pour un contenu rapide avec des changements de texte fréquents.
- Utilisez des intervalles plus longs (30-60s) pour des diapositives de présentation ou des cours lents afin de réduire les doublons d'images.
- Pour le contenu en chinois, assurez-vous que le pack de langue chinois Tesseract est installé (chi_sim).
Limitations
- Nécessite que FFmpeg et Tesseract OCR soient installés et accessibles via le PATH.
- La précision de Tesseract OCR dépend de la qualité vidéo, de la taille du texte et de la clarté de la police.
- N'extrait pas l'audio et n'effectue pas de transcription parole-texte.
- L'extraction d'images est basée sur le temps (et non sur les changements de scène), ce qui peut produire des images quasi identiques.
- Les grandes vidéos avec des intervalles courts peuvent générer beaucoup d'images - assurez un espace disque suffisant.
Notes de Sécurité et de Sûreté
- Cette compétence lit uniquement les fichiers vidéo et écrit les images extraites et les rapports Markdown.
- Elle N'ENVOIE AUCUNE donnée sur le réseau - tout le traitement est local.
- FFmpeg et Tesseract sont invoqués avec des arguments fixes et pré-approuvés.
- La compétence ne modifie ni ne supprime le fichier vidéo original.
Pièges Courants
-
Problème : Tesseract renvoie du texte illisible Solution : Assurez-vous que le pack de langue approprié est installé. Exécutez tesseract --list-langs pour vérifier.
-
Problème : FFmpeg échoue avec « not found » Solution : Vérifiez que FFmpeg est dans le PATH. Exécutez ffmpeg -version pour vérifier.
-
Problème : L'OCR est lent sur les grandes vidéos Solution : Augmentez le paramètre d'intervalle pour réduire le nombre d'images traitées.
Compétences Connexes
- @media-summarizer - Pour résumer le contenu vidéo à l'aide d'indices visuels et audio.
- @document-ocr - Pour l'OCR sur des images statiques ou des documents scannés sans traitement vidéo.