Que fait video-digest ?
Aperçu
Transformez n'importe quelle vidéo en un seul résumé Markdown consultable. Pour chaque clip, le skill produit trois éléments et les assemble dans un fichier digest.md :
- Transcription — les paroles prononcées (faster-whisper, sur l'appareil).
- Texte à l'écran — chaque ligne unique de texte visible dans les images (OCR), avec URL et @handles extraits séparément.
- Planches contacts (montages) — grilles d'images réparties sur tout le clip, afin que vous puissiez lire son histoire visuelle d'un coup d'œil.
Tout s'exécute localement. Pas d'appels réseau, pas de comptes, pas de télémétrie. Le cœur n'a besoin que de ffmpeg ; la transcription et l'OCR sont facultatives et se dégradent gracieusement.
Quand l'utiliser
- « Que contient cette vidéo / ces 200 vidéos ? » sans les regarder.
- Construire un catalogue consultable d'interviews, de conférences, de tutoriels ou de rushes.
- Récupérer les liens et les @handles qui s'affichent à l'écran dans un clip.
- Obtenir un aperçu visuel rapide (montages) de longs enregistrements ou de nombreux enregistrements.
Pas pour : les flux en direct, le montage ou le découpage de vidéo, ni la génération de vidéo. Cet outil lit la vidéo et émet des résumés texte + image.
Référence rapide
scripts/check-deps.sh # ce qui est installé + comment obtenir le reste
scripts/video-digest.sh clip.mp4 # une vidéo → ./video-digest-out/clip/digest.md
scripts/video-digest.sh --out ~/digests *.mp4 # traitement par lot d'un dossier entier
scripts/video-digest.sh --lang en talk.mov # indiquer la langue de la transcription
scripts/video-digest.sh --no-transcript reel.mp4 # ignorer l'audio, uniquement visuel + texte
scripts/video-digest.sh --ocr-engine tesseract x.mp4 # forcer un moteur OCR spécifique
| Drapeau | Rôle | Valeur par défaut |
|---|---|---|
-o, --out DIR | racine de sortie | ./video-digest-out |
--fps N | taux d'échantillonnage des images pour l'OCR | 2 |
--montage-frames N | nombre d'images réparties sur le clip | 90 |
--tile CxR | grille du montage | 3x3 |
--ocr-engine E | auto|vision|tesseract|none | auto |
--whisper-model M | tiny|base|small|medium(+.en) | small |
--whisper-python P | interpréteur contenant faster-whisper | auto-détection |
--lang CODE | indication de langue pour la transcription | auto-détection |
--no-transcript / --no-ocr / --no-montage | sauter une étape | — |
--force | réexécuter les étapes même si mises en cache | désactivé |
Exécutez scripts/video-digest.sh --help pour la liste complète.
Comment ça fonctionne
Le point d'entrée scripts/video-digest.sh orchestre trois petits outils indépendants que vous pouvez également exécuter séparément :
| Étape | Script | Moteur |
|---|---|---|
| Montages | scripts/montage.sh | filtre tile de ffmpeg |
| Texte à l'écran | scripts/ocr.sh (+ ocr_vision.swift) | macOS Vision (par défaut) ou tesseract |
| Transcription | scripts/transcribe.py | faster-whisper |
Chaque étape est reprenable — le travail terminé est marqué .done / mis en cache et ignoré lors des réexécutions, sauf si vous passez --force. Le digest est toujours reconstruit à partir des étapes présentes, donc des exécutions partielles produisent toujours un fichier utile.
La sélection du moteur OCR est automatique : sur macOS, il utilise le framework Vision intégré (sans installation, sur l'appareil), sinon tesseract s'il est présent, sinon il ignore l'OCR avec un avertissement. Voir references/setup.md pour l'installation des backends optionnels et references/output-format.md pour la structure exacte de la sortie.
Erreurs fréquentes
- Transcription vide → faster-whisper n'est pas installé dans l'interpréteur utilisé. Exécutez
scripts/check-deps.sh, puispip install faster-whisper, ou pointez vers un environnement existant avec--whisper-python /path/to/python. - Absence de texte à l'écran sous Linux → installez
tesseract(apt install tesseract-ocr) ; le moteur Vision est exclusif à macOS. - Nombre de montages trop élevé pour un clip court → réduisez
--montage-frames(par ex.30). - Mauvaise langue de transcription → passez
--lang(par ex.--lang fr), ou utilisez un modèle non.enpour l'audio multilingue.
Exemple
examples/sample-digest/ contient un petit clip généré et le digest.md qu'il produit — transcription, une URL détectée, un @handle et une planche contact. Reproduisez-le avec (la ligne de transcription nécessite faster-whisper installé) :
scripts/video-digest.sh --montage-frames 9 examples/sample-digest/sample.mp4