/watch-video — Transcrire et analyser n'importe quelle vidéo à la profondeur de votre choix
Remplace et élargit la compétence précédente youtube-transcript. YouTube n'est plus qu'une source parmi d'autres ; la profondeur est contrôlée par l'utilisateur.
Étape 1 — Analyser l'entrée
Accepter :
- YouTube : URL complète,
youtu.be/<id>,youtube.com/shorts/<id>, ID brut de 11 caractères - Loom :
loom.com/share/<id>ouloom.com/embed/<id> - Vimeo :
vimeo.com/<id> - Riverside : URL de téléchargement ou fichier local
- Zoom : fichier
.mp4local provenant d'un enregistrement téléchargé - X / IG / TikTok video : URL — se réfère à
social-fetchpour les métadonnées, utilise yt-dlp pour le fichier - Fichier local : tout chemin vers un fichier
.mp4/.mov/.webm/.mkv
Détecter la source à partir du motif de l'URL ou de l'extension du fichier. En cas d'ambiguïté, demander.
Étape 2 — Analyser le mode de profondeur
| Invocation | Mode | Ce que vous obtenez |
|---|---|---|
/watch-video <url> | transcript (par défaut) | Texte propre, métadonnées, chapitres optionnels |
/watch-video <url> transcript | transcript | Identique au défaut |
/watch-video <url> visual | visual | Transcription + images à intervalles réguliers + analyse Claude Vision identifiant les moments clés |
/watch-video <url> multimodal | multimodal | Vidéo native vers Gemini (si $GEMINI_API_KEY est définie), sinon analyse Claude Vision dense image par image |
Si la profondeur n'est pas spécifiée et que la vidéo dure plus de 10 minutes, demander avant de prendre la valeur par défaut (les modes visuel/multimodal coûtent de l'argent réel sur les longues vidéos).
Étape 3 — Récupérer les métadonnées
Pour les sources URL, utiliser yt-dlp :
yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
--print "%(chapters)j" --skip-download "<url>"
Capturer : titre, uploader/chaine, durée, date de téléchargement, description (premier paragraphe), chapitres (JSON ou null).
Pour les fichiers locaux, utiliser ffprobe :
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"
Étape 4 — Construire le répertoire de travail
~/Documents/videos/<source>-<slug>-<date>/
Où :
source:youtube/loom/vimeo/riverside/zoom/localslug: version kebab-case du titre (4–6 premiers mots, max 50 caractères)date:YYYY-MM-DD
Étape 5 — Obtenir la transcription
Sélection du backend (dans l'ordre) :
-
Transcription fournie par la plateforme si elle existe et semble complète :
- YouTube :
yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt - Loom : récupération via les métadonnées de la page
https://www.loom.com/share/<id>ou l'API Loom si$LOOM_API_KEYest définie - Riverside : transcriptions intégrées disponibles sur la page de partage de l'enregistrement
- Si la transcription de la plateforme existe et a des horodatages, l'utiliser. Ignorer Whisper.
- YouTube :
-
MLX-Whisper local (solution de repli par défaut — rapide sur Mac M-series) :
# Installation unique : pip install mlx-whisper python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \ > "<workdir>/transcript-raw.json"Ou via l'interface en ligne de commande :
mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir> -
whisper.cpp (autre solution de repli si MLX n'est pas disponible)
Télécharger d'abord le fichier vidéo s'il s'agit d'une URL (utiliser yt-dlp ; Loom/Vimeo/YT sont tous pris en charge) :
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"
Le 720p est amplement suffisant pour la transcription et l'analyse d'images (téléchargement plus petit, traitement plus rapide).
Nettoyer la transcription (nécessaire uniquement pour les sous-titres automatiques YouTube qui ont des légendes défilantes ; la sortie de Whisper est déjà propre) :
# Nettoyage des fichiers VTT YouTube — déduplication des légendes défilantes, suppression des balises, sauts de paragraphe sur les écarts de repère >2s
awk '
/^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
/-->/ { in_cue = 1; last = ""; next }
/^$/ { if (last) print last; in_cue = 0; last = ""; next }
in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"
Enregistrer le résultat final dans <workdir>/transcript.txt.
Étape 6 — Si le mode transcript : s'arrêter ici
Sortie :
transcript.txtmetadata.json- Résumé d'une ligne dans le chat : titre, source, durée, nombre de mots
- Chemin vers le répertoire de travail
- (Optionnel) Étape 9 — proposer de capturer dans le second cerveau
Étape 7 — Si le mode visual : extraire les images + passage vision
Extraction d'images (ffmpeg)
Cadence par heuristique de source :
| Type de source | Cadence d'image |
|---|---|
| Partage d'écran / Loom / démo | 1 image toutes les 5s (l'interface change rapidement) |
| Tête parlante / podcast | 1 image toutes les 30s (changement lent) |
| Présentation de diapositives | 1 image toutes les 10s + forcer une image à chaque changement de scène détecté |
| Par défaut si incertain | 1 image toutes les 15s |
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y
Pour la détection des changements de scène (en particulier pour les diaporamas) :
ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"
Passage vision
Associer chaque image au fragment de transcription pour la même fenêtre temporelle. Envoyer ensuite par lots à Claude Vision pour synthèse.
Invite par lot d'images (jusqu'à ~10 images par appel) :
Voici N images d'une vidéo aux horodatages T1..TN. Pour chaque image, décrivez ce qui est à l'écran en 1–2 phrases. Signalez : (a) les changements d'interface par rapport à l'image précédente, (b) le texte visible à l'écran, (c) tout moment qui ressemble à une décision, une action ou un événement notable. Notez également le texte de la transcription prononcé pendant cette fenêtre.
Enregistrer la sortie dans <workdir>/moments.md :
# Moments clés — <titre>
## 00:00:15 (frame-001.png)
**À l'écran** : Formulaire de connexion, champ email ciblé
**Transcription** : "Donc vous l'ouvrez et..."
**Note** : Début de la démo de l'interface
## 00:00:45 (frame-002.png)
**À l'écran** : Tableau de bord avec 4 cartes
**Transcription** : "Et voici où vous voyez tous vos projets."
**Note** : Changement de vue majeur — première apparition du tableau de bord
Générer le résumé
Après avoir identifié les moments, synthétiser l'ensemble de la vidéo dans <workdir>/summary.md :
# Résumé — <titre>
**Source :** <URL/fichier source>
**Durée :** <hh:mm:ss>
**Regardé le :** <date>
**Mode :** visual
## TL;DR
<2–4 phrases>
## Moments clés
- 00:00:15 — <une ligne>
- 00:00:45 — <une ligne>
## Éléments d'action signalés
- <élément> [horodatage]
## Décisions signalées
- <décision> [horodatage] — envisager de rediriger vers /decide
## Citations à conserver
- "..." [horodatage]
## Questions ouvertes
- <question soulevée mais sans réponse>
Étape 8 — Si le mode multimodal
Sélection du backend
-
Gemini natif si
$GEMINI_API_KEYest définie (beaucoup moins cher et plus rapide que l'image par image pour les longues vidéos) :Modèle par défaut :
gemini-3.5-flash(sorti en mai 2026, ~1,50 $ d'entrée / 9 $ de sortie par million de tokens ; ~0,15 $/seconde de vidéo ; surpasse 3.1 Pro sur les benchmarks de codage/agentique à 4× la vitesse). Passer àgemini-3.1-propour les audits de marque / analyses à fort enjeu où les détails comptent ;gemini-2.5-flash-litepour un traitement en masse bon marché.# Étape 1 : Télécharger la vidéo via l'API Files FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \ -H "X-Goog-Upload-Command: start, upload, finalize" \ -H "Content-Type: video/mp4" \ --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri') # Attendre que le fichier soit ACTIF (Gemini traite d'abord la vidéo) while true; do STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state') [ "$STATE" = "ACTIVE" ] && break sleep 3 done # Étape 2 : Générer du contenu avec le fichier + l'invite d'analyse multimodale curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d "{ \"contents\":[{ \"parts\":[ {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}}, {\"text\":\"<invite d'analyse multimodale — voir le modèle de résumé de l'étape 7 + extensions d'usage>\"} ] }] }"Les fichiers persistent dans l'API Files de Gemini pendant environ 48 heures — utile pour réinterroger la même vidéo avec différentes invites.
-
Solution de secours Claude Vision dense si aucune clé Gemini :
- Cadence d'image : 1 image toutes les 3s (beaucoup plus dense que le mode visuel)
- Traiter par lots via Claude Vision avec l'invite d'analyse multimodale
- Plus lent et plus cher que Gemini pour les longues vidéos — avertir l'utilisateur avant d'exécuter sur un contenu de plus de 10 minutes
Sortie multimodale
Même modèle summary.md qu'à l'étape 7 + une section étendue :
## Observations multimodales
- **Langage corporel / présentation** : <observations sur une vidéo de tête parlante>
- **Rythme** : <rapide/lent/inégal>
- **Style visuel** : <audit de marque, révision de publicité, observations de conception>
- **Qualité audio / ambiance** : <musique, silence, bruit de fond>
Les sections supplémentaires exactes dépendent du cas d'usage (audit de marque, révision de publicité, révision de présentation orale, lecture d'appel client). Le cas d'usage est déduit de la source et du cadre verbal de l'utilisateur lors de l'invocation.
Étape 9 — Optionnel : capturer dans le second cerveau
Après la fin de tout mode, proposer :
"Vous souhaitez capturer ceci dans le second cerveau ? J'écrirai un
call-<slug>.md(oumeeting-/note-/resource-) dans${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/avec le résumé, l'URL source et le lien vers la transcription."
Préfixe de type par source :
| Source | Préfixe |
|---|---|
| Loom / Zoom / Riverside / Otter / enregistrement d'appel | call- |
| Réunion (notes personnelles, pas une transcription) | meeting- |
| Talk / keynote / conférence | note- |
| Publicité / vidéo de page d'atterrissage / référence marketing / vidéo concurrente | resource- |
Contenu du fichier : source en 1 ligne, le résumé, lien vers le répertoire de travail complet.
Étape 10 — Rapporter
Dans le chat :
- Titre en une ligne :
<source> · <titre> · <durée> · <mode> · <nombre de mots> mots - Chemin du répertoire de travail
- Pour les modes
visual/multimodal: brève liste des 3 moments clés principaux - Pour tous les modes : tous les éléments d'action / décisions signalés pour triage
- Si capturé dans le second cerveau : ce chemin également
Référence des sources
| Source | Téléchargement | Transcription intégrée | Notes |
|---|---|---|---|
| YouTube | yt-dlp | Sous-titres automatiques (--write-auto-sub) | Identique à la compétence youtube-transcript précédente |
| Loom | yt-dlp (Loom pris en charge) | Oui — récupération via les métadonnées d'intégration ou l'API Loom | Focus sur le partage d'écran asynchrone — cas d'utilisation principal |
| Vimeo | yt-dlp | Parfois | Vidéos marketing/intégration |
| Riverside | URL directe depuis l'export, ou fichier local | Oui — Riverside les génère | Épisodes de podcast |
| Zoom | Fichier .mp4 local (enregistrements téléchargés) | Parfois (fichier de transcription audio Zoom) | Appels clients |
| X / IG / TikTok | Se référer à social-fetch pour les métadonnées, yt-dlp pour le fichier | Non | Format court |
| Fichier local | n/a | n/a | Indiquer un chemin |
Se compose avec
social-fetch— pour les métadonnées des URL X/IG/TikTok (engagement, auteur, réponses) avant le traitement vidéosecond-brain— capturer le résumé sous forme deraw/call-<slug>.md,meeting-,note-ouresource-selon le type de sourcedecide— lorsqu'une vidéo contient une décision signalée, rediriger vers/decidepour une capture structuréepm— les éléments d'action signalés dans le résumé peuvent être triés vers les tableaux de projetslide-deck— enregistrements de talks → extraction du plan → brouillon de diaporama (boucle)jab-hook— citations + moments dignes d'être extraits des vidéos de podcast/talk alimentent les publications BIP/promoskillify from-video— cas d'utilisation principal du modevisualsur les enregistrements de processus. L'utilisateur s'enregistre en train d'effectuer un workflow (Loom/partage d'écran), cette compétence extrait la transcription + les moments visuels clés, puisskillifysynthétise le workflow en un fichier SKILL.md. "Enregistrer une fois, l'IA convertit en compétence."
Gestion des erreurs
| Échec | Réponse |
|---|---|
| Vidéo indisponible / privée / verrouillée par région | Signaler et arrêter |
| Pas de sous-titres + Whisper non installé | Dire à l'utilisateur : pip install mlx-whisper (Mac) |
| ffmpeg manquant (pour le visuel/multimodal) | Dire à l'utilisateur : brew install ffmpeg |
| Le passage vision renvoie une réponse vide / peu claire | Réduire le nombre d'images, réessayer, ou revenir à la transcription seule avec une note |
Multimodal demandé mais pas de $GEMINI_API_KEY et vidéo de plus de 30 minutes | Avertir du coût, proposer de revenir au mode visuel |
Binaire yt-dlp manquant | brew install yt-dlp |
Notes sur la qualité
- L'utilisateur choisit la profondeur, pas la compétence. Les modes transcription / visuel / multimodal sont 3 profils de coût + latence différents. Les longues vidéos (>10 min) confirment toujours avant de dépenser en mode visuel/multimodal.
- Transcription de la plateforme d'abord, Whisper ensuite. Les sous-titres automatiques YouTube, les transcriptions Loom, les transcriptions intégrées Riverside — tous gratuits et instantanés quand ils existent. Revenir à MLX-Whisper local uniquement lorsque rien de fourni par la plateforme ne fonctionne.
- MLX-Whisper local est la voie rapide sur Mac. Les machines M-series transcendent plus vite que le temps réel. Whisper cloud est un choix lointain en second — coûte de l'argent, dépend du réseau, latence pire sur les durées typiques.
- Cadence d'image par type de source. Les partages d'écran / démos nécessitent 1 image toutes les 5s (l'interface change rapidement) ; les podcasts de tête parlante nécessitent 1 toutes les 30s (changement lent). Par défaut 15s si incertain. Une mauvaise cadence = moments clés manqués OU coût du passage vision gaspillé.
- Le 720p est amplement suffisant. Télécharger en 1080p / 4K pour la transcription + analyse d'images gaspille la bande passante et le stockage.
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]"est le réglage par défaut. - La détection des changements de scène capture les transitions de diapositives. Lorsque la vidéo est une présentation de diapositives, ajouter
ffmpeg -vf "select='gt(scene,0.3)'"pour forcer une image à chaque changement de diapositive détecté — plus fiable qu'un échantillonnage purement temporel. - L'avertissement de coût multimodal n'est pas optionnel. Le multimodal Gemini sur une vidéo de 60 minutes est significativement coûteux. Avertir avant d'exécuter ; proposer la transcription seule comme solution de repli si l'utilisateur n'est pas sûr.
- Le format du résumé inclut des indices de routage. Les sections
## Décisions signalées+## Éléments d'action signaléssignalent les suivis/decideet/pm. La composabilité en aval réside dans la structure du résumé.