Communitygithub.com

regarder-vidéo — Transcrire et analyser n'importe quelle vidéo…

Extrayez le contenu de vidéos YouTube, Loom, Vimeo, Riverside, Zoom, locales MP4, X/IG/TikTok, ou tout ce que yt-dlp prend en charge. L'utilisateur choisit parmi trois modes de profondeur : transcription rapide/gratuite, analyse visuelle avec extraction d'images et vision Claude, ou analyse multimodale native Gemini.

Qu'est-ce que regarder-vidéo — Transcrire et analyser n'importe quelle vidéo… ?

Cette compétence remplace et élargit la précédente compétence `youtube-transcript` en prenant en charge une large gamme de sources vidéo et en offrant à l'utilisateur un contrôle précis sur la profondeur d'analyse. L'utilisateur peut choisir entre trois modes : `transcript` (texte seul, rapide et gratuit), `visuel` (transcription + extraction d'images avec ffmpeg + analyse Claude Vision sur les moments clés) et `multimodal` (analyse vidéo native Gemini si la variable `$GEMINI_API_KEY` est définie, sinon analyse Claude Vision dense image par image). La transcription utilise localement MLX-Whisper sur Mac pour une vitesse optimale, et se replie sur les sous-titres fournis par la plateforme (YouTube, Loom, Riverside) lorsqu'ils sont disponibles. La compétence enregistre les résultats dans `~/Documents/videos/<source>-<slug>-<date>/` et peut optionnellement capturer un résumé dans le dossier `raw/` du second cerveau, sous forme de `call-/meeting-/note-`. Elle se déclenche via des commandes comme `/watch-video <url>`, "regarde cette vidéo", "transcris ce Loom", "analyse cette vidéo", "résume cet enregistrement", etc. Elle est conçue pour être composée avec d'autres compétences comme `social-fetch`, `second-brain`, `decide`, `pm` ou `skillify`, ce qui en fait un outil puissant pour les workflows d'analyse et d'automatisation.

Compatible avec✓Claude Code~Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add https://github.com/coreyhaines31/makerskills/tree/HEAD/skills/watch-video

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

/watch-video — Transcrire et analyser n'importe quelle vidéo à la profondeur de votre choix

Remplace et élargit la compétence précédente youtube-transcript. YouTube n'est plus qu'une source parmi d'autres ; la profondeur est contrôlée par l'utilisateur.

Étape 1 — Analyser l'entrée

Accepter :

  • YouTube : URL complète, youtu.be/<id>, youtube.com/shorts/<id>, ID brut de 11 caractères
  • Loom : loom.com/share/<id> ou loom.com/embed/<id>
  • Vimeo : vimeo.com/<id>
  • Riverside : URL de téléchargement ou fichier local
  • Zoom : fichier .mp4 local provenant d'un enregistrement téléchargé
  • X / IG / TikTok video : URL — se réfère à social-fetch pour les métadonnées, utilise yt-dlp pour le fichier
  • Fichier local : tout chemin vers un fichier .mp4 / .mov / .webm / .mkv

Détecter la source à partir du motif de l'URL ou de l'extension du fichier. En cas d'ambiguïté, demander.

Étape 2 — Analyser le mode de profondeur

InvocationModeCe que vous obtenez
/watch-video <url>transcript (par défaut)Texte propre, métadonnées, chapitres optionnels
/watch-video <url> transcripttranscriptIdentique au défaut
/watch-video <url> visualvisualTranscription + images à intervalles réguliers + analyse Claude Vision identifiant les moments clés
/watch-video <url> multimodalmultimodalVidéo native vers Gemini (si $GEMINI_API_KEY est définie), sinon analyse Claude Vision dense image par image

Si la profondeur n'est pas spécifiée et que la vidéo dure plus de 10 minutes, demander avant de prendre la valeur par défaut (les modes visuel/multimodal coûtent de l'argent réel sur les longues vidéos).

Étape 3 — Récupérer les métadonnées

Pour les sources URL, utiliser yt-dlp :

yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
  --print "%(chapters)j" --skip-download "<url>"

Capturer : titre, uploader/chaine, durée, date de téléchargement, description (premier paragraphe), chapitres (JSON ou null).

Pour les fichiers locaux, utiliser ffprobe :

ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"

Étape 4 — Construire le répertoire de travail

~/Documents/videos/<source>-<slug>-<date>/

Où :

  • source : youtube / loom / vimeo / riverside / zoom / local
  • slug : version kebab-case du titre (4–6 premiers mots, max 50 caractères)
  • date : YYYY-MM-DD

Étape 5 — Obtenir la transcription

Sélection du backend (dans l'ordre) :

  1. Transcription fournie par la plateforme si elle existe et semble complète :

    • YouTube : yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt
    • Loom : récupération via les métadonnées de la page https://www.loom.com/share/<id> ou l'API Loom si $LOOM_API_KEY est définie
    • Riverside : transcriptions intégrées disponibles sur la page de partage de l'enregistrement
    • Si la transcription de la plateforme existe et a des horodatages, l'utiliser. Ignorer Whisper.
  2. MLX-Whisper local (solution de repli par défaut — rapide sur Mac M-series) :

    # Installation unique : pip install mlx-whisper
    python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \
      > "<workdir>/transcript-raw.json"
    

    Ou via l'interface en ligne de commande : mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir>

  3. whisper.cpp (autre solution de repli si MLX n'est pas disponible)

Télécharger d'abord le fichier vidéo s'il s'agit d'une URL (utiliser yt-dlp ; Loom/Vimeo/YT sont tous pris en charge) :

yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"

Le 720p est amplement suffisant pour la transcription et l'analyse d'images (téléchargement plus petit, traitement plus rapide).

Nettoyer la transcription (nécessaire uniquement pour les sous-titres automatiques YouTube qui ont des légendes défilantes ; la sortie de Whisper est déjà propre) :

# Nettoyage des fichiers VTT YouTube — déduplication des légendes défilantes, suppression des balises, sauts de paragraphe sur les écarts de repère >2s
awk '
  /^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
  /-->/ { in_cue = 1; last = ""; next }
  /^$/ { if (last) print last; in_cue = 0; last = ""; next }
  in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
  END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"

Enregistrer le résultat final dans <workdir>/transcript.txt.

Étape 6 — Si le mode transcript : s'arrêter ici

Sortie :

  • transcript.txt
  • metadata.json
  • Résumé d'une ligne dans le chat : titre, source, durée, nombre de mots
  • Chemin vers le répertoire de travail
  • (Optionnel) Étape 9 — proposer de capturer dans le second cerveau

Étape 7 — Si le mode visual : extraire les images + passage vision

Extraction d'images (ffmpeg)

Cadence par heuristique de source :

Type de sourceCadence d'image
Partage d'écran / Loom / démo1 image toutes les 5s (l'interface change rapidement)
Tête parlante / podcast1 image toutes les 30s (changement lent)
Présentation de diapositives1 image toutes les 10s + forcer une image à chaque changement de scène détecté
Par défaut si incertain1 image toutes les 15s
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y

Pour la détection des changements de scène (en particulier pour les diaporamas) :

ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"

Passage vision

Associer chaque image au fragment de transcription pour la même fenêtre temporelle. Envoyer ensuite par lots à Claude Vision pour synthèse.

Invite par lot d'images (jusqu'à ~10 images par appel) :

Voici N images d'une vidéo aux horodatages T1..TN. Pour chaque image, décrivez ce qui est à l'écran en 1–2 phrases. Signalez : (a) les changements d'interface par rapport à l'image précédente, (b) le texte visible à l'écran, (c) tout moment qui ressemble à une décision, une action ou un événement notable. Notez également le texte de la transcription prononcé pendant cette fenêtre.

Enregistrer la sortie dans <workdir>/moments.md :

# Moments clés — <titre>

## 00:00:15 (frame-001.png)
**À l'écran** : Formulaire de connexion, champ email ciblé
**Transcription** : "Donc vous l'ouvrez et..."
**Note** : Début de la démo de l'interface

## 00:00:45 (frame-002.png)
**À l'écran** : Tableau de bord avec 4 cartes
**Transcription** : "Et voici où vous voyez tous vos projets."
**Note** : Changement de vue majeur — première apparition du tableau de bord

Générer le résumé

Après avoir identifié les moments, synthétiser l'ensemble de la vidéo dans <workdir>/summary.md :

# Résumé — <titre>

**Source :** <URL/fichier source>
**Durée :** <hh:mm:ss>
**Regardé le :** <date>
**Mode :** visual

## TL;DR
<2–4 phrases>

## Moments clés
- 00:00:15 — <une ligne>
- 00:00:45 — <une ligne>

## Éléments d'action signalés
- <élément> [horodatage]

## Décisions signalées
- <décision> [horodatage] — envisager de rediriger vers /decide

## Citations à conserver
- "..." [horodatage]

## Questions ouvertes
- <question soulevée mais sans réponse>

Étape 8 — Si le mode multimodal

Sélection du backend

  1. Gemini natif si $GEMINI_API_KEY est définie (beaucoup moins cher et plus rapide que l'image par image pour les longues vidéos) :

    Modèle par défaut : gemini-3.5-flash (sorti en mai 2026, ~1,50 $ d'entrée / 9 $ de sortie par million de tokens ; ~0,15 $/seconde de vidéo ; surpasse 3.1 Pro sur les benchmarks de codage/agentique à 4× la vitesse). Passer à gemini-3.1-pro pour les audits de marque / analyses à fort enjeu où les détails comptent ; gemini-2.5-flash-lite pour un traitement en masse bon marché.

    # Étape 1 : Télécharger la vidéo via l'API Files
    FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \
      -H "X-Goog-Upload-Command: start, upload, finalize" \
      -H "Content-Type: video/mp4" \
      --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri')
    
    # Attendre que le fichier soit ACTIF (Gemini traite d'abord la vidéo)
    while true; do
      STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state')
      [ "$STATE" = "ACTIVE" ] && break
      sleep 3
    done
    
    # Étape 2 : Générer du contenu avec le fichier + l'invite d'analyse multimodale
    curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \
      -H "Content-Type: application/json" \
      -d "{
        \"contents\":[{
          \"parts\":[
            {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}},
            {\"text\":\"<invite d'analyse multimodale — voir le modèle de résumé de l'étape 7 + extensions d'usage>\"}
          ]
        }]
      }"
    

    Les fichiers persistent dans l'API Files de Gemini pendant environ 48 heures — utile pour réinterroger la même vidéo avec différentes invites.

  2. Solution de secours Claude Vision dense si aucune clé Gemini :

    • Cadence d'image : 1 image toutes les 3s (beaucoup plus dense que le mode visuel)
    • Traiter par lots via Claude Vision avec l'invite d'analyse multimodale
    • Plus lent et plus cher que Gemini pour les longues vidéos — avertir l'utilisateur avant d'exécuter sur un contenu de plus de 10 minutes

Sortie multimodale

Même modèle summary.md qu'à l'étape 7 + une section étendue :

## Observations multimodales
- **Langage corporel / présentation** : <observations sur une vidéo de tête parlante>
- **Rythme** : <rapide/lent/inégal>
- **Style visuel** : <audit de marque, révision de publicité, observations de conception>
- **Qualité audio / ambiance** : <musique, silence, bruit de fond>

Les sections supplémentaires exactes dépendent du cas d'usage (audit de marque, révision de publicité, révision de présentation orale, lecture d'appel client). Le cas d'usage est déduit de la source et du cadre verbal de l'utilisateur lors de l'invocation.

Étape 9 — Optionnel : capturer dans le second cerveau

Après la fin de tout mode, proposer :

"Vous souhaitez capturer ceci dans le second cerveau ? J'écrirai un call-<slug>.md (ou meeting- / note- / resource-) dans ${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/ avec le résumé, l'URL source et le lien vers la transcription."

Préfixe de type par source :

SourcePréfixe
Loom / Zoom / Riverside / Otter / enregistrement d'appelcall-
Réunion (notes personnelles, pas une transcription)meeting-
Talk / keynote / conférencenote-
Publicité / vidéo de page d'atterrissage / référence marketing / vidéo concurrenteresource-

Contenu du fichier : source en 1 ligne, le résumé, lien vers le répertoire de travail complet.

Étape 10 — Rapporter

Dans le chat :

  • Titre en une ligne : <source> · <titre> · <durée> · <mode> · <nombre de mots> mots
  • Chemin du répertoire de travail
  • Pour les modes visual / multimodal : brève liste des 3 moments clés principaux
  • Pour tous les modes : tous les éléments d'action / décisions signalés pour triage
  • Si capturé dans le second cerveau : ce chemin également

Référence des sources

SourceTéléchargementTranscription intégréeNotes
YouTubeyt-dlpSous-titres automatiques (--write-auto-sub)Identique à la compétence youtube-transcript précédente
Loomyt-dlp (Loom pris en charge)Oui — récupération via les métadonnées d'intégration ou l'API LoomFocus sur le partage d'écran asynchrone — cas d'utilisation principal
Vimeoyt-dlpParfoisVidéos marketing/intégration
RiversideURL directe depuis l'export, ou fichier localOui — Riverside les génèreÉpisodes de podcast
ZoomFichier .mp4 local (enregistrements téléchargés)Parfois (fichier de transcription audio Zoom)Appels clients
X / IG / TikTokSe référer à social-fetch pour les métadonnées, yt-dlp pour le fichierNonFormat court
Fichier localn/an/aIndiquer un chemin

Se compose avec

  • social-fetch — pour les métadonnées des URL X/IG/TikTok (engagement, auteur, réponses) avant le traitement vidéo
  • second-brain — capturer le résumé sous forme de raw/call-<slug>.md, meeting-, note- ou resource- selon le type de source
  • decide — lorsqu'une vidéo contient une décision signalée, rediriger vers /decide pour une capture structurée
  • pm — les éléments d'action signalés dans le résumé peuvent être triés vers les tableaux de projet
  • slide-deck — enregistrements de talks → extraction du plan → brouillon de diaporama (boucle)
  • jab-hook — citations + moments dignes d'être extraits des vidéos de podcast/talk alimentent les publications BIP/promo
  • skillify from-video — cas d'utilisation principal du mode visual sur les enregistrements de processus. L'utilisateur s'enregistre en train d'effectuer un workflow (Loom/partage d'écran), cette compétence extrait la transcription + les moments visuels clés, puis skillify synthétise le workflow en un fichier SKILL.md. "Enregistrer une fois, l'IA convertit en compétence."

Gestion des erreurs

ÉchecRéponse
Vidéo indisponible / privée / verrouillée par régionSignaler et arrêter
Pas de sous-titres + Whisper non installéDire à l'utilisateur : pip install mlx-whisper (Mac)
ffmpeg manquant (pour le visuel/multimodal)Dire à l'utilisateur : brew install ffmpeg
Le passage vision renvoie une réponse vide / peu claireRéduire le nombre d'images, réessayer, ou revenir à la transcription seule avec une note
Multimodal demandé mais pas de $GEMINI_API_KEY et vidéo de plus de 30 minutesAvertir du coût, proposer de revenir au mode visuel
Binaire yt-dlp manquantbrew install yt-dlp

Notes sur la qualité

  • L'utilisateur choisit la profondeur, pas la compétence. Les modes transcription / visuel / multimodal sont 3 profils de coût + latence différents. Les longues vidéos (>10 min) confirment toujours avant de dépenser en mode visuel/multimodal.
  • Transcription de la plateforme d'abord, Whisper ensuite. Les sous-titres automatiques YouTube, les transcriptions Loom, les transcriptions intégrées Riverside — tous gratuits et instantanés quand ils existent. Revenir à MLX-Whisper local uniquement lorsque rien de fourni par la plateforme ne fonctionne.
  • MLX-Whisper local est la voie rapide sur Mac. Les machines M-series transcendent plus vite que le temps réel. Whisper cloud est un choix lointain en second — coûte de l'argent, dépend du réseau, latence pire sur les durées typiques.
  • Cadence d'image par type de source. Les partages d'écran / démos nécessitent 1 image toutes les 5s (l'interface change rapidement) ; les podcasts de tête parlante nécessitent 1 toutes les 30s (changement lent). Par défaut 15s si incertain. Une mauvaise cadence = moments clés manqués OU coût du passage vision gaspillé.
  • Le 720p est amplement suffisant. Télécharger en 1080p / 4K pour la transcription + analyse d'images gaspille la bande passante et le stockage. yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" est le réglage par défaut.
  • La détection des changements de scène capture les transitions de diapositives. Lorsque la vidéo est une présentation de diapositives, ajouter ffmpeg -vf "select='gt(scene,0.3)'" pour forcer une image à chaque changement de diapositive détecté — plus fiable qu'un échantillonnage purement temporel.
  • L'avertissement de coût multimodal n'est pas optionnel. Le multimodal Gemini sur une vidéo de 60 minutes est significativement coûteux. Avertir avant d'exécuter ; proposer la transcription seule comme solution de repli si l'utilisateur n'est pas sûr.
  • Le format du résumé inclut des indices de routage. Les sections ## Décisions signalées + ## Éléments d'action signalés signalent les suivis /decide et /pm. La composabilité en aval réside dans la structure du résumé.

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Skills associés