/watch-video — Transcribe y analiza cualquier video a la profundidad que elijas
Reemplaza y amplía el skill anterior youtube-transcript. YouTube es ahora una de muchas fuentes; la profundidad la controla el usuario.
Paso 1 — Interpretar la entrada
Acepta:
- YouTube: URL completa,
youtu.be/<id>,youtube.com/shorts/<id>, ID de 11 caracteres - Loom:
loom.com/share/<id>oloom.com/embed/<id> - Vimeo:
vimeo.com/<id> - Riverside: URL de descarga o archivo local
- Zoom: archivo local
.mp4de una grabación descargada - X / IG / TikTok: URL — usa
social-fetchpara los metadatos y yt-dlp para el archivo - Archivo local: cualquier ruta a un
.mp4/.mov/.webm/.mkv
Detecta la fuente por el patrón de la URL o la extensión del archivo. Si es ambiguo, pregunta.
Paso 2 — Interpretar el modo de profundidad
| Invocación | Modo | Qué obtienes |
|---|---|---|
/watch-video <url> | transcript (predeterminado) | Texto limpio, metadatos, capítulos opcionales |
/watch-video <url> transcript | transcript | Igual que el predeterminado |
/watch-video <url> visual | visual | Transcripción + fotogramas a intervalos + pasada de visión de Claude identificando momentos clave |
/watch-video <url> multimodal | multimodal | Video nativo para Gemini (si $GEMINI_API_KEY está definida), si no, pasada densa de Claude visión fotograma a fotograma |
Si la profundidad no se especifica y el video dura más de 10 minutos, pregunta antes de usar el valor predeterminado (visual/multimodal cuestan dinero real en videos largos).
Paso 3 — Obtener metadatos
Para fuentes de URL, usa yt-dlp:
yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
--print "%(chapters)j" --skip-download "<url>"
Captura: título, subidor/canal, duración, fecha de subida, descripción (primer párrafo), capítulos (JSON o null).
Para archivos locales, usa ffprobe:
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"
Paso 4 — Crear directorio de trabajo
~/Documents/videos/<fuente>-<slug>-<fecha>/
Donde:
fuente:youtube/loom/vimeo/riverside/zoom/localslug: kebab-case del título (primeras 4–6 palabras, máximo 50 caracteres)fecha:YYYY-MM-DD
Paso 5 — Obtener la transcripción
Selección del backend (en orden):
-
Transcripción proporcionada por la plataforma si existe y parece completa:
- YouTube:
yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt - Loom: obtenerla mediante los metadatos de la página
https://www.loom.com/share/<id>o la API de Loom si$LOOM_API_KEYestá definida - Riverside: transcripciones integradas disponibles en la página de compartir de la grabación
- Si la transcripción de la plataforma existe y tiene marcas de tiempo, úsala. Omite Whisper.
- YouTube:
-
MLX-Whisper local (respaldo predeterminado — rápido en Mac M-series):
# Instalar una vez: pip install mlx-whisper python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \ > "<workdir>/transcript-raw.json"O mediante la CLI:
mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir> -
whisper.cpp (respaldo adicional si MLX no está disponible)
Descarga primero el archivo de video si es una URL (usa yt-dlp; Loom/Vimeo/YT son compatibles):
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"
720p es más que suficiente para transcripción y análisis de fotogramas (descarga más pequeña, procesamiento más rápido).
Limpia la transcripción (solo es necesario para los subtítulos automáticos de YouTube que tienen subtítulos continuos; la salida de Whisper ya está limpia):
# Limpieza de VTT de YouTube: eliminar subtítulos continuos duplicados, quitar etiquetas, saltos de párrafo en pausas >2s
awk '
/^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
/-->/ { in_cue = 1; last = ""; next }
/^$/ { if (last) print last; in_cue = 0; last = ""; next }
in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"
Guarda el resultado final en <workdir>/transcript.txt.
Paso 6 — Si el modo es transcript: detente aquí
Salida:
transcript.txtmetadata.json- Resumen de una línea en el chat: título, fuente, duración, recuento de palabras
- Ruta del directorio de trabajo
- (Opcional) Paso 9 — ofrecer capturar en la segunda mente
Paso 7 — Si el modo es visual: extraer fotogramas + pasada de visión
Extracción de fotogramas (ffmpeg)
Cadencia según el tipo de fuente:
| Tipo de fuente | Cadencia de fotogramas |
|---|---|
| Pantalla compartida / Loom / demo | 1 fotograma cada 5s (la interfaz cambia rápido) |
| Charla / podcast | 1 fotograma cada 30s (cambio lento) |
| Presentación de diapositivas | 1 fotograma cada 10s + forzar un fotograma en cada cambio de escena detectado |
| Predeterminado si no está seguro | 1 fotograma cada 15s |
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y
Para detección de cambios de escena (especialmente en presentaciones de diapositivas):
ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"
Pasada de visión
Empareja cada fotograma con el fragmento de transcripción correspondiente a la misma ventana de tiempo. Luego envía en lote a la visión de Claude para su síntesis.
Indicación por lote de fotogramas (hasta ~10 fotogramas por llamada):
Aquí hay N fotogramas de un video con marcas de tiempo T1..TN. Para cada fotograma, describe lo que se ve en pantalla en 1–2 oraciones. Señala: (a) cambios de interfaz con respecto al fotograma anterior, (b) texto visible en pantalla, (c) cualquier momento que parezca una decisión, acción o evento notable. También anota el texto de la transcripción que se habló durante esta ventana.
Guarda la salida como <workdir>/moments.md:
# Momentos clave — <título>
## 00:00:15 (frame-001.png)
**En pantalla**: Formulario de inicio de sesión, campo de correo electrónico enfocado
**Transcripción**: "Así que simplemente lo abres y..."
**Nota**: Inicio de la demostración de interfaz
## 00:00:45 (frame-002.png)
**En pantalla**: Panel con 4 tarjetas
**Transcripción**: "Y aquí es donde ves todos tus proyectos."
**Nota**: Cambio de vista importante — primera vez que aparece el panel
Generar resumen
Después de identificar los momentos, sintetiza todo el video en <workdir>/summary.md:
# Resumen — <título>
**Fuente:** <URL del archivo / fuente>
**Duración:** <hh:mm:ss>
**Visto en:** <fecha>
**Modo:** visual
## Resumen
<2–4 oraciones>
## Momentos clave
- 00:00:15 — <una línea>
- 00:00:45 — <una línea>
## Elementos de acción señalados
- <elemento> [marca de tiempo]
## Decisiones señaladas
- <decisión> [marca de tiempo] — considerar redirigir a /decide
## Citas que vale la pena conservar
- "..." [marca de tiempo]
## Preguntas abiertas
- <pregunta planteada pero no respondida>
Paso 8 — Si el modo es multimodal
Selección del backend
-
Gemini nativo si
$GEMINI_API_KEYestá definida (mucho más barato + rápido que por fotograma para videos largos):Modelo predeterminado:
gemini-3.5-flash(lanzado en mayo de 2026, ~$1.50 entrada / $9 salida por 1M de tokens; ~$0.15/segundo de video; supera a 3.1 Pro en benchmarks de codificación/agentes a 4× la velocidad). Sobrescribe agemini-3.1-propara auditorías de marca / análisis de alto riesgo donde los detalles importan;gemini-2.5-flash-litepara procesamiento barato en lotes.# Paso 1: Subir video mediante la API de archivos FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \ -H "X-Goog-Upload-Command: start, upload, finalize" \ -H "Content-Type: video/mp4" \ --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri') # Esperar hasta que el archivo esté ACTIVO (Gemini procesa el video primero) while true; do STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state') [ "$STATE" = "ACTIVE" ] && break sleep 3 done # Paso 2: Generar contenido con el archivo + la indicación de análisis multimodal curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d "{ \"contents\":[{ \"parts\":[ {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}}, {\"text\":\"<indicación de análisis multimodal — consulta la plantilla de resumen del Paso 7 + extensiones según el caso de uso>\"} ] }] }"Los archivos persisten en la API de archivos de Gemini durante ~48 horas — útil para volver a consultar el mismo video con diferentes indicaciones.
-
Respaldo de Claude visión denso si no hay clave de Gemini:
- Cadencia de fotogramas: 1 fotograma cada 3s (mucho más denso que el modo visual)
- Procesa en lotes a través de Claude visión con la indicación de análisis multimodal
- Más lento y costoso que Gemini para videos largos — advierte al usuario antes de ejecutarlo en contenido de más de 10 minutos
Salida multimodal
Misma plantilla summary.md que en el Paso 7 + una sección extendida:
## Observaciones multimodales
- **Lenguaje corporal / presentación**: <observaciones sobre video de persona hablando>
- **Ritmo**: <rápido/lento/desigual>
- **Estilo visual**: <auditoría de marca, revisión de anuncio, observaciones de diseño>
- **Calidad de audio / atmósfera**: <música, silencio, fondo>
Las secciones exactas dependen del caso de uso (auditoría de marca, revisión de anuncio, revisión de presentación, lectura de llamada con cliente). El caso de uso se infiere de la fuente y del contexto verbal del usuario al invocar.
Paso 9 — Opcional: capturar en la segunda mente
Después de completar cualquier modo, ofrece:
"¿Quieres capturar esto en tu segunda mente? Escribiré un archivo
call-<slug>.md(omeeting-/note-/resource-) en${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/con el resumen, la URL de origen y el enlace a la transcripción."
Prefijo de tipo según la fuente:
| Fuente | Prefijo |
|---|---|
| Loom / Zoom / Riverside / Otter / grabación de llamada | call- |
| Reunión (notas propias, no una transcripción) | meeting- |
| Charla / keynote / conferencia | note- |
| Anuncio / video de página de destino / referencia de marketing / video de competidor | resource- |
Cuerpo del archivo: 1 línea de fuente, el resumen, enlace al directorio de trabajo completo.
Paso 10 — Informar
En el chat:
- Titular de una línea:
<fuente> · <título> · <duración> · <modo> · <recuento de palabras> palabras - Ruta del directorio de trabajo
- Para
visual/multimodal: breve lista de los 3 momentos principales - Para todos los modos: cualquier elemento de acción / decisión señalada para clasificación
- Si se capturó en la segunda mente: esa ruta también
Referencia de fuentes
| Fuente | Descarga | Transcripción integrada | Notas |
|---|---|---|---|
| YouTube | yt-dlp | Subtítulos automáticos (--write-auto-sub) | Igual que el skill anterior youtube-transcript |
| Loom | yt-dlp (Loom compatible) | Sí — obtener mediante metadatos de embed o API de Loom | Enfoque en pantalla compartida asíncrona — caso de uso principal |
| Vimeo | yt-dlp | A veces | Videos de marketing/embed |
| Riverside | URL directa de exportación, o archivo local | Sí — Riverside los genera | Episodios de podcast |
| Zoom | Archivo local .mp4 (grabaciones descargadas) | A veces (archivo de transcripción de audio de Zoom) | Llamadas con clientes |
| X / IG / TikTok | Deferir a social-fetch para metadatos, yt-dlp para el archivo | No | Formato corto |
| Archivo local | n/a | n/a | Proporcionar una ruta |
Se compone con
social-fetch— para metadatos de URL de X/IG/TikTok (participación, autor, respuestas) antes del procesamiento del videosecond-brain— capturar resumen comoraw/call-<slug>.md,meeting-,note-oresource-según el tipo de fuentedecide— cuando un video contiene una decisión señalada, redirigir a/decidepara captura estructuradapm— los elementos de acción señalados en el resumen se pueden clasificar en tableros de proyectoslide-deck— grabaciones de charlas → extracción de esquema → borrador de presentación (bucle)jab-hook— citas + momentos dignos de clip de videos de podcast/charla alimentan publicaciones BIP/promocionalesskillify from-video— caso de uso principal para el modovisualen grabaciones de procesos. El usuario se graba haciendo un flujo de trabajo (Loom/pantalla compartida), este skill extrae la transcripción + momentos visuales clave, luegoskillifysintetiza el flujo de trabajo en un SKILL.md. "Graba una vez, la IA lo convierte en skill."
Manejo de errores
| Fallo | Respuesta |
|---|---|
| Video no disponible / privado / bloqueado por región | Informar y detener |
| Sin subtítulos + Whisper no instalado | Decir al usuario: pip install mlx-whisper (Mac) |
| ffmpeg no encontrado (para visual/multimodal) | Decir al usuario: brew install ffmpeg |
| La pasada de visión devuelve vacío / poco claro | Reducir el número de fotogramas, reintentar, o retroceder a solo transcripción con una nota |
Se solicitó multimodal pero no hay $GEMINI_API_KEY y video de más de 30 minutos | Advertir del coste, ofrecer retroceder al modo visual |
Binario yt-dlp no encontrado | brew install yt-dlp |
Notas sobre calidad
- El usuario elige la profundidad, no el skill. Transcript / visual / multimodal son 3 perfiles diferentes de coste + latencia. Los videos largos (>10 min) siempre confirman antes de gastar en visual/multimodal.
- Primero la transcripción de la plataforma, segundo Whisper. Subtítulos automáticos de YouTube, transcripciones de Loom, transcripciones integradas de Riverside — todas gratuitas + instantáneas cuando existen. Retrocede a MLX-Whisper local solo cuando nada de la plataforma funciona.
- MLX-Whisper local es la ruta rápida en Mac. Las máquinas M-series transcriben más rápido que el tiempo real. Cloud Whisper es una opción secundaria lejana — cuesta dinero, dependencia de red, peor latencia en duraciones típicas.
- Cadencia de fotogramas según el tipo de fuente. Pantalla compartida / demos necesitan 1 fotograma cada 5s (la interfaz cambia rápido); podcasts de personas hablando necesitan 1 cada 30s (cambio lento). Predeterminado 15s si no está seguro. Cadencia incorrecta = momentos clave perdidos O coste desperdiciado en la pasada de visión.
- 720p es suficiente. Descargar 1080p / 4K para transcripción + análisis de fotogramas desperdicia ancho de banda + almacenamiento.
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]"es el valor predeterminado. - La detección de cambios de escena captura transiciones de diapositivas. Cuando el video es una presentación de diapositivas, añade
ffmpeg -vf "select='gt(scene,0.3)'"para forzar un fotograma en cada cambio de diapositiva detectado — más fiable que el muestreo basado únicamente en el tiempo. - La advertencia de coste multimodal es obligatoria. El multimodal de Gemini en un video de 60 minutos es significativamente caro. Advierte antes de ejecutar; ofrece solo transcripción como alternativa si el usuario no está seguro.
- El formato del resumen incluye indicaciones de enrutamiento. Las secciones
## Decisiones señaladas+## Elementos de acción señaladosseñalan seguimientos de/decidey/pm. La componibilidad descendente reside en la estructura del resumen.