Communitygithub.com

coreyhaines31/makerskills

Transcribe y analiza cualquier video en tres modos de profundidad: solo transcripción, visual (frames + visión de Claude) o multimodal (Gemini/Claude). Compatible con YouTube, Loom, Vimeo, Riverside, Zoom, X/IG/TikTok y archivos locales.

¿Qué es makerskills?

Este skill, que reemplaza y amplía el anterior `youtube-transcript`, permite a un agente de IA extraer contenido de videos de múltiples fuentes según la profundidad que el usuario elija en cada invocación. Soporta tres modos: 'transcript' (solo palabras, rápido y gratuito), 'visual' (transcripción + extracción de fotogramas con ffmpeg + análisis de momentos clave con Claude Vision) y 'multimodal' (ingesta nativa de video mediante Gemini si se define `$GEMINI_API_KEY`, o una densa pasada de Claude Vision en caso contrario). El usuario controla el modo invocando `/watch-video <url> [modo]` o con frases como «watch this video» o «analyze this video». El skill utiliza MLX-Whisper local en Mac para la transcripción, con respaldo a transcripciones proporcionadas por la plataforma cuando están disponibles (Loom, Riverside, subtítulos automáticos de YouTube). Los resultados (transcripción, metadatos, fotogramas, resumen y momentos clave) se guardan en `~/Documents/videos/<fuente>-<slug>-<fecha>/`, y opcionalmente se puede capturar un resumen en la 'segunda mente' (second-brain) del usuario como un archivo `call-/meeting-/note-` en `raw/`. Está diseñado para componerse con otros skills como `social-fetch`, `second-brain`, `decide`, `pm`, `slide-deck`, `jab-hook` y especialmente `skillify from-video` (para convertir grabaciones de flujos de trabajo en un SKILL.md).

Compatible con✓Claude Code~Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add https://github.com/coreyhaines31/makerskills/tree/HEAD/skills/watch-video

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

/watch-video — Transcribe y analiza cualquier video a la profundidad que elijas

Reemplaza y amplía el skill anterior youtube-transcript. YouTube es ahora una de muchas fuentes; la profundidad la controla el usuario.

Paso 1 — Interpretar la entrada

Acepta:

  • YouTube: URL completa, youtu.be/<id>, youtube.com/shorts/<id>, ID de 11 caracteres
  • Loom: loom.com/share/<id> o loom.com/embed/<id>
  • Vimeo: vimeo.com/<id>
  • Riverside: URL de descarga o archivo local
  • Zoom: archivo local .mp4 de una grabación descargada
  • X / IG / TikTok: URL — usa social-fetch para los metadatos y yt-dlp para el archivo
  • Archivo local: cualquier ruta a un .mp4 / .mov / .webm / .mkv

Detecta la fuente por el patrón de la URL o la extensión del archivo. Si es ambiguo, pregunta.

Paso 2 — Interpretar el modo de profundidad

InvocaciónModoQué obtienes
/watch-video <url>transcript (predeterminado)Texto limpio, metadatos, capítulos opcionales
/watch-video <url> transcripttranscriptIgual que el predeterminado
/watch-video <url> visualvisualTranscripción + fotogramas a intervalos + pasada de visión de Claude identificando momentos clave
/watch-video <url> multimodalmultimodalVideo nativo para Gemini (si $GEMINI_API_KEY está definida), si no, pasada densa de Claude visión fotograma a fotograma

Si la profundidad no se especifica y el video dura más de 10 minutos, pregunta antes de usar el valor predeterminado (visual/multimodal cuestan dinero real en videos largos).

Paso 3 — Obtener metadatos

Para fuentes de URL, usa yt-dlp:

yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
  --print "%(chapters)j" --skip-download "<url>"

Captura: título, subidor/canal, duración, fecha de subida, descripción (primer párrafo), capítulos (JSON o null).

Para archivos locales, usa ffprobe:

ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"

Paso 4 — Crear directorio de trabajo

~/Documents/videos/<fuente>-<slug>-<fecha>/

Donde:

  • fuente: youtube / loom / vimeo / riverside / zoom / local
  • slug: kebab-case del título (primeras 4–6 palabras, máximo 50 caracteres)
  • fecha: YYYY-MM-DD

Paso 5 — Obtener la transcripción

Selección del backend (en orden):

  1. Transcripción proporcionada por la plataforma si existe y parece completa:

    • YouTube: yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt
    • Loom: obtenerla mediante los metadatos de la página https://www.loom.com/share/<id> o la API de Loom si $LOOM_API_KEY está definida
    • Riverside: transcripciones integradas disponibles en la página de compartir de la grabación
    • Si la transcripción de la plataforma existe y tiene marcas de tiempo, úsala. Omite Whisper.
  2. MLX-Whisper local (respaldo predeterminado — rápido en Mac M-series):

    # Instalar una vez: pip install mlx-whisper
    python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \
      > "<workdir>/transcript-raw.json"
    

    O mediante la CLI: mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir>

  3. whisper.cpp (respaldo adicional si MLX no está disponible)

Descarga primero el archivo de video si es una URL (usa yt-dlp; Loom/Vimeo/YT son compatibles):

yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"

720p es más que suficiente para transcripción y análisis de fotogramas (descarga más pequeña, procesamiento más rápido).

Limpia la transcripción (solo es necesario para los subtítulos automáticos de YouTube que tienen subtítulos continuos; la salida de Whisper ya está limpia):

# Limpieza de VTT de YouTube: eliminar subtítulos continuos duplicados, quitar etiquetas, saltos de párrafo en pausas >2s
awk '
  /^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
  /-->/ { in_cue = 1; last = ""; next }
  /^$/ { if (last) print last; in_cue = 0; last = ""; next }
  in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
  END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"

Guarda el resultado final en <workdir>/transcript.txt.

Paso 6 — Si el modo es transcript: detente aquí

Salida:

  • transcript.txt
  • metadata.json
  • Resumen de una línea en el chat: título, fuente, duración, recuento de palabras
  • Ruta del directorio de trabajo
  • (Opcional) Paso 9 — ofrecer capturar en la segunda mente

Paso 7 — Si el modo es visual: extraer fotogramas + pasada de visión

Extracción de fotogramas (ffmpeg)

Cadencia según el tipo de fuente:

Tipo de fuenteCadencia de fotogramas
Pantalla compartida / Loom / demo1 fotograma cada 5s (la interfaz cambia rápido)
Charla / podcast1 fotograma cada 30s (cambio lento)
Presentación de diapositivas1 fotograma cada 10s + forzar un fotograma en cada cambio de escena detectado
Predeterminado si no está seguro1 fotograma cada 15s
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y

Para detección de cambios de escena (especialmente en presentaciones de diapositivas):

ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"

Pasada de visión

Empareja cada fotograma con el fragmento de transcripción correspondiente a la misma ventana de tiempo. Luego envía en lote a la visión de Claude para su síntesis.

Indicación por lote de fotogramas (hasta ~10 fotogramas por llamada):

Aquí hay N fotogramas de un video con marcas de tiempo T1..TN. Para cada fotograma, describe lo que se ve en pantalla en 1–2 oraciones. Señala: (a) cambios de interfaz con respecto al fotograma anterior, (b) texto visible en pantalla, (c) cualquier momento que parezca una decisión, acción o evento notable. También anota el texto de la transcripción que se habló durante esta ventana.

Guarda la salida como <workdir>/moments.md:

# Momentos clave — <título>

## 00:00:15 (frame-001.png)
**En pantalla**: Formulario de inicio de sesión, campo de correo electrónico enfocado
**Transcripción**: "Así que simplemente lo abres y..."
**Nota**: Inicio de la demostración de interfaz

## 00:00:45 (frame-002.png)
**En pantalla**: Panel con 4 tarjetas
**Transcripción**: "Y aquí es donde ves todos tus proyectos."
**Nota**: Cambio de vista importante — primera vez que aparece el panel

Generar resumen

Después de identificar los momentos, sintetiza todo el video en <workdir>/summary.md:

# Resumen — <título>

**Fuente:** <URL del archivo / fuente>
**Duración:** <hh:mm:ss>
**Visto en:** <fecha>
**Modo:** visual

## Resumen
<2–4 oraciones>

## Momentos clave
- 00:00:15 — <una línea>
- 00:00:45 — <una línea>

## Elementos de acción señalados
- <elemento> [marca de tiempo]

## Decisiones señaladas
- <decisión> [marca de tiempo] — considerar redirigir a /decide

## Citas que vale la pena conservar
- "..." [marca de tiempo]

## Preguntas abiertas
- <pregunta planteada pero no respondida>

Paso 8 — Si el modo es multimodal

Selección del backend

  1. Gemini nativo si $GEMINI_API_KEY está definida (mucho más barato + rápido que por fotograma para videos largos):

    Modelo predeterminado: gemini-3.5-flash (lanzado en mayo de 2026, ~$1.50 entrada / $9 salida por 1M de tokens; ~$0.15/segundo de video; supera a 3.1 Pro en benchmarks de codificación/agentes a 4× la velocidad). Sobrescribe a gemini-3.1-pro para auditorías de marca / análisis de alto riesgo donde los detalles importan; gemini-2.5-flash-lite para procesamiento barato en lotes.

    # Paso 1: Subir video mediante la API de archivos
    FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \
      -H "X-Goog-Upload-Command: start, upload, finalize" \
      -H "Content-Type: video/mp4" \
      --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri')
    
    # Esperar hasta que el archivo esté ACTIVO (Gemini procesa el video primero)
    while true; do
      STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state')
      [ "$STATE" = "ACTIVE" ] && break
      sleep 3
    done
    
    # Paso 2: Generar contenido con el archivo + la indicación de análisis multimodal
    curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \
      -H "Content-Type: application/json" \
      -d "{
        \"contents\":[{
          \"parts\":[
            {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}},
            {\"text\":\"<indicación de análisis multimodal — consulta la plantilla de resumen del Paso 7 + extensiones según el caso de uso>\"}
          ]
        }]
      }"
    

    Los archivos persisten en la API de archivos de Gemini durante ~48 horas — útil para volver a consultar el mismo video con diferentes indicaciones.

  2. Respaldo de Claude visión denso si no hay clave de Gemini:

    • Cadencia de fotogramas: 1 fotograma cada 3s (mucho más denso que el modo visual)
    • Procesa en lotes a través de Claude visión con la indicación de análisis multimodal
    • Más lento y costoso que Gemini para videos largos — advierte al usuario antes de ejecutarlo en contenido de más de 10 minutos

Salida multimodal

Misma plantilla summary.md que en el Paso 7 + una sección extendida:

## Observaciones multimodales
- **Lenguaje corporal / presentación**: <observaciones sobre video de persona hablando>
- **Ritmo**: <rápido/lento/desigual>
- **Estilo visual**: <auditoría de marca, revisión de anuncio, observaciones de diseño>
- **Calidad de audio / atmósfera**: <música, silencio, fondo>

Las secciones exactas dependen del caso de uso (auditoría de marca, revisión de anuncio, revisión de presentación, lectura de llamada con cliente). El caso de uso se infiere de la fuente y del contexto verbal del usuario al invocar.

Paso 9 — Opcional: capturar en la segunda mente

Después de completar cualquier modo, ofrece:

"¿Quieres capturar esto en tu segunda mente? Escribiré un archivo call-<slug>.md (o meeting- / note- / resource-) en ${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/ con el resumen, la URL de origen y el enlace a la transcripción."

Prefijo de tipo según la fuente:

FuentePrefijo
Loom / Zoom / Riverside / Otter / grabación de llamadacall-
Reunión (notas propias, no una transcripción)meeting-
Charla / keynote / conferencianote-
Anuncio / video de página de destino / referencia de marketing / video de competidorresource-

Cuerpo del archivo: 1 línea de fuente, el resumen, enlace al directorio de trabajo completo.

Paso 10 — Informar

En el chat:

  • Titular de una línea: <fuente> · <título> · <duración> · <modo> · <recuento de palabras> palabras
  • Ruta del directorio de trabajo
  • Para visual / multimodal: breve lista de los 3 momentos principales
  • Para todos los modos: cualquier elemento de acción / decisión señalada para clasificación
  • Si se capturó en la segunda mente: esa ruta también

Referencia de fuentes

FuenteDescargaTranscripción integradaNotas
YouTubeyt-dlpSubtítulos automáticos (--write-auto-sub)Igual que el skill anterior youtube-transcript
Loomyt-dlp (Loom compatible)Sí — obtener mediante metadatos de embed o API de LoomEnfoque en pantalla compartida asíncrona — caso de uso principal
Vimeoyt-dlpA vecesVideos de marketing/embed
RiversideURL directa de exportación, o archivo localSí — Riverside los generaEpisodios de podcast
ZoomArchivo local .mp4 (grabaciones descargadas)A veces (archivo de transcripción de audio de Zoom)Llamadas con clientes
X / IG / TikTokDeferir a social-fetch para metadatos, yt-dlp para el archivoNoFormato corto
Archivo localn/an/aProporcionar una ruta

Se compone con

  • social-fetch — para metadatos de URL de X/IG/TikTok (participación, autor, respuestas) antes del procesamiento del video
  • second-brain — capturar resumen como raw/call-<slug>.md, meeting-, note- o resource- según el tipo de fuente
  • decide — cuando un video contiene una decisión señalada, redirigir a /decide para captura estructurada
  • pm — los elementos de acción señalados en el resumen se pueden clasificar en tableros de proyecto
  • slide-deck — grabaciones de charlas → extracción de esquema → borrador de presentación (bucle)
  • jab-hook — citas + momentos dignos de clip de videos de podcast/charla alimentan publicaciones BIP/promocionales
  • skillify from-video — caso de uso principal para el modo visual en grabaciones de procesos. El usuario se graba haciendo un flujo de trabajo (Loom/pantalla compartida), este skill extrae la transcripción + momentos visuales clave, luego skillify sintetiza el flujo de trabajo en un SKILL.md. "Graba una vez, la IA lo convierte en skill."

Manejo de errores

FalloRespuesta
Video no disponible / privado / bloqueado por regiónInformar y detener
Sin subtítulos + Whisper no instaladoDecir al usuario: pip install mlx-whisper (Mac)
ffmpeg no encontrado (para visual/multimodal)Decir al usuario: brew install ffmpeg
La pasada de visión devuelve vacío / poco claroReducir el número de fotogramas, reintentar, o retroceder a solo transcripción con una nota
Se solicitó multimodal pero no hay $GEMINI_API_KEY y video de más de 30 minutosAdvertir del coste, ofrecer retroceder al modo visual
Binario yt-dlp no encontradobrew install yt-dlp

Notas sobre calidad

  • El usuario elige la profundidad, no el skill. Transcript / visual / multimodal son 3 perfiles diferentes de coste + latencia. Los videos largos (>10 min) siempre confirman antes de gastar en visual/multimodal.
  • Primero la transcripción de la plataforma, segundo Whisper. Subtítulos automáticos de YouTube, transcripciones de Loom, transcripciones integradas de Riverside — todas gratuitas + instantáneas cuando existen. Retrocede a MLX-Whisper local solo cuando nada de la plataforma funciona.
  • MLX-Whisper local es la ruta rápida en Mac. Las máquinas M-series transcriben más rápido que el tiempo real. Cloud Whisper es una opción secundaria lejana — cuesta dinero, dependencia de red, peor latencia en duraciones típicas.
  • Cadencia de fotogramas según el tipo de fuente. Pantalla compartida / demos necesitan 1 fotograma cada 5s (la interfaz cambia rápido); podcasts de personas hablando necesitan 1 cada 30s (cambio lento). Predeterminado 15s si no está seguro. Cadencia incorrecta = momentos clave perdidos O coste desperdiciado en la pasada de visión.
  • 720p es suficiente. Descargar 1080p / 4K para transcripción + análisis de fotogramas desperdicia ancho de banda + almacenamiento. yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" es el valor predeterminado.
  • La detección de cambios de escena captura transiciones de diapositivas. Cuando el video es una presentación de diapositivas, añade ffmpeg -vf "select='gt(scene,0.3)'" para forzar un fotograma en cada cambio de diapositiva detectado — más fiable que el muestreo basado únicamente en el tiempo.
  • La advertencia de coste multimodal es obligatoria. El multimodal de Gemini en un video de 60 minutos es significativamente caro. Advierte antes de ejecutar; ofrece solo transcripción como alternativa si el usuario no está seguro.
  • El formato del resumen incluye indicaciones de enrutamiento. Las secciones ## Decisiones señaladas + ## Elementos de acción señalados señalan seguimientos de /decide y /pm. La componibilidad descendente reside en la estructura del resumen.

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Skills relacionados