Communitygithub.com

coreyhaines31/makerskills

Extraia e analise transcrições, quadros-chave e insights multimodais de vídeos do YouTube, Loom, Vimeo, Riverside, Zoom, MP4 locais e mais, com três modos de profundidade.

O que é makerskills?

Este skill permite que agentes de IA (como Claude Code, Cursor ou Codex) extraiam e analisem conteúdo de vídeos com três níveis de profundidade controlados pelo usuário: transcrição (apenas texto, rápido e gratuito), visual (transcrição + extração de quadros com ffmpeg + análise de visão do Claude nos momentos-chave) e multimodal (ingestão nativa de vídeo pelo Gemini, se a chave GEMINI_API_KEY estiver configurada, ou análise densa de visão do Claude). Ele usa MLX-Whisper localmente no Mac para transcrição, com fallback para transcrições fornecidas pela plataforma (Loom, Riverside, YouTube). O resultado é salvo em ~/Documents/videos/<origem>-<slug>-<data>/, e opcionalmente capturado para um 'segundo cérebro' (second-brain) como resumo estruturado. O skill substitui e amplia o skill anterior youtube-transcript, suportando agora dezenas de fontes e seleção de profundidade pelo usuário. A saída inclui metadados, transcrição limpa, momentos-chave, resumo e dicas de roteamento para ações downstream, como decisões ou itens de ação. O custo e a latência variam conforme o modo: o modo 'transcript' é quase instantâneo e gratuito, enquanto os modos visual e multimodal consomem mais recursos (frames e chamadas de API de visão), especialmente em vídeos longos. O skill sempre confirma com o usuário antes de processar vídeos com mais de 10 minutos nos modos mais caros.

Funciona com✓Claude Code~Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add https://github.com/coreyhaines31/makerskills/tree/HEAD/skills/watch-video

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

/watch-video — Transcreva e analise qualquer vídeo na profundidade que você escolher

Substitui e amplia o skill anterior youtube-transcript. YouTube agora é apenas uma das muitas fontes; a profundidade é controlada pelo usuário.

Etapa 1 — Interpretar a entrada

Aceita:

  • YouTube: URL completo, youtu.be/<id>, youtube.com/shorts/<id>, ID bruto de 11 caracteres
  • Loom: loom.com/share/<id> ou loom.com/embed/<id>
  • Vimeo: vimeo.com/<id>
  • Riverside: URL de download ou arquivo local
  • Zoom: .mp4 local de uma gravação baixada
  • X / IG / TikTok: URL — delega para social-fetch obter metadados, usa yt-dlp para o arquivo
  • Arquivo local: qualquer caminho para .mp4 / .mov / .webm / .mkv

Detecta a origem pelo padrão da URL ou extensão do arquivo. Se ambíguo, pergunte.

Etapa 2 — Interpretar o modo de profundidade

InvocaçãoModoO que você obtém
/watch-video <url>transcript (padrão)Texto limpo, metadados, capítulos opcionais
/watch-video <url> transcripttranscriptO mesmo que o padrão
/watch-video <url> visualvisualTranscrição + quadros em intervalos + passagem de visão do Claude identificando momentos-chave
/watch-video <url> multimodalmultimodalVídeo nativo para o Gemini (se $GEMINI_API_KEY configurado), senão visão densa do Claude quadro a quadro

Se a profundidade não for especificada e o vídeo tiver mais de 10 minutos, pergunte antes de usar o padrão (visual/multimodal custam dinheiro real em vídeos longos).

Etapa 3 — Obter metadados

Para fontes de URL, use yt-dlp:

yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
  --print "%(chapters)j" --skip-download "<url>"

Capture: título, uploader/canal, duração, data de upload, descrição (primeiro parágrafo), capítulos (JSON ou nulo).

Para arquivos locais, use ffprobe:

ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"

Etapa 4 — Construir diretório de trabalho

~/Documents/videos/<origem>-<slug>-<data>/

Onde:

  • origem: youtube / loom / vimeo / riverside / zoom / local
  • slug: kebab-case do título (primeiras 4–6 palavras, máximo de 50 caracteres)
  • data: YYYY-MM-DD

Etapa 5 — Obter a transcrição

Seleção de backend (em ordem):

  1. Transcrição fornecida pela plataforma se existir e parecer completa:

    • YouTube: yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt
    • Loom: buscar via metadados da página https://www.loom.com/share/<id> ou API da Loom se $LOOM_API_KEY estiver configurado
    • Riverside: transcrições integradas disponíveis na página de compartilhamento da gravação
    • Se a transcrição da plataforma existir e tiver timestamps, use-a. Pule o Whisper.
  2. MLX-Whisper local (fallback padrão — rápido em Mac M-series):

    # Instalar uma vez: pip install mlx-whisper
    python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \
      > "<workdir>/transcript-raw.json"
    

    Ou via CLI: mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir>

  3. whisper.cpp (fallback adicional se MLX não estiver disponível)

Baixe o arquivo de vídeo primeiro se for uma URL (use yt-dlp; Loom/Vimeo/YT todos suportados):

yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"

720p é suficiente para transcrição e análise de quadros (download menor, processamento mais rápido).

Limpe a transcrição (necessário apenas para legendas automáticas do YouTube que têm legendas rolantes; a saída do Whisper já está limpa):

# Limpeza VTT do YouTube — remove duplicações de legendas rolantes, tags, quebra de parágrafo em lacunas de cue >2s
awk '
  /^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
  /-->/ { in_cue = 1; last = ""; next }
  /^$/ { if (last) print last; in_cue = 0; last = ""; next }
  in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
  END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"

Salve o final em <workdir>/transcript.txt.

Etapa 6 — Se modo transcript: pare aqui

Saída:

  • transcript.txt
  • metadata.json
  • Resumo de uma linha no chat: título, origem, duração, contagem de palavras
  • Caminho para o diretório de trabalho
  • (Opcional) Etapa 9 — oferecer captura para o second-brain

Etapa 7 — Se modo visual: extrair quadros + passagem de visão

Extração de quadros (ffmpeg)

Cadência por heurística de origem:

Tipo de origemCadência de quadros
Compartilhamento de tela / Loom / demonstração1 quadro a cada 5s (mudanças rápidas na interface)
Talking head / podcast1 quadro a cada 30s (mudança lenta)
Apresentação de slides1 quadro a cada 10s + forçar um quadro em cada mudança de cena detectada
Padrão se não souber1 quadro a cada 15s
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y

Para detecção de mudança de cena (especialmente apresentações de slides):

ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"

Passagem de visão

Emparelhe cada quadro com o trecho de transcrição para a mesma janela de timestamp. Em seguida, envie em lote para a visão do Claude para síntese.

Prompt de lote por quadro (até ~10 quadros por chamada):

Aqui estão N quadros de um vídeo nos timestamps T1..TN. Para cada quadro, descreva o que está na tela em 1–2 frases. Sinalize: (a) mudanças na interface em relação ao quadro anterior, (b) texto visível na tela, (c) qualquer momento que pareça uma decisão, ação ou evento notável. Observe também o texto da transcrição falado durante esta janela.

Salve a saída como <workdir>/moments.md:

# Momentos-chave — <título>

## 00:00:15 (frame-001.png)
**Na tela**: Formulário de login, campo de email focado
**Transcrição**: "Então você apenas abre e..."
**Nota**: Início da demonstração da interface

## 00:00:45 (frame-002.png)
**Na tela**: Painel com 4 cartões
**Transcrição**: "E aqui é onde você vê todos os seus projetos."
**Nota**: Mudança importante de visualização — primeira vez que o painel aparece

Gerar resumo

Após os momentos serem identificados, sintetize todo o vídeo em <workdir>/summary.md:

# Resumo — <título>

**Origem:** <URL do origem / arquivo>
**Duração:** <hh:mm:ss>
**Assistido em:** <data>
**Modo:** visual

## Resumo rápido
<2–4 frases>

## Momentos-chave
- 00:00:15 — <linha única>
- 00:00:45 — <linha única>

## Itens de ação sinalizados
- <item> [timestamp]

## Decisões sinalizadas
- <decisão> [timestamp] — considere rotear para /decide

## Citações que valem a pena guardar
- "..." [timestamp]

## Perguntas em aberto
- <pergunta levantada mas não respondida>

Etapa 8 — Se modo multimodal

Seleção de backend

  1. Gemini nativo se $GEMINI_API_KEY estiver configurado (muito mais barato + rápido do que quadro a quadro para vídeos longos):

    Modelo padrão: gemini-3.5-flash (lançado em maio de 2026, ~$1,50 de entrada / $9 de saída por 1M de tokens; ~$0,15/segundo de vídeo; supera o 3.1 Pro em benchmarks de codificação/agentes a 4× a velocidade). Substitua por gemini-3.1-pro para auditorias de marca / análises de alto risco onde os detalhes importam; gemini-2.5-flash-lite para processamento barato em massa.

    # Etapa 1: Enviar vídeo via API de Arquivos
    FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \
      -H "X-Goog-Upload-Command: start, upload, finalize" \
      -H "Content-Type: video/mp4" \
      --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri')
    
    # Aguarde até que o arquivo esteja ATIVO (Gemini processa o vídeo primeiro)
    while true; do
      STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state')
      [ "$STATE" = "ACTIVE" ] && break
      sleep 3
    done
    
    # Etapa 2: Gerar conteúdo com o arquivo + prompt de análise multimodal
    curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \
      -H "Content-Type: application/json" \
      -d "{
        \"contents\":[{
          \"parts\":[
            {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}},
            {\"text\":\"<prompt de análise multimodal — consulte o modelo de resumo da Etapa 7 + extensões de caso de uso>\"}
          ]
        }]
      }"
    

    Os arquivos persistem na API de Arquivos do Gemini por ~48 horas — útil para reconsultar o mesmo vídeo com prompts diferentes.

  2. Fallback de visão densa do Claude se não houver chave Gemini:

    • Cadência de quadros: 1 quadro a cada 3s (muito mais denso que o modo visual)
    • Envie em lote pela visão do Claude com o prompt de análise multimodal
    • Mais lento e mais caro que o Gemini para vídeos longos — avise o usuário antes de executar em conteúdo >10min

Saída multimodal

Mesmo modelo de summary.md da Etapa 7 + uma seção estendida:

## Observações multimodais
- **Linguagem corporal / apresentação**: <observações sobre vídeo de talking head>
- **Ritmo**: <rápido/lento/desigual>
- **Estilo visual**: <auditoria de marca, revisão de anúncio, observações de design>
- **Qualidade de áudio / atmosfera**: <música, silêncio, fundo>

As seções exatas adicionais dependem do caso de uso (auditoria de marca, revisão de anúncio, revisão de apresentação, leitura de chamada de cliente). O caso de uso é inferido a partir da origem + do enquadramento verbal do usuário ao invocar.

Etapa 9 — Opcional: capturar para o second-brain

Após qualquer modo ser concluído, ofereça:

"Quer capturar isso para o second-brain? Vou escrever um call-<slug>.md (ou meeting- / note- / resource-) para ${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/ com o resumo, URL de origem e link da transcrição."

Prefixo por origem:

OrigemPrefixo
Loom / Zoom / Riverside / Otter / gravação de chamadacall-
Reunião (notas próprias, não uma transcrição)meeting-
Palestra / keynote / conferêncianote-
Anúncio / vídeo de página de destino / referência de marketing / vídeo de concorrenteresource-

Corpo do arquivo: 1 linha de origem, o resumo, link para o diretório de trabalho completo.

Etapa 10 — Relatar

No chat:

  • Manchete de uma linha: <origem> · <título> · <duração> · <modo> · <contagem de palavras> palavras
  • Caminho do diretório de trabalho
  • Para visual / multimodal: breve lista dos 3 principais momentos-chave
  • Para todos os modos: quaisquer itens de ação / decisões sinalizadas para triagem
  • Se capturado para o second-brain: esse caminho também

Referência de origens

OrigemDownloadTranscrição integradaNotas
YouTubeyt-dlpLegendas automáticas (--write-auto-sub)Mesmo que o skill anterior youtube-transcript
Loomyt-dlp (Loom suportado)Sim — buscar via metadados de incorporação ou API LoomFoco em compartilhamento de tela assíncrono — caso de uso principal
Vimeoyt-dlpÀs vezesVídeos de marketing/incorporação
RiversideURL direto da exportação, ou arquivo localSim — Riverside os geraEpisódios de podcast
Zoom.mp4 local (gravações baixadas)Às vezes (arquivo de transcrição de áudio do Zoom)Chamadas de clientes
X / IG / TikTokDelegar para social-fetch para metadados, yt-dlp para o arquivoNãoFormato curto
Arquivo localn/an/aSolte um caminho

Compõe-se com

  • social-fetch — para metadados de URL de X/IG/TikTok (engajamento, autor, respostas) antes do processamento do vídeo
  • second-brain — capturar resumo como raw/call-<slug>.md, meeting-, note-, ou resource- por tipo de origem
  • decide — quando um vídeo contém uma decisão sinalizada, rotear para /decide para captura estruturada
  • pm — itens de ação sinalizados no resumo podem ser triados para quadros de projeto
  • slide-deck — gravações de palestra → extração de estrutura → rascunho de deck (loop)
  • jab-hook — citações + momentos dignos de clipe de vídeos de podcast/palestra alimentam posts de BIP/promoção
  • skillify from-video — caso de uso principal para o modo visual em gravações de processo. O usuário grava a si mesmo realizando um fluxo de trabalho (Loom/compartilhamento de tela), este skill extrai transcrição + momentos visuais-chave, então skillify sintetiza o fluxo de trabalho em um SKILL.md. "Grave uma vez, IA converte em skill."

Tratamento de erros

FalhaResposta
Vídeo indisponível / privado / bloqueado por regiãoRelate e pare
Sem legendas + Whisper não instaladoDiga ao usuário: pip install mlx-whisper (Mac)
ffmpeg ausente (para visual/multimodal)Diga ao usuário: brew install ffmpeg
Passagem de visão retorna vazio / pouco claroReduza a contagem de quadros, tente novamente, ou recorra apenas à transcrição com uma nota
Multimodal solicitado mas sem $GEMINI_API_KEY e vídeo >30minAviso de custo, ofereça recuo para o modo visual
binário yt-dlp ausentebrew install yt-dlp

Notas sobre qualidade

  • O usuário escolhe a profundidade, não o skill. Transcript / visual / multimodal são 3 perfis diferentes de custo + latência. Vídeos longos (>10 min) sempre confirmam antes de gastar em visual/multimodal.
  • Transcrição da plataforma primeiro, Whisper depois. Legendas automáticas do YouTube, transcrições do Loom, transcrições integradas do Riverside — todas gratuitas + instantâneas quando existem. Recorra ao MLX-Whisper local apenas quando nada fornecido pela plataforma funcionar.
  • MLX-Whisper local é o caminho rápido no Mac. Máquinas da série M transcrevem mais rápido que o tempo real. Whisper em nuvem é uma segunda opção distante — custa dinheiro, dependência de rede, pior latência em durações típicas.
  • Cadência de quadros por tipo de origem. Compartilhamento de tela / demonstrações precisam de 1 quadro a cada 5s (mudanças rápidas na interface); podcasts de talking head precisam de 1 a cada 30s (mudança lenta). Padrão de 15s se não tiver certeza. Cadência errada = momentos-chave perdidos OU custo desperdiçado na passagem de visão.
  • 720p é suficiente. Baixar 1080p / 4K para transcrição + análise de quadros desperdiça largura de banda + armazenamento. yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" é o padrão.
  • Detecção de mudança de cena captura transições de slides. Quando o vídeo é uma apresentação de slides, adicione ffmpeg -vf "select='gt(scene,0.3)'" para forçar um quadro em cada mudança de slide detectada — mais confiável que amostragem puramente baseada em tempo.
  • Aviso de custo multimodal não é opcional. Gemini multimodal em um vídeo de 60 minutos é significativamente caro. Avise antes de executar; ofereça apenas transcrição como fallback se o usuário não tiver certeza.
  • O formato do resumo inclui dicas de roteamento. As seções ## Decisões sinalizadas + ## Itens de ação sinalizados sinalizam acompanhamentos de /decide e /pm. A capacidade de composição downstream reside na estrutura do resumo.

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Habilidades Relacionadas