/watch-video — Transcreva e analise qualquer vídeo na profundidade que você escolher
Substitui e amplia o skill anterior youtube-transcript. YouTube agora é apenas uma das muitas fontes; a profundidade é controlada pelo usuário.
Etapa 1 — Interpretar a entrada
Aceita:
- YouTube: URL completo,
youtu.be/<id>,youtube.com/shorts/<id>, ID bruto de 11 caracteres - Loom:
loom.com/share/<id>ouloom.com/embed/<id> - Vimeo:
vimeo.com/<id> - Riverside: URL de download ou arquivo local
- Zoom:
.mp4local de uma gravação baixada - X / IG / TikTok: URL — delega para
social-fetchobter metadados, usa yt-dlp para o arquivo - Arquivo local: qualquer caminho para
.mp4/.mov/.webm/.mkv
Detecta a origem pelo padrão da URL ou extensão do arquivo. Se ambíguo, pergunte.
Etapa 2 — Interpretar o modo de profundidade
| Invocação | Modo | O que você obtém |
|---|---|---|
/watch-video <url> | transcript (padrão) | Texto limpo, metadados, capítulos opcionais |
/watch-video <url> transcript | transcript | O mesmo que o padrão |
/watch-video <url> visual | visual | Transcrição + quadros em intervalos + passagem de visão do Claude identificando momentos-chave |
/watch-video <url> multimodal | multimodal | Vídeo nativo para o Gemini (se $GEMINI_API_KEY configurado), senão visão densa do Claude quadro a quadro |
Se a profundidade não for especificada e o vídeo tiver mais de 10 minutos, pergunte antes de usar o padrão (visual/multimodal custam dinheiro real em vídeos longos).
Etapa 3 — Obter metadados
Para fontes de URL, use yt-dlp:
yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
--print "%(chapters)j" --skip-download "<url>"
Capture: título, uploader/canal, duração, data de upload, descrição (primeiro parágrafo), capítulos (JSON ou nulo).
Para arquivos locais, use ffprobe:
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"
Etapa 4 — Construir diretório de trabalho
~/Documents/videos/<origem>-<slug>-<data>/
Onde:
origem:youtube/loom/vimeo/riverside/zoom/localslug: kebab-case do título (primeiras 4–6 palavras, máximo de 50 caracteres)data:YYYY-MM-DD
Etapa 5 — Obter a transcrição
Seleção de backend (em ordem):
-
Transcrição fornecida pela plataforma se existir e parecer completa:
- YouTube:
yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt - Loom: buscar via metadados da página
https://www.loom.com/share/<id>ou API da Loom se$LOOM_API_KEYestiver configurado - Riverside: transcrições integradas disponíveis na página de compartilhamento da gravação
- Se a transcrição da plataforma existir e tiver timestamps, use-a. Pule o Whisper.
- YouTube:
-
MLX-Whisper local (fallback padrão — rápido em Mac M-series):
# Instalar uma vez: pip install mlx-whisper python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \ > "<workdir>/transcript-raw.json"Ou via CLI:
mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir> -
whisper.cpp (fallback adicional se MLX não estiver disponível)
Baixe o arquivo de vídeo primeiro se for uma URL (use yt-dlp; Loom/Vimeo/YT todos suportados):
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"
720p é suficiente para transcrição e análise de quadros (download menor, processamento mais rápido).
Limpe a transcrição (necessário apenas para legendas automáticas do YouTube que têm legendas rolantes; a saída do Whisper já está limpa):
# Limpeza VTT do YouTube — remove duplicações de legendas rolantes, tags, quebra de parágrafo em lacunas de cue >2s
awk '
/^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
/-->/ { in_cue = 1; last = ""; next }
/^$/ { if (last) print last; in_cue = 0; last = ""; next }
in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"
Salve o final em <workdir>/transcript.txt.
Etapa 6 — Se modo transcript: pare aqui
Saída:
transcript.txtmetadata.json- Resumo de uma linha no chat: título, origem, duração, contagem de palavras
- Caminho para o diretório de trabalho
- (Opcional) Etapa 9 — oferecer captura para o second-brain
Etapa 7 — Se modo visual: extrair quadros + passagem de visão
Extração de quadros (ffmpeg)
Cadência por heurística de origem:
| Tipo de origem | Cadência de quadros |
|---|---|
| Compartilhamento de tela / Loom / demonstração | 1 quadro a cada 5s (mudanças rápidas na interface) |
| Talking head / podcast | 1 quadro a cada 30s (mudança lenta) |
| Apresentação de slides | 1 quadro a cada 10s + forçar um quadro em cada mudança de cena detectada |
| Padrão se não souber | 1 quadro a cada 15s |
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y
Para detecção de mudança de cena (especialmente apresentações de slides):
ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"
Passagem de visão
Emparelhe cada quadro com o trecho de transcrição para a mesma janela de timestamp. Em seguida, envie em lote para a visão do Claude para síntese.
Prompt de lote por quadro (até ~10 quadros por chamada):
Aqui estão N quadros de um vídeo nos timestamps T1..TN. Para cada quadro, descreva o que está na tela em 1–2 frases. Sinalize: (a) mudanças na interface em relação ao quadro anterior, (b) texto visível na tela, (c) qualquer momento que pareça uma decisão, ação ou evento notável. Observe também o texto da transcrição falado durante esta janela.
Salve a saída como <workdir>/moments.md:
# Momentos-chave — <título>
## 00:00:15 (frame-001.png)
**Na tela**: Formulário de login, campo de email focado
**Transcrição**: "Então você apenas abre e..."
**Nota**: Início da demonstração da interface
## 00:00:45 (frame-002.png)
**Na tela**: Painel com 4 cartões
**Transcrição**: "E aqui é onde você vê todos os seus projetos."
**Nota**: Mudança importante de visualização — primeira vez que o painel aparece
Gerar resumo
Após os momentos serem identificados, sintetize todo o vídeo em <workdir>/summary.md:
# Resumo — <título>
**Origem:** <URL do origem / arquivo>
**Duração:** <hh:mm:ss>
**Assistido em:** <data>
**Modo:** visual
## Resumo rápido
<2–4 frases>
## Momentos-chave
- 00:00:15 — <linha única>
- 00:00:45 — <linha única>
## Itens de ação sinalizados
- <item> [timestamp]
## Decisões sinalizadas
- <decisão> [timestamp] — considere rotear para /decide
## Citações que valem a pena guardar
- "..." [timestamp]
## Perguntas em aberto
- <pergunta levantada mas não respondida>
Etapa 8 — Se modo multimodal
Seleção de backend
-
Gemini nativo se
$GEMINI_API_KEYestiver configurado (muito mais barato + rápido do que quadro a quadro para vídeos longos):Modelo padrão:
gemini-3.5-flash(lançado em maio de 2026, ~$1,50 de entrada / $9 de saída por 1M de tokens; ~$0,15/segundo de vídeo; supera o 3.1 Pro em benchmarks de codificação/agentes a 4× a velocidade). Substitua porgemini-3.1-propara auditorias de marca / análises de alto risco onde os detalhes importam;gemini-2.5-flash-litepara processamento barato em massa.# Etapa 1: Enviar vídeo via API de Arquivos FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \ -H "X-Goog-Upload-Command: start, upload, finalize" \ -H "Content-Type: video/mp4" \ --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri') # Aguarde até que o arquivo esteja ATIVO (Gemini processa o vídeo primeiro) while true; do STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state') [ "$STATE" = "ACTIVE" ] && break sleep 3 done # Etapa 2: Gerar conteúdo com o arquivo + prompt de análise multimodal curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d "{ \"contents\":[{ \"parts\":[ {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}}, {\"text\":\"<prompt de análise multimodal — consulte o modelo de resumo da Etapa 7 + extensões de caso de uso>\"} ] }] }"Os arquivos persistem na API de Arquivos do Gemini por ~48 horas — útil para reconsultar o mesmo vídeo com prompts diferentes.
-
Fallback de visão densa do Claude se não houver chave Gemini:
- Cadência de quadros: 1 quadro a cada 3s (muito mais denso que o modo visual)
- Envie em lote pela visão do Claude com o prompt de análise multimodal
- Mais lento e mais caro que o Gemini para vídeos longos — avise o usuário antes de executar em conteúdo >10min
Saída multimodal
Mesmo modelo de summary.md da Etapa 7 + uma seção estendida:
## Observações multimodais
- **Linguagem corporal / apresentação**: <observações sobre vídeo de talking head>
- **Ritmo**: <rápido/lento/desigual>
- **Estilo visual**: <auditoria de marca, revisão de anúncio, observações de design>
- **Qualidade de áudio / atmosfera**: <música, silêncio, fundo>
As seções exatas adicionais dependem do caso de uso (auditoria de marca, revisão de anúncio, revisão de apresentação, leitura de chamada de cliente). O caso de uso é inferido a partir da origem + do enquadramento verbal do usuário ao invocar.
Etapa 9 — Opcional: capturar para o second-brain
Após qualquer modo ser concluído, ofereça:
"Quer capturar isso para o second-brain? Vou escrever um
call-<slug>.md(oumeeting-/note-/resource-) para${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/com o resumo, URL de origem e link da transcrição."
Prefixo por origem:
| Origem | Prefixo |
|---|---|
| Loom / Zoom / Riverside / Otter / gravação de chamada | call- |
| Reunião (notas próprias, não uma transcrição) | meeting- |
| Palestra / keynote / conferência | note- |
| Anúncio / vídeo de página de destino / referência de marketing / vídeo de concorrente | resource- |
Corpo do arquivo: 1 linha de origem, o resumo, link para o diretório de trabalho completo.
Etapa 10 — Relatar
No chat:
- Manchete de uma linha:
<origem> · <título> · <duração> · <modo> · <contagem de palavras> palavras - Caminho do diretório de trabalho
- Para
visual/multimodal: breve lista dos 3 principais momentos-chave - Para todos os modos: quaisquer itens de ação / decisões sinalizadas para triagem
- Se capturado para o second-brain: esse caminho também
Referência de origens
| Origem | Download | Transcrição integrada | Notas |
|---|---|---|---|
| YouTube | yt-dlp | Legendas automáticas (--write-auto-sub) | Mesmo que o skill anterior youtube-transcript |
| Loom | yt-dlp (Loom suportado) | Sim — buscar via metadados de incorporação ou API Loom | Foco em compartilhamento de tela assíncrono — caso de uso principal |
| Vimeo | yt-dlp | Às vezes | Vídeos de marketing/incorporação |
| Riverside | URL direto da exportação, ou arquivo local | Sim — Riverside os gera | Episódios de podcast |
| Zoom | .mp4 local (gravações baixadas) | Às vezes (arquivo de transcrição de áudio do Zoom) | Chamadas de clientes |
| X / IG / TikTok | Delegar para social-fetch para metadados, yt-dlp para o arquivo | Não | Formato curto |
| Arquivo local | n/a | n/a | Solte um caminho |
Compõe-se com
social-fetch— para metadados de URL de X/IG/TikTok (engajamento, autor, respostas) antes do processamento do vídeosecond-brain— capturar resumo comoraw/call-<slug>.md,meeting-,note-, ouresource-por tipo de origemdecide— quando um vídeo contém uma decisão sinalizada, rotear para/decidepara captura estruturadapm— itens de ação sinalizados no resumo podem ser triados para quadros de projetoslide-deck— gravações de palestra → extração de estrutura → rascunho de deck (loop)jab-hook— citações + momentos dignos de clipe de vídeos de podcast/palestra alimentam posts de BIP/promoçãoskillify from-video— caso de uso principal para o modovisualem gravações de processo. O usuário grava a si mesmo realizando um fluxo de trabalho (Loom/compartilhamento de tela), este skill extrai transcrição + momentos visuais-chave, entãoskillifysintetiza o fluxo de trabalho em um SKILL.md. "Grave uma vez, IA converte em skill."
Tratamento de erros
| Falha | Resposta |
|---|---|
| Vídeo indisponível / privado / bloqueado por região | Relate e pare |
| Sem legendas + Whisper não instalado | Diga ao usuário: pip install mlx-whisper (Mac) |
| ffmpeg ausente (para visual/multimodal) | Diga ao usuário: brew install ffmpeg |
| Passagem de visão retorna vazio / pouco claro | Reduza a contagem de quadros, tente novamente, ou recorra apenas à transcrição com uma nota |
Multimodal solicitado mas sem $GEMINI_API_KEY e vídeo >30min | Aviso de custo, ofereça recuo para o modo visual |
binário yt-dlp ausente | brew install yt-dlp |
Notas sobre qualidade
- O usuário escolhe a profundidade, não o skill. Transcript / visual / multimodal são 3 perfis diferentes de custo + latência. Vídeos longos (>10 min) sempre confirmam antes de gastar em visual/multimodal.
- Transcrição da plataforma primeiro, Whisper depois. Legendas automáticas do YouTube, transcrições do Loom, transcrições integradas do Riverside — todas gratuitas + instantâneas quando existem. Recorra ao MLX-Whisper local apenas quando nada fornecido pela plataforma funcionar.
- MLX-Whisper local é o caminho rápido no Mac. Máquinas da série M transcrevem mais rápido que o tempo real. Whisper em nuvem é uma segunda opção distante — custa dinheiro, dependência de rede, pior latência em durações típicas.
- Cadência de quadros por tipo de origem. Compartilhamento de tela / demonstrações precisam de 1 quadro a cada 5s (mudanças rápidas na interface); podcasts de talking head precisam de 1 a cada 30s (mudança lenta). Padrão de 15s se não tiver certeza. Cadência errada = momentos-chave perdidos OU custo desperdiçado na passagem de visão.
- 720p é suficiente. Baixar 1080p / 4K para transcrição + análise de quadros desperdiça largura de banda + armazenamento.
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]"é o padrão. - Detecção de mudança de cena captura transições de slides. Quando o vídeo é uma apresentação de slides, adicione
ffmpeg -vf "select='gt(scene,0.3)'"para forçar um quadro em cada mudança de slide detectada — mais confiável que amostragem puramente baseada em tempo. - Aviso de custo multimodal não é opcional. Gemini multimodal em um vídeo de 60 minutos é significativamente caro. Avise antes de executar; ofereça apenas transcrição como fallback se o usuário não tiver certeza.
- O formato do resumo inclui dicas de roteamento. As seções
## Decisões sinalizadas+## Itens de ação sinalizadossinalizam acompanhamentos de/decidee/pm. A capacidade de composição downstream reside na estrutura do resumo.