Communitygithub.com

jiawood2006/hermes-skills

Inteligência de conteúdo de vídeo. Envie um link do Douyin (download automático + transcrição), link do Bilibili ou arquivo de vídeo/áudio local. Gera texto, legendas SRT/VTT com timestamps reais, e permite análise de conteúdo viral e estrutura de sucessos usando LLM. Transcrição em chinês padrão: simplificado + pontuação + segmentação por frase.

O que é hermes-skills?

Esta skill do Hermes permite transformar qualquer vídeo em texto e inteligência de conteúdo em um único comando. Ela suporta links do Douyin (download automático sem água, transcrição local), links do Bilibili (metadados via API pública) e arquivos de vídeo/áudio locais (MP4, MOV, M4A). O processo gera um arquivo Markdown estruturado com metadados, transcrição completa, e opcionalmente legendas SRT/VTT com timestamps reais. Para usuários que desejam análise aprofundada, a skill também oferece geração de resumo e desconstrução de estrutura viral usando um LLM (chave API necessária). A transcrição local usa o faster-whisper (modelo tiny por padrão) ou o SenseVoice (via SiliconFlow API) para maior precisão em fala chinesa com ruído. É uma ferramenta completa para criadores de conteúdo, analistas de marketing e pesquisadores que precisam extrair insights de vídeos sem depender de serviços de terceiros ou enviar dados para a nuvem.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/jiawood2006/hermes-skills/tree/HEAD/skills/video-to-text

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Vídeo-para-Texto — Douyin/Vídeo Local → Texto → Inteligência de Conteúdo (um comando completo)

Link do Douyin → download automático → transcrição → Markdown estruturado → análise de sucesso, tudo em um comando. Sem necessidade de salvar vídeos manualmente, sem chaves de API de terceiros, e com privacidade local (padrão: faster-whisper local).

📁 Instalação: hermes skills install jiawood2006/hermes-skills/skills/video-to-text ou ./install.sh (instalação com um clique + comando global vtt) → scripts em ~/.hermes/skills/utilities/video-to-text/scripts/.

Condições de Ativação

Use esta skill quando o usuário enviar:

  • Links do Douyin (v.douyin.com / www.douyin.com/video/…), pedindo "transcrever/extrair legenda/analisar/ver conteúdo"
  • Links do Bilibili, pedindo "ver informações do vídeo"
  • Arquivos de vídeo local (.mp4/.mov/.m4a), pedindo "transcrição de fala/legendas/resumo/análise"

Passos de Uso

1. Link Douyin → Automação Completa (comportamento padrão)

# Um comando: metadados + download automático + transcrição local
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/"

# Fluxo completo + resumo LLM + desconstrução de estrutura viral
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --all

# Apenas metadados (sem download ou transcrição)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --meta-only

# Motor de transcrição: SenseVoice (mais preciso para fala chinesa com ruído, requer SILICONFLOW_API_KEY, fallback automático para local se falhar)
SILICONFLOW_API_KEY=sk-xxx python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --engine sensevoice

Cadeia técnica: curl no link curto para obter ID real do vídeo → Playwright monitora API aweme/detail para metadados + play_url sem água → download automático → extração de áudio → transcrição.

2. Arquivo de Vídeo Local → Transcrição + Inteligência de Conteúdo

python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4                 # apenas transcrição
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --summary       # + resumo
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --analyze       # + desconstrução de estrutura viral
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --engine sensevoice  # usar SenseVoice

3. Link Bilibili → Metadados (API pública, zero dependências)

python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://www.bilibili.com/video/BV1..."

Saída: título/autor/duração/visualizações/curtidas/descrição; para transcrição, baixe o vídeo primeiro e use como arquivo local.

4. Saída (Markdown Estruturado)

Salvo como <título>_transcript.md, pronto para Obsidian/base de conhecimento:

---
platform: douyin
url: https://v.douyin.com/xxx
title: Título do Vídeo
author: Nome do Autor
duration_s: 42
digg: 12345
date: 2026-09-04
tags: ["Tópico1", "Tópico2"]
---

# Título do Vídeo

| Campo | Valor |
|:---|---:|
| duration_s | 42 |
...

## Transcrição Completa

[00:00] Olá a todos, hoje vamos…
[00:05] Este produto…

5. Saída de Arquivos de Legenda (SRT / VTT, com timestamps reais)

Ideal para edição de vídeo, upload de legendas no YouTube/Bilibili, ou revisão frase a frase:

# Transcrição + legendas SRT (mais comum)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt

# SRT e VTT simultaneamente
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt,vtt

# Apenas legendas, sem transcrição em texto
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --format srt
  • Saída: <título>_transcript.srt (compatível com CapCut/Premiere/YouTube) ou .vtt (para players web)
  • Chinês padrão: saída em simplificado + pontuação, e segmentado por frase (sem legendas que duram mais de 10 segundos)
  • Limites de segmentação ajustáveis com variáveis de ambiente: VTT_MAX_CHARS=18 (caracteres por legenda), VTT_MAX_DUR=7 (segundos máximos por legenda)

6. Especificar Idioma da Transcrição

python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video_ingles.mp4 --asr-lang en

Padrão: zh (mandarim). Legendas em chinês recebem um prompt adicional para forçar saída em simplificado.

7. Analisar Texto Transcrito Existente

python3 ~/.hermes/skills/utilities/video-to-text/scripts/analyze.py transcricao.md --all
  • --summary gera: resumo em uma frase/ pontos principais/ frases de ouro/ público-alvo/ pontos de aprendizado
  • --analyze gera: gancho inicial (0-10s)/ proporção da estrutura de ritmo/ curva emocional/ pontos de venda/ CTA/ padrões reutilizáveis
  • --format txt saída em texto puro (formato legado); --out-dir especificar diretório

Verificação (autoteste pós-instalação)

# Teste rápido com arquivo local: sem vídeo? Use a síntese de fala do macOS
say -v "Ting-Ting" "Olá a todos, este é um teste de fala" -o /tmp/t.m4a   # Linux pode pular
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --out-dir /tmp/vtt_test
# Esperado: /tmp/vtt_test contém *_transcript.md com texto próximo a "teste de fala"

# Teste de legendas (deve produzir SRT em simplificado com pontuação e segmentação por frase)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --subtitles srt --out-dir /tmp/vtt_test
# Esperado: /tmp/vtt_test contém *_transcript.srt com linhas de timestamp -->

Dependências (instalar no primeiro uso)

pip3 install faster-whisper        # Motor de transcrição local padrão (baixa modelo tiny ~75MB na primeira vez)
# macOS tem avconvert nativo; Linux precisa de ffmpeg
# Análise Douyin requer playwright + chromium (usado internamente pelo douyin_extract)
# Resumo/desconstrução viral requer chave LLM (variável de ambiente LLM_API_KEY ou ~/.deai_writer.conf)
# Motor SenseVoice opcional: SILICONFLOW_API_KEY (SiliconFlow, com cota gratuita)

Armadilhas Conhecidas

  • Falso negativo duration_ms=0: Metadados SSR podem mostrar duração 0, mas é um vídeo real. Se houver URL de download, baixe primeiro para verificar; não julgue como imagem/texto diretamente.
  • URL play_addr expirada: URL do vídeo extraído do SSR pode retornar 404. Nesse caso, o download falha, e o script avisa para fornecer o arquivo manualmente (fallback automático sem interromper).
  • Conteúdo de imagem/texto: Se duration=0 e arquivo baixado <1MB, é imagem (sem áudio). Apenas metadados são gerados; não invente conteúdo.
  • Transcrição lenta no Whisper: Em Intel Mac, vídeo de 3 minutos leva cerca de 5 minutos. Já configurado com language='zh' + VAD para filtrar silêncio. Para mais velocidade/precisão, use --engine sensevoice.
  • Chinês padrão: saída em tradicional (corrigido): Whisper frequentemente gera chinês tradicional e quase sem pontuação. Esta skill já injeta initial_prompt para forçar simplificado + pontuação; para customizar, defina a variável de ambiente WHISPER_INITIAL_PROMPT (se vazia, desativa o prompt).
  • Precisão depende do tamanho do modelo: Padrão WHISPER_MODEL=tiny (~75MB, rápido mas propenso a erros). Para qualidade de transcrição utilizável, troque para small/medium:
    WHISPER_MODEL=small python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt
    
    Na primeira execução, baixa o modelo (para redes na China, sugere-se export HF_ENDPOINT=https://hf-mirror.com).
  • Granularidade de segmentação ajustável: Padrão: corta por pontuação/18 caracteres/7 segundos. Para legendas mais ou menos fragmentadas, use as variáveis de ambiente VTT_MAX_CHARS e VTT_MAX_DUR.
  • SenseVoice não tem timestamps reais: Esse motor não fornece informações de tempo; a duração é estimada pela velocidade da fala. A linha do tempo das legendas é apenas aproximada — para legendas precisas, use faster-whisper.
  • Análise requer chave LLM: --summary/--analyze precisam de LLM_API_KEY; se não configurada, apenas transcrição é feita (sem análise, com degradação explícita, sem erro).

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Habilidades Relacionadas