Vídeo-para-Texto — Douyin/Vídeo Local → Texto → Inteligência de Conteúdo (um comando completo)
Link do Douyin → download automático → transcrição → Markdown estruturado → análise de sucesso, tudo em um comando. Sem necessidade de salvar vídeos manualmente, sem chaves de API de terceiros, e com privacidade local (padrão: faster-whisper local).
📁 Instalação:
hermes skills install jiawood2006/hermes-skills/skills/video-to-textou./install.sh(instalação com um clique + comando globalvtt) → scripts em~/.hermes/skills/utilities/video-to-text/scripts/.
Condições de Ativação
Use esta skill quando o usuário enviar:
- Links do Douyin (v.douyin.com / www.douyin.com/video/…), pedindo "transcrever/extrair legenda/analisar/ver conteúdo"
- Links do Bilibili, pedindo "ver informações do vídeo"
- Arquivos de vídeo local (.mp4/.mov/.m4a), pedindo "transcrição de fala/legendas/resumo/análise"
Passos de Uso
1. Link Douyin → Automação Completa (comportamento padrão)
# Um comando: metadados + download automático + transcrição local
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/"
# Fluxo completo + resumo LLM + desconstrução de estrutura viral
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --all
# Apenas metadados (sem download ou transcrição)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --meta-only
# Motor de transcrição: SenseVoice (mais preciso para fala chinesa com ruído, requer SILICONFLOW_API_KEY, fallback automático para local se falhar)
SILICONFLOW_API_KEY=sk-xxx python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --engine sensevoice
Cadeia técnica: curl no link curto para obter ID real do vídeo → Playwright monitora API aweme/detail para metadados + play_url sem água → download automático → extração de áudio → transcrição.
2. Arquivo de Vídeo Local → Transcrição + Inteligência de Conteúdo
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 # apenas transcrição
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --summary # + resumo
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --analyze # + desconstrução de estrutura viral
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --engine sensevoice # usar SenseVoice
3. Link Bilibili → Metadados (API pública, zero dependências)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://www.bilibili.com/video/BV1..."
Saída: título/autor/duração/visualizações/curtidas/descrição; para transcrição, baixe o vídeo primeiro e use como arquivo local.
4. Saída (Markdown Estruturado)
Salvo como <título>_transcript.md, pronto para Obsidian/base de conhecimento:
---
platform: douyin
url: https://v.douyin.com/xxx
title: Título do Vídeo
author: Nome do Autor
duration_s: 42
digg: 12345
date: 2026-09-04
tags: ["Tópico1", "Tópico2"]
---
# Título do Vídeo
| Campo | Valor |
|:---|---:|
| duration_s | 42 |
...
## Transcrição Completa
[00:00] Olá a todos, hoje vamos…
[00:05] Este produto…
5. Saída de Arquivos de Legenda (SRT / VTT, com timestamps reais)
Ideal para edição de vídeo, upload de legendas no YouTube/Bilibili, ou revisão frase a frase:
# Transcrição + legendas SRT (mais comum)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt
# SRT e VTT simultaneamente
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt,vtt
# Apenas legendas, sem transcrição em texto
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --format srt
- Saída:
<título>_transcript.srt(compatível com CapCut/Premiere/YouTube) ou.vtt(para players web) - Chinês padrão: saída em simplificado + pontuação, e segmentado por frase (sem legendas que duram mais de 10 segundos)
- Limites de segmentação ajustáveis com variáveis de ambiente:
VTT_MAX_CHARS=18(caracteres por legenda),VTT_MAX_DUR=7(segundos máximos por legenda)
6. Especificar Idioma da Transcrição
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video_ingles.mp4 --asr-lang en
Padrão: zh (mandarim). Legendas em chinês recebem um prompt adicional para forçar saída em simplificado.
7. Analisar Texto Transcrito Existente
python3 ~/.hermes/skills/utilities/video-to-text/scripts/analyze.py transcricao.md --all
--summarygera: resumo em uma frase/ pontos principais/ frases de ouro/ público-alvo/ pontos de aprendizado--analyzegera: gancho inicial (0-10s)/ proporção da estrutura de ritmo/ curva emocional/ pontos de venda/ CTA/ padrões reutilizáveis--format txtsaída em texto puro (formato legado);--out-direspecificar diretório
Verificação (autoteste pós-instalação)
# Teste rápido com arquivo local: sem vídeo? Use a síntese de fala do macOS
say -v "Ting-Ting" "Olá a todos, este é um teste de fala" -o /tmp/t.m4a # Linux pode pular
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --out-dir /tmp/vtt_test
# Esperado: /tmp/vtt_test contém *_transcript.md com texto próximo a "teste de fala"
# Teste de legendas (deve produzir SRT em simplificado com pontuação e segmentação por frase)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --subtitles srt --out-dir /tmp/vtt_test
# Esperado: /tmp/vtt_test contém *_transcript.srt com linhas de timestamp -->
Dependências (instalar no primeiro uso)
pip3 install faster-whisper # Motor de transcrição local padrão (baixa modelo tiny ~75MB na primeira vez)
# macOS tem avconvert nativo; Linux precisa de ffmpeg
# Análise Douyin requer playwright + chromium (usado internamente pelo douyin_extract)
# Resumo/desconstrução viral requer chave LLM (variável de ambiente LLM_API_KEY ou ~/.deai_writer.conf)
# Motor SenseVoice opcional: SILICONFLOW_API_KEY (SiliconFlow, com cota gratuita)
Armadilhas Conhecidas
- Falso negativo duration_ms=0: Metadados SSR podem mostrar duração 0, mas é um vídeo real. Se houver URL de download, baixe primeiro para verificar; não julgue como imagem/texto diretamente.
- URL play_addr expirada: URL do vídeo extraído do SSR pode retornar 404. Nesse caso, o download falha, e o script avisa para fornecer o arquivo manualmente (fallback automático sem interromper).
- Conteúdo de imagem/texto: Se duration=0 e arquivo baixado <1MB, é imagem (sem áudio). Apenas metadados são gerados; não invente conteúdo.
- Transcrição lenta no Whisper: Em Intel Mac, vídeo de 3 minutos leva cerca de 5 minutos. Já configurado com
language='zh'+ VAD para filtrar silêncio. Para mais velocidade/precisão, use--engine sensevoice. - Chinês padrão: saída em tradicional (corrigido): Whisper frequentemente gera chinês tradicional e quase sem pontuação. Esta skill já injeta
initial_promptpara forçar simplificado + pontuação; para customizar, defina a variável de ambienteWHISPER_INITIAL_PROMPT(se vazia, desativa o prompt). - Precisão depende do tamanho do modelo: Padrão
WHISPER_MODEL=tiny(~75MB, rápido mas propenso a erros). Para qualidade de transcrição utilizável, troque parasmall/medium:
Na primeira execução, baixa o modelo (para redes na China, sugere-seWHISPER_MODEL=small python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srtexport HF_ENDPOINT=https://hf-mirror.com). - Granularidade de segmentação ajustável: Padrão: corta por pontuação/18 caracteres/7 segundos. Para legendas mais ou menos fragmentadas, use as variáveis de ambiente
VTT_MAX_CHARSeVTT_MAX_DUR. - SenseVoice não tem timestamps reais: Esse motor não fornece informações de tempo; a duração é estimada pela velocidade da fala. A linha do tempo das legendas é apenas aproximada — para legendas precisas, use faster-whisper.
- Análise requer chave LLM:
--summary/--analyzeprecisam deLLM_API_KEY; se não configurada, apenas transcrição é feita (sem análise, com degradação explícita, sem erro).