Contexto → Vídeo
Converte qualquer contexto de entrada em um mp4 narrado, com slides, legendas e (opcionalmente) um avatar.
Quando Usar
動画化,解説動画作って,ブログを動画に,記事を動画化,explainer video,context to video- Deseja transformar blogs de release / descrições de PR / atas de reunião / notas de design / notas de release / conteúdo de aprendizado em vídeos curtos
- Deseja produzir em massa material para YouTube / estudos internos / Teams / X em tempo recorde
- Para uso voltado ao cliente, substitua o TTS pela versão oficial do Azure Speech (o padrão usa o endpoint gratuito do edge-tts)
Fontes de Entrada (qualquer uma funciona)
| Entrada | Como Obter |
|---|---|
| URL de blog/artigo | Obter texto com web_fetch |
| Texto colado | Resumir diretamente |
| Diff de PR / commit | gh pr view + gh pr diff |
| Ata de reunião / nota de design | Ler arquivo |
| Nota de release | URL ou Markdown |
| Prompt livre | Pedir ao LLM para estruturar diretamente |
→ O processamento após a obtenção da fonte é comum (o LLM escreve notes/script.json).
Stack (tudo gratuito, local)
| Função | Ferramenta |
|---|---|
| Geração do roteiro | LLM (quem chamou esta skill) |
| Slides | Pillow (fonte BIZ UDGothic etc.) |
| Narração | edge-tts (voz Neural do Edge, gratuita, não oficial) |
| Composição do vídeo | ffmpeg (pode usar binário incluído do imageio-ffmpeg) |
| Legendas | Geração automática de .srt |
| Avatar (opcional) | SadTalker (GPU recomendada) + máscara elíptica com ffmpeg |
Fluxo de Trabalho Rápido (sem avatar)
pip install edge-tts imageio-ffmpeg pillow
# 1. Gerar script.json a partir da entrada (LLM)
# 2. Gerar vídeo
python scripts\build_video.py --project D:\caminho\para\projeto
# → output\final.mp4 + final.srt
Detalhes: references/script-schema.md / references/setup.md
Modo Avatar (cabeça falante no canto)
Se você tiver GPU (VRAM 8GB+), pode adicionar um avatar no canto inferior direito com o SadTalker. A configuração inicial leva de 30 a 40 minutos em um venv separado (Python 3.10); depois, são adicionados 20 a 30 minutos por vídeo.
# Vídeo existente + 8 áudios → síntese do avatar
python scripts\add_avatar.py --project D:\caminho\para\projeto --face D:\caminho\para\rosto.jpg
# Criar versão com máscara elíptica
python scripts\ellipse_overlay.py --project D:\caminho\para\projeto
# → output\final_with_avatar.mp4 e final_with_avatar_ellipse.mp4
Configuração, armadilhas e escolha do personagem: references/avatar.md
Estrutura de Saída
<projeto>/
├── notes/script.json Roteiro (escrito pelo LLM)
├── slides/slide_XX.png 1920x1080
├── audio/audio_XX.mp3 Narração por slide
├── avatar/ (opcional)
│ ├── input/face.jpg Foto original para o avatar
│ ├── SadTalker/ repositório + checkpoints
│ ├── venv/ Python 3.10 + torch cu121
│ └── clips/audio_XX.mp4 Vídeo do avatar para cada narração
└── output/
├── final.mp4 Versão básica (slide + narração)
├── final.srt Legendas
├── final_with_avatar.mp4 (opcional) Avatar retangular
└── final_with_avatar_ellipse.mp4 (opcional) Avatar com moldura circular
Padrões
- Resolução: 1920x1080 30fps (16:9)
- Voz:
ja-JP-NanamiNeural(feminina, calma). Para masculina:ja-JP-KeitaNeural - Número de slides: Capa + 5 a 7 slides de conteúdo (total 6 a 8)
- Paleta de cores: slate-900 / sky-400 / BIZ UDGothic
- Duração por slide: 15 a 25 segundos, total de 2 a 4 minutos
Alteração de voz, cores, fonte e proporção: references/customization.md
Uso em Produção
O edge-tts gratuito é não oficial, sem SLA e de uso comercial incerto. Para distribuição a clientes ou operação contínua:
- Narração → substitua por Azure Speech (Neural TTS)
- Avatar comercial → use Azure TTS Avatar (Lisa etc., oficial, ~$0.30/minuto)
Detalhes: references/production-upgrade.md
Variações Comuns
- Versão curta 9:16 (X/Reels):
Largura,Altura = 1080, 1920, narração comprimida para 60 segundos - Legendas queimadas no vídeo: filtro
subtitles=final.srtdo ffmpeg para gravar as legendas no vídeo (ffmpeg-advanced-filters.md) - Adicionar BGM: misturar outro mp3 em volume baixo (ffmpeg-advanced-filters.md)
- Capítulos / Cursos (material didático): dividir script.json por capítulo, com introdução/encerramento comuns
- Versão multilíngue: alternar
voice+ traduzir o roteiro - Geração de personagem fixo do canal: criar mascote com SDXL e salvar a semente (avatar-generation-sdxl.md)
- VOICEVOX + ilustração oficial do personagem: para canais de "explicação suave" como Zundamon, com sincronia labial avançada usando diferenças de camadas PSD (voiced-mascot.md)
- Moldura circular do avatar: filtro geq do ffmpeg para máscara circular + anel de destaque (ffmpeg-advanced-filters.md)
- Distribuição automática no YouTube: agendar publicação via API + gerar miniatura (youtube-upload.md)
- Prova de conceito → Canal de distribuição regular: redesenho da estrutura de diretórios (scale-up-production.md)
Critérios de Conclusão
-
<projeto>/output/final.mp4(ou versão com avatar) pode ser reproduzido e o áudio não está fora de sincronia com o vídeo - O texto dos slides tem tamanho mínimo de 28pt / título de 56pt, garantindo legibilidade
- A narração reflete corretamente a mensagem principal da entrada
-
final.srtestá sincronizado com a narração - Os direitos autorais da fonte de entrada não estão sendo infringidos (uso de resumo e citação, não leitura completa do texto original)
- (Com avatar) A execução não estourou a memória da GPU e a sincronia labial não está extremamente fora