Communitygithub.com

aktsmm/Agent-Skills

Transforme qualquer contexto (URL de blog, artigo colado, diff de PR, atas de reunião, notas de release, prompt bruto) em um mp4 explicativo narrado, com slides, legendas e, opcionalmente, um avatar falante. Usa uma stack local gratuita (Pillow + edge-tts + ffmpeg) com SadTalker opcional para o avatar.

O que é Agent-Skills?

Esta skill permite que um agente de IA converta automaticamente qualquer entrada de texto ou URL em um vídeo explicativo no formato mp4, completo com narração, slides visuais e legendas sincronizadas. Ela é ideal para desenvolvedores e criadores de conteúdo que desejam transformar rapidamente posts de blog, diffs de pull requests, atas de reuniões, notas de design ou qualquer outro conteúdo textual em um vídeo curto e profissional para plataformas como YouTube, Teams ou X. A skill opera localmente, utilizando Pillow para gerar slides, edge-tts para narração gratuita (com opção de upgrade para Azure Speech em produção) e ffmpeg para composição final. Um modo avançado com SadTalker adiciona um avatar falante no canto do vídeo, exigindo GPU (8GB+ VRAM). O fluxo de trabalho é dirigido pelo LLM, que gera um script JSON estruturado, e o restante do pipeline é executado via scripts Python, resultando em arquivos organizados dentro do diretório do projeto do usuário.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/aktsmm/Agent-Skills/tree/HEAD/context-to-video

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Contexto → Vídeo

Converte qualquer contexto de entrada em um mp4 narrado, com slides, legendas e (opcionalmente) um avatar.

Quando Usar

  • 動画化, 解説動画作って, ブログを動画に, 記事を動画化, explainer video, context to video
  • Deseja transformar blogs de release / descrições de PR / atas de reunião / notas de design / notas de release / conteúdo de aprendizado em vídeos curtos
  • Deseja produzir em massa material para YouTube / estudos internos / Teams / X em tempo recorde
  • Para uso voltado ao cliente, substitua o TTS pela versão oficial do Azure Speech (o padrão usa o endpoint gratuito do edge-tts)

Fontes de Entrada (qualquer uma funciona)

EntradaComo Obter
URL de blog/artigoObter texto com web_fetch
Texto coladoResumir diretamente
Diff de PR / commitgh pr view + gh pr diff
Ata de reunião / nota de designLer arquivo
Nota de releaseURL ou Markdown
Prompt livrePedir ao LLM para estruturar diretamente

→ O processamento após a obtenção da fonte é comum (o LLM escreve notes/script.json).

Stack (tudo gratuito, local)

FunçãoFerramenta
Geração do roteiroLLM (quem chamou esta skill)
SlidesPillow (fonte BIZ UDGothic etc.)
Narraçãoedge-tts (voz Neural do Edge, gratuita, não oficial)
Composição do vídeoffmpeg (pode usar binário incluído do imageio-ffmpeg)
LegendasGeração automática de .srt
Avatar (opcional)SadTalker (GPU recomendada) + máscara elíptica com ffmpeg

Fluxo de Trabalho Rápido (sem avatar)

pip install edge-tts imageio-ffmpeg pillow
# 1. Gerar script.json a partir da entrada (LLM)
# 2. Gerar vídeo
python scripts\build_video.py --project D:\caminho\para\projeto
# → output\final.mp4 + final.srt

Detalhes: references/script-schema.md / references/setup.md

Modo Avatar (cabeça falante no canto)

Se você tiver GPU (VRAM 8GB+), pode adicionar um avatar no canto inferior direito com o SadTalker. A configuração inicial leva de 30 a 40 minutos em um venv separado (Python 3.10); depois, são adicionados 20 a 30 minutos por vídeo.

# Vídeo existente + 8 áudios → síntese do avatar
python scripts\add_avatar.py --project D:\caminho\para\projeto --face D:\caminho\para\rosto.jpg
# Criar versão com máscara elíptica
python scripts\ellipse_overlay.py --project D:\caminho\para\projeto
# → output\final_with_avatar.mp4 e final_with_avatar_ellipse.mp4

Configuração, armadilhas e escolha do personagem: references/avatar.md

Estrutura de Saída

<projeto>/
├── notes/script.json                  Roteiro (escrito pelo LLM)
├── slides/slide_XX.png                1920x1080
├── audio/audio_XX.mp3                 Narração por slide
├── avatar/                            (opcional)
│   ├── input/face.jpg                 Foto original para o avatar
│   ├── SadTalker/                     repositório + checkpoints
│   ├── venv/                          Python 3.10 + torch cu121
│   └── clips/audio_XX.mp4             Vídeo do avatar para cada narração
└── output/
    ├── final.mp4                      Versão básica (slide + narração)
    ├── final.srt                      Legendas
    ├── final_with_avatar.mp4          (opcional) Avatar retangular
    └── final_with_avatar_ellipse.mp4  (opcional) Avatar com moldura circular

Padrões

  • Resolução: 1920x1080 30fps (16:9)
  • Voz: ja-JP-NanamiNeural (feminina, calma). Para masculina: ja-JP-KeitaNeural
  • Número de slides: Capa + 5 a 7 slides de conteúdo (total 6 a 8)
  • Paleta de cores: slate-900 / sky-400 / BIZ UDGothic
  • Duração por slide: 15 a 25 segundos, total de 2 a 4 minutos

Alteração de voz, cores, fonte e proporção: references/customization.md

Uso em Produção

O edge-tts gratuito é não oficial, sem SLA e de uso comercial incerto. Para distribuição a clientes ou operação contínua:

  • Narração → substitua por Azure Speech (Neural TTS)
  • Avatar comercial → use Azure TTS Avatar (Lisa etc., oficial, ~$0.30/minuto)

Detalhes: references/production-upgrade.md

Variações Comuns

  • Versão curta 9:16 (X/Reels): Largura,Altura = 1080, 1920, narração comprimida para 60 segundos
  • Legendas queimadas no vídeo: filtro subtitles=final.srt do ffmpeg para gravar as legendas no vídeo (ffmpeg-advanced-filters.md)
  • Adicionar BGM: misturar outro mp3 em volume baixo (ffmpeg-advanced-filters.md)
  • Capítulos / Cursos (material didático): dividir script.json por capítulo, com introdução/encerramento comuns
  • Versão multilíngue: alternar voice + traduzir o roteiro
  • Geração de personagem fixo do canal: criar mascote com SDXL e salvar a semente (avatar-generation-sdxl.md)
  • VOICEVOX + ilustração oficial do personagem: para canais de "explicação suave" como Zundamon, com sincronia labial avançada usando diferenças de camadas PSD (voiced-mascot.md)
  • Moldura circular do avatar: filtro geq do ffmpeg para máscara circular + anel de destaque (ffmpeg-advanced-filters.md)
  • Distribuição automática no YouTube: agendar publicação via API + gerar miniatura (youtube-upload.md)
  • Prova de conceito → Canal de distribuição regular: redesenho da estrutura de diretórios (scale-up-production.md)

Critérios de Conclusão

  • <projeto>/output/final.mp4 (ou versão com avatar) pode ser reproduzido e o áudio não está fora de sincronia com o vídeo
  • O texto dos slides tem tamanho mínimo de 28pt / título de 56pt, garantindo legibilidade
  • A narração reflete corretamente a mensagem principal da entrada
  • final.srt está sincronizado com a narração
  • Os direitos autorais da fonte de entrada não estão sendo infringidos (uso de resumo e citação, não leitura completa do texto original)
  • (Com avatar) A execução não estourou a memória da GPU e a sincronia labial não está extremamente fora

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

Habilidades Relacionadas