Video Toolkit
Crie vídeos explicativos profissionais a partir de um briefing de texto. O toolkit usa modelos de IA de código aberto em GPUs em nuvem (Modal ou RunPod) para narração, geração de imagens, música e animação de apresentadores. O Remotion (React) cuida da composição e renderização.
CRÍTICO: Caminho do Toolkit
O toolkit reside em um caminho fixo. SEMPRE use cd para este diretório antes de executar qualquer comando da ferramenta.
TOOLKIT=~/.openclaw/workspace/claude-code-video-toolkit
cd $TOOLKIT
NUNCA execute comandos da ferramenta de dentro de um diretório de projeto. As ferramentas resolvem caminhos relativos à raiz do toolkit.
Configuração
Passo 1: Verificar o Estado Atual
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Se tudo mostrar [x], pule para "Teste Rápido" abaixo. Caso contrário, continue a configuração.
Passo 2: Instalar Dependências Python
cd ~/.openclaw/workspace/claude-code-video-toolkit
pip3 install --break-system-packages -r tools/requirements.txt
Nota: --break-system-packages é necessário no Debian/Ubuntu com Python gerenciado (PEP 668). Seguro dentro de contêineres.
Passo 3: Configurar Endpoints de GPU em Nuvem
O toolkit precisa de URLs de endpoint de GPU em nuvem no arquivo .env. Verifique se .env existe e tem endpoints Modal:
cat ~/.openclaw/workspace/claude-code-video-toolkit/.env | grep MODAL
Se os endpoints Modal estiverem configurados, você está pronto. Caso contrário, peça ao usuário para fornecer as URLs dos endpoints Modal ou configurar o Modal:
pip3 install --break-system-packages modal
python3 -m modal setup # Abre o navegador para autenticação
# Implante cada ferramenta — capture a URL do endpoint na saída
cd ~/.openclaw/workspace/claude-code-video-toolkit
modal deploy docker/modal-qwen3-tts/app.py
modal deploy docker/modal-flux2/app.py
modal deploy docker/modal-music-gen/app.py
modal deploy docker/modal-sadtalker/app.py
modal deploy docker/modal-image-edit/app.py
modal deploy docker/modal-upscale/app.py
modal deploy docker/modal-propainter/app.py
modal deploy docker/modal-ltx2/app.py # Requer: modal secret create huggingface-token HF_TOKEN=hf_...
Pré-requisito do LTX-2: Antes de implantar o LTX-2, crie um segredo do HuggingFace e aceite a licença do Gemma 3:
modal secret create huggingface-token HF_TOKEN=hf_seu_token_de_leitura
Adicione cada URL ao .env:
MODAL_QWEN3_TTS_ENDPOINT_URL=https://...modal.run
MODAL_FLUX2_ENDPOINT_URL=https://...modal.run
MODAL_MUSIC_GEN_ENDPOINT_URL=https://...modal.run
MODAL_SADTALKER_ENDPOINT_URL=https://...modal.run
MODAL_IMAGE_EDIT_ENDPOINT_URL=https://...modal.run
MODAL_UPSCALE_ENDPOINT_URL=https://...modal.run
MODAL_DEWATERMARK_ENDPOINT_URL=https://...modal.run
MODAL_LTX2_ENDPOINT_URL=https://...modal.run
Opcional, mas recomendado — Cloudflare R2 para transferência confiável de arquivos:
R2_ACCOUNT_ID=...
R2_ACCESS_KEY_ID=...
R2_SECRET_ACCESS_KEY=...
R2_BUCKET_NAME=video-toolkit
Passo 4: Verificar e Teste Rápido
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/verify_setup.py
Todas as ferramentas devem mostrar [x]. Em seguida, execute um teste rápido para confirmar que o pipeline GPU funciona:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py --text "Olá, isto é um teste." --speaker Ryan --tone warm --output /tmp/video-toolkit-test.mp3 --cloud modal
Se você obtiver um arquivo .mp3 válido, a configuração está completa. Se falhar, verifique:
- Se
.envtem aMODAL_QWEN3_TTS_ENDPOINT_URLcorreta - Execute
python3 tools/verify_setup.py --jsone verifiquemodal_toolspara ver quais endpoints estão faltando
Custo: Modal inclui US$ 30/mês de computação gratuita. Um vídeo típico de 60s custa US$ 1-3.
Criando um Vídeo
Passo 1: Criar Projeto
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/NOME_DO_PROJETO
cd projects/NOME_DO_PROJETO
npm install
Templates: product-demo (marketing/explicativo), sprint-review, sprint-review-v2 (cenas componíveis).
Passo 2: Escrever Configuração
Edite projects/NOME_DO_PROJETO/src/config/demo-config.ts:
export const demoConfig: ProductDemoConfig = {
product: {
name: 'Meu Produto',
tagline: 'O que ele faz em uma linha',
website: 'exemplo.com',
},
scenes: [
{ type: 'title', durationSeconds: 9, content: { headline: '...', subheadline: '...' } },
{ type: 'problem', durationSeconds: 14, content: { headline: '...', problems: ['...', '...'] } },
{ type: 'solution', durationSeconds: 13, content: { headline: '...', highlights: ['...', '...'] } },
{ type: 'stats', durationSeconds: 12, content: { stats: [{value: '99%', label: '...'}, ...] } },
{ type: 'cta', durationSeconds: 10, content: { headline: '...', links: ['...'] } },
],
audio: {
backgroundMusicFile: 'audio/bg-music.mp3',
backgroundMusicVolume: 0.12,
},
};
Tipos de cena: title, problem, solution, demo, feature, stats, cta.
Regra de duração: Estime durationSeconds como ceil(contagem_de_palavras / 2.5) + 2. Você ajustará isso após gerar o áudio no Passo 4.
Passo 3: Escrever Roteiro de Narração
Crie projects/NOME_DO_PROJETO/VOICEOVER-SCRIPT.md:
## Cena 1: Título (9s, ~17 palavras)
Construa vídeos com IA. O toolkit do nome do produto torna isso fácil.
## Cena 2: Problema (14s, ~30 palavras)
A declaração do problema vai aqui. Mantenha conciso e identificável.
Orçamento de palavras por cena: (durationSeconds - 2) * 2.5 palavras. O -2 contabiliza 1s de atraso de áudio + 1s de margem.
Passo 4: Gerar Assets
CRÍTICO: Todos os comandos abaixo DEVEM ser executados a partir da raiz do toolkit, não do diretório do projeto.
cd ~/.openclaw/workspace/claude-code-video-toolkit
4a. Música de Fundo
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/music_gen.py \
--preset corporate-bg \
--duration 90 \
--output projects/NOME_DO_PROJETO/public/audio/bg-music.mp3 \
--cloud modal
Presets: corporate-bg, upbeat-tech, ambient, dramatic, tension, hopeful, cta, lofi.
4b. Narração (por cena)
Gere UM arquivo .mp3 POR CENA. NÃO gere um único arquivo de narração.
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Cena 01
python3 tools/qwen3_tts.py \
--text "O texto da narração para a cena um." \
--speaker Ryan --tone warm \
--output projects/NOME_DO_PROJETO/public/audio/scenes/01.mp3 \
--cloud modal
# Cena 02
python3 tools/qwen3_tts.py \
--text "O texto da narração para a cena dois." \
--speaker Ryan --tone warm \
--output projects/NOME_DO_PROJETO/public/audio/scenes/02.mp3 \
--cloud modal
# ... repita para cada cena
Locutores: Ryan, Aiden, Vivian, Serena, Uncle_Fu, Dylan, Eric, Ono_Anna, Sohee
Tons: neutral, warm, professional, excited, calm, serious, storyteller, tutorial
Para clonagem de voz (precisa de uma gravação de referência):
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/qwen3_tts.py \
--text "Texto para falar" \
--ref-audio assets/voices/reference.m4a \
--ref-text "Transcrição exata do áudio de referência" \
--output projects/NOME_DO_PROJETO/public/audio/scenes/01.mp3 \
--cloud modal
4c. Imagens de Cena
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--prompt "Fundo escuro de tecnologia com grade geométrica azul, iluminação cinematográfica" \
--width 1920 --height 1080 \
--output projects/NOME_DO_PROJETO/public/images/title-bg.png \
--cloud modal
Presets de imagem (use --preset em vez de --prompt --width --height):
title-bg, problem, solution, demo-bg, stats-bg, cta, thumbnail, portrait-bg
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/flux2.py \
--preset title-bg \
--output projects/NOME_DO_PROJETO/public/images/title-bg.png \
--cloud modal
4d. Clipes de Vídeo — B-Roll e Fundos Animados (opcional)
Gere clipes de vídeo AI para cortes de b-roll, fundos de slide animados ou sequências de abertura/encerramento:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# Clipe b-roll a partir de texto
python3 tools/ltx2.py \
--prompt "Tomada aérea de drone sobre uma cidade europeia na hora dourada, grande angular cinematográfica" \
--output projects/NOME_DO_PROJETO/public/videos/broll-europe.mp4 \
--cloud modal
# Animar um slide/captura de tela (imagem para vídeo)
python3 tools/ltx2.py \
--prompt "Efeitos de partículas suaves, mudanças sutis de luz ambiente, deriva muito leve de câmera" \
--input projects/NOME_DO_PROJETO/public/images/title-bg.png \
--output projects/NOME_DO_PROJETO/public/videos/animated-title.mp4 \
--cloud modal
# Fundo abstrato de abertura/encerramento
python3 tools/ltx2.py \
--prompt "Fundo abstrato escuro e sombrio com faixas de luz azul fluindo, partículas bokeh, cinematográfico" \
--output projects/NOME_DO_PROJETO/public/videos/intro-bg.mp4 \
--cloud modal
Use nas composições Remotion com <OffthreadVideo>:
<OffthreadVideo src={staticFile('videos/broll-europe.mp4')} />
Regras do LTX-2:
- Máx. ~8 segundos por clipe (193 quadros a 24fps). O padrão é ~5s (121 quadros).
- Largura/altura devem ser divisíveis por 64. Padrão: 768x512.
- ~US$ 0,20-0,25 por clipe, ~2,5 min de geração.
- Inicialização a frio ~60-90s. Clipes subsequentes em GPU aquecida são mais rápidos.
- O áudio gerado é ambiente apenas — use ferramentas de narração/música para fala e música.
- ~30% das gerações podem ter artefatos de dados de treinamento (logotipos/texto). Execute novamente com
--seedpara variar.
4e. Apresentador Animado (talking head) (opcional)
Gere um retrato do apresentador e, em seguida, anime clipes por cena:
cd ~/.openclaw/workspace/claude-code-video-toolkit
# 1. Gerar retrato
python3 tools/flux2.py \
--prompt "Retrato profissional de apresentador, estilo limpo, fundo escuro, de frente para a câmera, parte superior do corpo" \
--width 1024 --height 576 \
--output projects/NOME_DO_PROJETO/public/images/presenter.png \
--cloud modal
# 2. Gerar clipes de narrador por cena (um por cena, NÃO um vídeo longo)
python3 tools/sadtalker.py \
--image projects/NOME_DO_PROJETO/public/images/presenter.png \
--audio projects/NOME_DO_PROJETO/public/audio/scenes/01.mp3 \
--preprocess full --still --expression-scale 0.8 \
--output projects/NOME_DO_PROJETO/public/narrator-01.mp4 \
--cloud modal
# Repita para cada cena que precisa de um narrador
Regras do SadTalker — siga exatamente:
- SEMPRE use
--preprocess full(o padrãocropproduz um quadrado, proporção de aspecto errada) - SEMPRE use
--still(reduz movimento da cabeça, parece profissional) - SEMPRE gere clipes por cena (6-15s cada), NUNCA um vídeo longo
- Processamento: ~3-4 min por 10s de áudio no Modal A10G
--expression-scale 0.8mantém as expressões sutis (faixa 0.0-1.5)
4e. Edição de Imagem (opcional)
Crie variantes de cena a partir de imagens existentes:
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/image_edit.py \
--input projects/NOME_DO_PROJETO/public/images/title-bg.png \
--prompt "Deixe mais escuro com tons vermelhos, mais sinistro" \
--output projects/NOME_DO_PROJETO/public/images/problem-bg.png \
--cloud modal
4f. Redimensionamento (upscaling) (opcional)
cd ~/.openclaw/workspace/claude-code-video-toolkit
python3 tools/upscale.py \
--input projects/NOME_DO_PROJETO/public/images/some-image.png \
--output projects/NOME_DO_PROJETO/public/images/some-image-4x.png \
--scale 4 --cloud modal
Passo 5: Sincronizar Temporização
SEMPRE faça isso após gerar a narração. A duração do áudio difere das estimativas.
cd ~/.openclaw/workspace/claude-code-video-toolkit
for f in projects/NOME_DO_PROJETO/public/audio/scenes/*.mp3; do
echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"
done
Atualize o durationSeconds de cada cena em demo-config.ts para: ceil(duracao_audio_real + 2).
Exemplo: se 01.mp3 tem 6,8s, defina o durationSeconds da cena 1 como 9 (ceil(6,8 + 2) = 9).
Passo 6: Revisar Quadros Estáticos
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOME_DO_PROJETO
npx remotion still src/index.ts ProductDemo --frame=100 --output=/tmp/review-scene1.png
npx remotion still src/index.ts ProductDemo --frame=400 --output=/tmp/review-scene2.png
Verifique: truncamento de texto, temporização de animação, posicionamento PiP do narrador, contraste de fundo.
Passo 7: Renderizar
cd ~/.openclaw/workspace/claude-code-video-toolkit/projects/NOME_DO_PROJETO
npm run render
Saída: out/ProductDemo.mp4
Padrões de Composição
Áudio por Cena
Use áudio por cena com um atraso de 1 segundo (from={30} = 30 quadros = 1s a 30fps):
<Sequence from={30}>
<Audio src={staticFile('audio/scenes/01.mp3')} volume={1} />
</Sequence>
PiP do Narrador por Cena
<Sequence from={30}>
<OffthreadVideo
src={staticFile('narrator-01.mp4')}
style={{ width: 320, height: 180, objectFit: 'cover' }}
muted
/>
</Sequence>
SEMPRE use <OffthreadVideo>, NUNCA <video>. O Remotion requer seu próprio componente para renderização precisa de quadros.
Transições
import { TransitionSeries, linearTiming } from '@remotion/transitions';
import { fade } from '@remotion/transitions/fade';
import { glitch } from '../../../lib/transitions/presentations/glitch';
import { lightLeak } from '../../../lib/transitions/presentations/light-leak';
NUNCA importe do barril lib/transitions — importe transições personalizadas diretamente de lib/transitions/presentations/.
Recuperação de Erros
| Problema | Solução |
|---|---|
| O comando da ferramenta falha com "No module named..." | Execute pip3 install --break-system-packages -r tools/requirements.txt a partir da raiz do toolkit |
| "MODAL_*_ENDPOINT_URL não configurado" | Verifique se .env tem a URL do endpoint. Execute python3 tools/verify_setup.py |
| A saída do SadTalker é quadrada/cortada | Você esqueceu o --preprocess full. Execute novamente com essa flag |
| Áudio muito curto/longo para a cena | Execute novamente o Passo 5 (sincronizar temporização) e atualize a configuração |
npm run render falha | Certifique-se de que você está no diretório do projeto, não na raiz do toolkit. Execute npm install primeiro |
| "Cannot find module" no Remotion | Verifique as importações — transições personalizadas devem vir de lib/transitions/presentations/ |
| Erro de GPU sem memória | Reduza --width/--height em flux2.py ou use --preprocess crop no SadTalker |
| O clipe LTX-2 tem artefatos visuais | Execute novamente com uma --seed diferente para variar a saída |
Notas de Preço (US$)
- Narração (Qwen3-TTS): ~US$ 0,01 por cena (60s de áudio de 10s)
- Imagem (Flux.2): ~US$ 0,05 por imagem (1024×576)
- Música: ~US$ 0,02 por geração (90s)
- Apresentador (SadTalker): ~US$ 0,10 por cena (10s de vídeo)
- Clipe de Vídeo (LTX-2): ~US$ 0,20-0,25 por clipe (~5s)
- Edição de Imagem: ~US$ 0,01 por edição
- Redimensionamento: ~US$ 0,01 por imagem
Total (vídeo típico de 5 cenas): US$ 1-3
Templates de Projeto
Product Demo
Vídeo explicativo de marketing com cenas de título, problema, solução, estatísticas e CTA. Configuração em src/config/demo-config.ts.
Sprint Review
Demonstração de revisão de sprint de engenharia com cenas componíveis.
Sprint Review V2
Versão atualizada da revisão de sprint com mixagem de áudio mais flexível e modelos de transição.
Copie um template:
cd ~/.openclaw/workspace/claude-code-video-toolkit
cp -r templates/product-demo projects/meu-projeto
Solução de Problemas
Depuração de GPU
Execute tools/verify_setup.py --json para diagnóstico estruturado:
python3 tools/verify_setup.py --json
Isso gera JSON com flags de status para cada ferramenta e endpoint. Verifique:
env_modalcontém todas as 8 URLsmodal_toolsmostratruepara ferramentas implantadasenv_r2se você configurou Cloudflare R2
Importações Remotion
Sempre use caminhos de importação explícitos para transições personalizadas:
import { glitch } from '../../../lib/transitions/presentations/glitch';
Em vez de:
import { glitch } from '../../../lib/transitions'; // ERRADO: importação de barril
Aviso IMPORTANTE para modelagistas
Se você estiver familiarizado com templates Remotion, pode modificar src/ e src/config/ nos projetos. Apenas não mova ou renomeie diretórios esperados pelas ferramentas (public/audio/, public/images/, public/narrator-*.mp4).
Guia de Referência Rápida
| Ação | Comando |
|---|---|
| Verificar configuração | python3 tools/verify_setup.py |
| Criar projeto | cp -r templates/product-demo projects/NOME |
| Instalar deps do projeto | cd projects/NOME && npm install |
| Música de fundo | python3 tools/music_gen.py --preset corporate-bg --duration 90 --output projects/NOME/public/audio/bg-music.mp3 --cloud modal |
| Narração | python3 tools/qwen3_tts.py --text "..." --speaker Ryan --tone warm --output projects/NOME/public/audio/scenes/01.mp3 --cloud modal |
| Imagem | python3 tools/flux2.py --preset title-bg --output projects/NOME/public/images/title-bg.png --cloud modal |
| Clipe de vídeo | python3 tools/ltx2.py --prompt "..." --output projects/NOME/public/videos/clip.mp4 --cloud modal |
| Apresentador | python3 tools/sadtalker.py --image ... --audio ... --preprocess full --still --output ... --cloud modal |
| Renderizar | cd projects/NOME && npm run render |
| Verificar durações | for f in projects/NOME/public/audio/scenes/*.mp3; do echo "$(basename $f): $(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")s"; done |