Texto → Vídeo Animado
Este é um pipeline estilo Fliki para "texto para animação" (veja references/fliki-notes.md), mas os visuais são desenhados em código e renderizados neste contêiner, portanto não há créditos de modelo Fliki, nem marca d'água, nem limite de 3 minutos.
Entrada: uma das opções:
- Uma ideia de uma linha
- Um roteiro
- Uma URL de blog
- Um PDF ou PPT
- Um MP3 de narração existente
Saída: um MP4 finalizado, mais uma cópia para WhatsApp, na proporção escolhida pelo usuário.
Etapas
-
Briefing. Colete estes itens, usando os padrões quando o usuário não especificar:
- idioma (padrão: o idioma do usuário; Hinglish/Hindi é aceitável)
- tom (neutro)
- duração (60 s)
- proporção (9:16 para Reels/Shorts, 16:9 para YouTube, 1:1 para feed)
- predefinição de estilo (veja abaixo)
- voz: o MP3 do usuário, ElevenLabs ou nenhum
Pergunte apenas sobre o que não pode ser padronizado.
-
Fonte → roteiro.
- Ideia: escreva você mesmo.
- URL / PDF / PPT: leia a fonte, mantenha apenas os fatos que ela suporta e cite-a no cartão final.
- Comprimento: escreva um roteiro segmentado por cena com cerca de 140 palavras/min para inglês, 120 para hindi.
- Estrutura: um gancho nos primeiros 3 s, uma ideia por cena, uma chamada para ação (CTA) no final.
- Verificação: mostre o roteiro e aguarde OK, a menos que o usuário tenha fornecido o roteiro.
-
Plano de cenas. Escreva
plan.json(formato abaixo) com 1 cena a cada 4–8 s e mostre-o como uma tabela curta.{"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[ {"id":1,"t0":0,"t1":5.2,"text":"<linha de voz>","visual":"<o que é desenhado>","motion":"<câmera/animacão>","sfx":["whoosh:0.1"]}]} -
Voz. Escolha uma:
- MP3 do usuário: use como está. Se houver música sob a voz, separe os vocais primeiro (demucs) antes de alinhar.
- ElevenLabs: o usuário precisa de uma chave. Peça com
request_credentialpara o hostapi.elevenlabs.io, cabeçalhoxi-api-key. Nunca peça para colar a chave no chat. Em seguida, chamePOST https://api.elevenlabs.io/v1/text-to-speech/{voice_id}commodel_ideleven_multilingual_v2(ou o modelo multilíngue mais recente que a API listar), uma requisição por cena ou para o roteiro inteiro. - Sem voz: use apenas legendas e SFX, cronometrando cada cena em sua duração planejada.
-
Alinhar.
python scripts/align.py voice.wav script.txt words.json 30fornece os tempos das palavras, além dewords_mouth.jsonpara sincronização labial.- Requer
pip install --break-system-packages torch torchaudio uroman librosa soundfilee baixa seu modelo dedownload.pytorch.org, o que este ambiente permite. - Reajuste os tempos das cenas em
plan.jsonpara as palavras alinhadas. Nunca adivinhe os tempos quando existe uma voz.
-
Ficha de personagens primeiro (se o vídeo tiver personagens). Desenhe cada personagem uma vez como uma função com algumas poses (parado, falando, apontando, surpreso) e salve uma folha PNG. Reutilize as mesmas funções em todas as cenas para que os personagens pareçam idênticos ao longo do vídeo. Os personagens devem ser originais; nunca copie um personagem de cartoon ou anime existente.
-
Construir
scene.html.- Uma tela de tamanho W×H.
window.renderAt(t)deve ser determinística: aleatório com semente, semDate.now(), sem animação CSS.window.readyresolve após o carregamento das fontes. Use arquivos woff2 locais: Baloo 2 ou Noto Sans Devanagari para hindi, Inter/Anton/Bangers/Caveat conforme o estilo.- Legendas são desenhadas na tela:
- 2–5 palavras por bloco, quebrando na pontuação ou em pausas acima de 0,35 s
- a palavra ativa é destacada no momento em que começa
- o texto permanece dentro da zona segura; para 9:16, nada no topo 250 px ou no fundo 420 px
- Movimento: movimentos suaves, piscadas a cada 2–5 s, balanço parado, um zoom lento por cena e um movimento de transição entre cenas.
-
Verificação de quadros fixos. Execute
node scripts/render.cjs stills scene.html <8–12 vezes> stills/ W H, depois monte os quadros fixos em uma folha de contato com ffmpegtile. Olhe você mesmo para a folha, corrija problemas, depois mostre-a ao usuário e aguarde OK antes da renderização completa. -
Renderizar e mixar.
- Vídeo:
node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H - SFX:
python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5 - Misture a voz a 0 dB e os SFX a cerca de −12 dB. Use música apenas se o usuário a fornecer; abaixe-a sob a voz com
sidechaincompress. - Multiplexe, depois
loudnorm=I=-14:TP=-1.5.
- Vídeo:
-
Entregar.
- Verifique se há quadros pretos com
blackdetect. - Faça uma cópia para WhatsApp/720p com menos de 20 MB.
- Envie ambos os arquivos com
SendUserFile. - Para outras proporções, escreva o layout como uma função de (W,H) e renderize novamente.
- Verifique se há quadros pretos com
Predefinições de Estilo
| predefinição | aparência | movimento |
|---|---|---|
2d-cartoon | formas arredondadas, cor chapada com um tom, contorno escuro de 4–6 px, fundos brilhantes | saltitante (easing back/elastic), compressão em aterrissagens |
anime-style | olhos grandes, linhas limpas e grossas, cor chapada + sombra dura, gradientes de céu | linhas de velocidade, quadros de impacto, pequena tremedeira de tela em golpes |
comic-book | tinta preta pesada, sombreamento pontilhado, painéis, adesivos de explosão (POW, WAAH!) | batidas de painel, zoom-soco, transições de virar página |
storybook (fantasia) | gradientes suaves pictóricos, textura de papel, luz quente, serifa arredondada | paralaxtem lento, partículas à deriva, desvanecimentos suaves |
whiteboard | quadro branco, traços de marcador preto desenhados com stroke-dashoffset, uma cor de destaque | uma mão/caneta segue o traço sendo desenhado; apagar com limpeza |
kinetic-type | tipo em negrito (Anton/Inter Black), 2–3 cores, formas como destaques | palavras batem, deslizam e escalam no ritmo; máscaras e cortes de combinação |
cinematic-2d | ilustração plana semirrealista, luz dramática de fonte única, paleta suave | apenas zoom-ins lentos e panorâmicas; ritmo documental |
Regras
- Desenhar em código. Tudo é desenhado em código: sem imagens de arquivo e sem geradores de imagem ou vídeo, a menos que o usuário forneça mídia ou solicite clipes gerados (então use
ai-video-generator). - Pessoas reais. Não crie semelhanças realistas de IA de pessoas reais e vivas, figuras públicas. Use imagens simbólicas, silhuetas ou a própria caricatura do usuário desenhada a partir de suas fotos.
- Fatos. Fatos na tela devem vir da fonte do usuário ou de pesquisa verificada. Nunca invente estatísticas, citações ou depoimentos.
- Sobrescrita. Pergunte antes de sobrescrever um arquivo de saída existente.