O que Vídeo Curto com IA — keyframes narrados + imagem-para-vídeo faz?
Substitui o renderizador three.js por um pipeline generativo. O rigor do
../SKILL.md é mantido: fatos primeiro, timings de palavras como o único relógio, um único
visual travado, medições em vez de adjetivos e portões que devem ser aprovados antes do
próximo gasto.
Referência comprovada: ~/Videos/ramayana-part1/part1-startframe.jpg (keyframe) e
ramayana-part1-v1.mp4 (clipe). Ilustração premium de história em quadrinhos mitológica
indiana 2D, traço grosso preto, tom dourado quente, 720x1280.
Os detalhes estão em:
PLAN.md— fases, portões, riscos, decisões ainda em abertoPIPELINE.md— contratos de estágio, comandos exatos, máquina de estadosSHOT-PLANNING.md— algoritmo de timings para tomadasSTYLE-LOCK.md— bloco de estilo travado, ficha de personagem, alvos de paletaPROMPTS.md— álgebra de prompts, classes de movimento, escada de moderaçãoAUDIO.md— partitura de raga gerada + SFX sintetizados, níveis, duckingQA.md— verificações de portão, limites, taxonomia de defeitos../references/mythic/— a barra de estilo medida: frame inicial, clipe de trabalho, prompts aprovados, números de paleta../templates/mythic/— gerador de vibes de uma tomada e o passe de vida cinéticatools/CONTRACTS.md— as treze CLIs que este fluxo de trabalho assumemissions/garuda-jatayu.md— o piloto: script verbatim, elenco, regras visuais, critérios de aceitação
Regras rígidas
- A narração é o relógio. Cada corte é derivado de timestamps reais de
palavras. Nenhum limite de tomada é inventado antes de
timeline.jsonexistir. - Script verbatim.
<project>/script-tagged.txté byte-idêntico ao script do usuário.script-spoken.txtdifere apenas pela remoção de tags[...]. Uma verificação de hash é executada no portão G0. - Dois prompts por tomada, nunca um.
keyframePromptdescreve uma imagem estática.videoPromptdescreve 5 segundos de movimento a partir dessa imagem. Reutilizar o prompt do keyframe como prompt do vídeo é o bug de qualidade mais comum (produz clipes sem vida e à deriva). - Um único visual travado. Bloco de estilo + ficha de personagem são constantes
em
style-lock.json. Prompts são montados a partir deles, nunca escritos de forma livre. - Nunca estique um clipe mais de 1,12x. Se um tempo precisar de mais duração, planeje outra tomada ou uma extensão (+4 s). Esticar foi o maior comprometimento na primeira execução.
- Nenhum quadro não revisado chega ao vídeo. Keyframes passam por uma revisão de folha de contato e a verificação de artefatos de texto primeiro. Os créditos do vídeo são o estágio caro.
- Retomável por construção. Cada estágio escreve
state/<stage>.jsoncom um hash de entrada. Reexecutar é idempotente. Uma execução que morre na tomada 6 de 28 deve reiniciar na tomada 6. - Baixe a mídia gerada imediatamente. URLs da CDN do vibes expiram.
- Música e SFX são gerados, não licenciados. Motor raga local para a trilha sonora, sintetizador local para efeitos, takes hero opcionais com cota limitada no ElevenLabs. Níveis: voz -16, música -24 com duck -3, SFX -18. Legendas permanecem desligadas.
- Relate comprometimentos, nunca os esconda. Todo portão que foi dispensado vai no
relatório final e no
README.md.
Pipeline
script-tagged.txt
│ S0 parse + hash + mapa de batidas
▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
│ S2 timeline + plano de pausas
▼
timeline.json
│ S3 planejamento de tomadas
▼
shots.json
┌────────────────┴────────────────┐
S4 montagem de prompts S5 keyframes (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 clipes (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 som ─────┤
cues -> música + sfx -> mix │ S8 montagem (ffmpeg)
▼
final.mp4 + QA
Paralelismo: S1 segmentos com 3 concorrentes (limite do serviço). S5 com 4. S6 com 3.
S1/S2 e S4 podem se sobrepor assim que script.json existir. S7 precisa apenas de
timeline.json + shots.json, então música e SFX renderizam enquanto S6 ainda está
rodando; apenas a mixagem final e S8 esperam pelo último clipe.
Comandos dos estágios
Nomes são contratos de tools/CONTRACTS.md; implemente ou chame-os como mostrado.
PROJ=~/Videos/garuda-jatayu
# S0 — analisar o script, manter o hash, construir o mapa de batidas
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — sintetizar por segmento (eleven_v4 + tags de áudio inline)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — medir áudio, inserir pausas planejadas, construir o relógio mestre
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — derivar tomadas a partir de limites de palavras (nunca de chutes)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — montar os dois prompts por tomada
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — keyframes, condicionados na ficha de personagem + placas de localização
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — clipes, 3 concorrentes, retomável, escada de moderação embutida
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — som: folha de cues, trilha, sfx, mix
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL, grafo de xfade/corte, multiplexar com o mix
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# portões
python tools/qa.py "$PROJ" --gate all
Portões (sem portão, nenhum próximo gasto)
| portão | verificações | bloqueia |
|---|---|---|
| G0 script | hash verbatim, toda frase tem uma batida + elenco + localização | S1 |
| G1 timing | monotonicidade das palavras, cobertura, duração da concatenação == fim da timeline +-100 ms | S3 |
| G2 storyboard | toda cláusula coberta, durações dentro de [4.0, 5.6] s, cortes em finais de palavras | S5 |
| G3 keyframes | 720x1280, consistente com ficha, sem artefatos de texto, contagens de personagens | S6 |
| G4 clipes | 720x1280/24 fps/125 f, deriva dentro do alcance, movimento presente | S7 |
| G5 montagem | duração +-0.3 s, offsets de xfade, sem junções pretas/congeladas | entregar |
| G6 final | 720x1280, 24 fps, AAC presente, -16 LUFS +-1, loudness true peak <= -1.0 dBTP | entregar |
| G6b áudio | margem voz-base >= 6 LU em janelas faladas, duck 2.5-3.5 dB, bordas de cue limpas, stems somam ao mix | entregar |
G3 e a metade visual de G4 precisam de uma revisão visual por lote. Todo o resto
é verificável por máquina.
Manual de falhas
| sintoma | causa | correção |
|---|---|---|
| TTS 503 / solver offline | lane de decaptcha fora | curl 127.0.0.1:8000/health, reinicie o lane, depois tente novamente |
CONTENT_POLICY ao enviar | vocabulário de moderação | mesmo prompt duas vezes, depois neutralize o léxico (PROMPTS.md), depois encurte |
| clipe deriva / fica em pé | sem frase de trava de pose | adicione "mantenha suas poses e posições do primeiro quadro" |
| clipe é uma imagem estática | parágrafo de movimento ausente ou muito fraco | um parágrafo de câmera explícito + um parágrafo de movimento secundário |
| personagens diferem por quadro | sem condicionamento de referência | passe a ficha de personagem via files=[...] |
| Gemini 401 | cookie expirado | reextraia __Secure-1PSID + __Secure-1PSIDTS do Helium CDP |
| vibes 401 | sessão em cache obsoleta | exclua ~/.vibes-session.json, deixe autoSession() relogar |
| tamanho de saída errado | frame inicial não é 720x1280 | reconstrua o frame com ImageOps.fit |
| corte cai fora do ritmo | timing de tomada inventado | reexecute S3 a partir de timeline.json |
| execução morreu no meio do lote | sem estado | esperado: reexecute o mesmo comando, ele retoma |
preview de SFX retorna quota_exceeded | o preview anônimo do ElevenLabs acabou (~2 requisições) | esperado: o sintetizador local sempre renderizou cada cue; congele takes hero apenas quando a cota estiver fresca |
Entregáveis
<project>/
final.mp4 720x1280, 24 fps, H.264/AAC, -16 LUFS
README.md pipeline + comandos exatos + comprometimentos
script-tagged.txt entrada verbatim
script-spoken.txt texto falado apenas
script.json segmentos analisados, batidas, elenco, localizações
timing.json palavras por segmento
timeline.json relógio mestre incluindo pausas
shots.json plano de tomadas (a EDL)
style-lock.json bloco de estilo + ficha de personagem + placas
style/ ficha-de-personagem.png, placas/*.png
prompts/ <tomada>.keyframe.txt, <tomada>.video.txt
keyframes/ <tomada>.jpg + manifest.json
clips/ <tomada>.mp4 + <tomada>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <estagio>.json
qa/ relatórios de portão, folhas de contato
Veja PLAN.md antes de iniciar um novo vídeo: ele registra as decisões resolvidas
(voz, tags de emoção, cadência de tomadas, som, legendas) e as fases que
as aplicam.