Communitygithub.com

Vídeo Curto com IA — keyframes narrados + imagem-para-vídeo

Mostra a um agente como planejar, construir ou editar 'vídeos curtos com IA' para que o resultado concreto seja um vídeo finalizado. O procedimento percorre vídeo curto com IA — keyframes narrados + imagem-para-vídeo, regras rígidas e pipeline. Use-o quando uma nova tarefa exigir esta técnica.

O que é Vídeo Curto com IA — keyframes narrados + imagem-para-vídeo?

Esta skill define um pipeline completo para produção de vídeos curtos animados usando inteligência artificial generativa, combinando keyframes narrados com modelo de imagem-para-vídeo (image-to-video). O fluxo de trabalho é rigidamente estruturado: começa com um script anotado com timestamps de narração, gerado via TTS, que alimenta um planejamento de tomadas baseado em palavras reais — nunca em chutes. Cada tomada exige dois prompts distintos (um para o keyframe e outro para o vídeo) para evitar o bug comum de clipes estáticos ou sem vida. A execução é retomável, idempotente e passa por oito portões de qualidade (gates) que bloqueiam o avanço até que critérios objetivos sejam atendidos, como verificação de hash do script, consistência do estilo visual, duração dos clipes e loudness final de -16 LUFS. A skill é ideal para desenvolvedores e agentes de IA que precisam automatizar a criação de vídeos narrativos com alta fidelidade ao roteiro original e consistência visual. Ela suporta ferramentas CLI como Python, FFmpeg e APIs de terceiros (ElevenLabs, Gemini, vibes.ai), e é implementável em ambientes Linux/macOS.

Funciona com✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que Vídeo Curto com IA — keyframes narrados + imagem-para-vídeo faz?

Substitui o renderizador three.js por um pipeline generativo. O rigor do ../SKILL.md é mantido: fatos primeiro, timings de palavras como o único relógio, um único visual travado, medições em vez de adjetivos e portões que devem ser aprovados antes do próximo gasto.

Referência comprovada: ~/Videos/ramayana-part1/part1-startframe.jpg (keyframe) e ramayana-part1-v1.mp4 (clipe). Ilustração premium de história em quadrinhos mitológica indiana 2D, traço grosso preto, tom dourado quente, 720x1280.

Os detalhes estão em:

  • PLAN.md — fases, portões, riscos, decisões ainda em aberto
  • PIPELINE.md — contratos de estágio, comandos exatos, máquina de estados
  • SHOT-PLANNING.md — algoritmo de timings para tomadas
  • STYLE-LOCK.md — bloco de estilo travado, ficha de personagem, alvos de paleta
  • PROMPTS.md — álgebra de prompts, classes de movimento, escada de moderação
  • AUDIO.md — partitura de raga gerada + SFX sintetizados, níveis, ducking
  • QA.md — verificações de portão, limites, taxonomia de defeitos
  • ../references/mythic/ — a barra de estilo medida: frame inicial, clipe de trabalho, prompts aprovados, números de paleta
  • ../templates/mythic/ — gerador de vibes de uma tomada e o passe de vida cinética
  • tools/CONTRACTS.md — as treze CLIs que este fluxo de trabalho assume
  • missions/garuda-jatayu.md — o piloto: script verbatim, elenco, regras visuais, critérios de aceitação

Regras rígidas

  1. A narração é o relógio. Cada corte é derivado de timestamps reais de palavras. Nenhum limite de tomada é inventado antes de timeline.json existir.
  2. Script verbatim. <project>/script-tagged.txt é byte-idêntico ao script do usuário. script-spoken.txt difere apenas pela remoção de tags [...]. Uma verificação de hash é executada no portão G0.
  3. Dois prompts por tomada, nunca um. keyframePrompt descreve uma imagem estática. videoPrompt descreve 5 segundos de movimento a partir dessa imagem. Reutilizar o prompt do keyframe como prompt do vídeo é o bug de qualidade mais comum (produz clipes sem vida e à deriva).
  4. Um único visual travado. Bloco de estilo + ficha de personagem são constantes em style-lock.json. Prompts são montados a partir deles, nunca escritos de forma livre.
  5. Nunca estique um clipe mais de 1,12x. Se um tempo precisar de mais duração, planeje outra tomada ou uma extensão (+4 s). Esticar foi o maior comprometimento na primeira execução.
  6. Nenhum quadro não revisado chega ao vídeo. Keyframes passam por uma revisão de folha de contato e a verificação de artefatos de texto primeiro. Os créditos do vídeo são o estágio caro.
  7. Retomável por construção. Cada estágio escreve state/<stage>.json com um hash de entrada. Reexecutar é idempotente. Uma execução que morre na tomada 6 de 28 deve reiniciar na tomada 6.
  8. Baixe a mídia gerada imediatamente. URLs da CDN do vibes expiram.
  9. Música e SFX são gerados, não licenciados. Motor raga local para a trilha sonora, sintetizador local para efeitos, takes hero opcionais com cota limitada no ElevenLabs. Níveis: voz -16, música -24 com duck -3, SFX -18. Legendas permanecem desligadas.
  10. Relate comprometimentos, nunca os esconda. Todo portão que foi dispensado vai no relatório final e no README.md.

Pipeline

script-tagged.txt
   │ S0  parse + hash + mapa de batidas
   ▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 timeline + plano de pausas
                                        ▼
                                   timeline.json
                                        │ S3 planejamento de tomadas
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 montagem de prompts               S5 keyframes (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 clipes (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 som ─────┤
                   cues -> música + sfx -> mix           │ S8 montagem (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

Paralelismo: S1 segmentos com 3 concorrentes (limite do serviço). S5 com 4. S6 com 3. S1/S2 e S4 podem se sobrepor assim que script.json existir. S7 precisa apenas de timeline.json + shots.json, então música e SFX renderizam enquanto S6 ainda está rodando; apenas a mixagem final e S8 esperam pelo último clipe.

Comandos dos estágios

Nomes são contratos de tools/CONTRACTS.md; implemente ou chame-os como mostrado.

PROJ=~/Videos/garuda-jatayu

# S0 — analisar o script, manter o hash, construir o mapa de batidas
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — sintetizar por segmento (eleven_v4 + tags de áudio inline)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — medir áudio, inserir pausas planejadas, construir o relógio mestre
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — derivar tomadas a partir de limites de palavras (nunca de chutes)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — montar os dois prompts por tomada
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — keyframes, condicionados na ficha de personagem + placas de localização
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — clipes, 3 concorrentes, retomável, escada de moderação embutida
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — som: folha de cues, trilha, sfx, mix
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL, grafo de xfade/corte, multiplexar com o mix
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# portões
python tools/qa.py "$PROJ" --gate all

Portões (sem portão, nenhum próximo gasto)

portãoverificaçõesbloqueia
G0 scripthash verbatim, toda frase tem uma batida + elenco + localizaçãoS1
G1 timingmonotonicidade das palavras, cobertura, duração da concatenação == fim da timeline +-100 msS3
G2 storyboardtoda cláusula coberta, durações dentro de [4.0, 5.6] s, cortes em finais de palavrasS5
G3 keyframes720x1280, consistente com ficha, sem artefatos de texto, contagens de personagensS6
G4 clipes720x1280/24 fps/125 f, deriva dentro do alcance, movimento presenteS7
G5 montagemduração +-0.3 s, offsets de xfade, sem junções pretas/congeladasentregar
G6 final720x1280, 24 fps, AAC presente, -16 LUFS +-1, loudness true peak <= -1.0 dBTPentregar
G6b áudiomargem voz-base >= 6 LU em janelas faladas, duck 2.5-3.5 dB, bordas de cue limpas, stems somam ao mixentregar

G3 e a metade visual de G4 precisam de uma revisão visual por lote. Todo o resto é verificável por máquina.

Manual de falhas

sintomacausacorreção
TTS 503 / solver offlinelane de decaptcha foracurl 127.0.0.1:8000/health, reinicie o lane, depois tente novamente
CONTENT_POLICY ao enviarvocabulário de moderaçãomesmo prompt duas vezes, depois neutralize o léxico (PROMPTS.md), depois encurte
clipe deriva / fica em pésem frase de trava de poseadicione "mantenha suas poses e posições do primeiro quadro"
clipe é uma imagem estáticaparágrafo de movimento ausente ou muito fracoum parágrafo de câmera explícito + um parágrafo de movimento secundário
personagens diferem por quadrosem condicionamento de referênciapasse a ficha de personagem via files=[...]
Gemini 401cookie expiradoreextraia __Secure-1PSID + __Secure-1PSIDTS do Helium CDP
vibes 401sessão em cache obsoletaexclua ~/.vibes-session.json, deixe autoSession() relogar
tamanho de saída erradoframe inicial não é 720x1280reconstrua o frame com ImageOps.fit
corte cai fora do ritmotiming de tomada inventadoreexecute S3 a partir de timeline.json
execução morreu no meio do lotesem estadoesperado: reexecute o mesmo comando, ele retoma
preview de SFX retorna quota_exceededo preview anônimo do ElevenLabs acabou (~2 requisições)esperado: o sintetizador local sempre renderizou cada cue; congele takes hero apenas quando a cota estiver fresca

Entregáveis

<project>/
  final.mp4             720x1280, 24 fps, H.264/AAC, -16 LUFS
  README.md             pipeline + comandos exatos + comprometimentos
  script-tagged.txt     entrada verbatim
  script-spoken.txt     texto falado apenas
  script.json           segmentos analisados, batidas, elenco, localizações
  timing.json           palavras por segmento
  timeline.json         relógio mestre incluindo pausas
  shots.json            plano de tomadas (a EDL)
  style-lock.json       bloco de estilo + ficha de personagem + placas
  style/                ficha-de-personagem.png, placas/*.png
  prompts/              <tomada>.keyframe.txt, <tomada>.video.txt
  keyframes/            <tomada>.jpg + manifest.json
  clips/                <tomada>.mp4 + <tomada>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <estagio>.json
  qa/                   relatórios de portão, folhas de contato

Veja PLAN.md antes de iniciar um novo vídeo: ele registra as decisões resolvidas (voz, tags de emoção, cadência de tomadas, som, legendas) e as fases que as aplicam.

Habilidades Relacionadas