Pipeline de Vídeos Curtos Animados Virais
Produza vídeos curtos animados 9:16 (2D stickman em 3D ou 3D estilizado) nativamente na stack de mídia Gemini e FFmpeg, sem wrappers pagos de terceiros ou Blender.
Verificação de Pré-requisitos
Antes de executar a geração ou montagem de vídeo ao vivo, verifique as dependências locais (teste --version, não apenas which, porque macOS /usr/bin/python3 pode ser um stub não instalado do Xcode CLT):
- API de Vídeo/Áudio:
gemini-api whoami(preferido) ou SDK Pythongoogle-genaicomGEMINI_API_KEYdefinida (consulte as skillsgemini-omni-flash-apiegemini-api-cli). - Folhas de Personagem:
gemini-api image(gemini-nano-banana-2.1) ou o subagenteimage-generatorintegrado. - Montagem e Amostragem de Quadros:
ffmpeg -version,ffprobe -version, epython3 --version(para conversão de legendas).
Se gemini-api ou ffmpeg estiver faltando, complete os Estágios 1-2 ao vivo (usando image-generator para as folhas), gere jobs.json e legendas .ass, e relate os comandos exatos de instalação para as etapas restantes de renderização/montagem ao vivo.
Fluxo de Trabalho em Seis Estágios
Armazene todos os artefatos do projeto dentro de um diretório dedicado <project_dir>/ (ex.: shorts/<slug>/):
shot_plan.json, sheets/, drafts_360p/, qa/, finals_1080p/, audio/, final_short.mp4.
Estágio 1: Roteiro, Bíblia de Estilo e Portão do Gancho
- Escreva um roteiro enxuto: 30-45s (2-4 cenas) para esquetes cômicos, ou 130-150 palavras (45-55s) para explicadores. Sem introdução ou saudação.
- Compile
<project_dir>/shot_plan.jsoncorrespondendo areferences/shot_plan_schema.json:- Fixe uma string
style_bibleidêntica reutilizada em todos os prompts de cena. - Defina cada personagem sem props segurados em seu design base.
- Divida as cenas em clipes Omni de 3-15s com timecodes de batida
[0-3s]e Duração Média do Take de 1,5-2,5s. - Defina
audio_modecomonative_omni(diálogo cômico/SFX) outts_plus_bgm(explicadores com narração). - Escreva a linha final para fazer loop sintaticamente na Batida 1.
- Fixe uma string
- Portão do Gancho (obrigatório antes de renderizar): Verifique a Batida 1 (
0-3s) em relação areferences/qa_rubric.md(seção Portão do Gancho). Não gere vídeo até que a Batida 1 tenha contraste visual no quadro 0, movimento imediato e uma premissa verbal de loop aberto.
Estágio 2: Folhas de Referência de Três Painéis Imutáveis
- Construa uma folha de referência de três painéis 16:9 para cada personagem (
Frente | 3/4 Lateral | Costas) usando os templates emreferences/sheet_prompt_templates.md.- Use fundo cinza claro neutro, iluminação plana e uniforme, expressão neutra, e sem props segurados (props causam morfismo de mãos entre takes).
- Gere via
gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.png(ou delegue aoimage-generatore copie/converta a saída.jpg/.pngpara<project_dir>/sheets/). - Inspecione visualmente cada folha com
read_file. Refaça se os painéis discordarem em proporções, vestuário ou espessura de linha. - Ao usar
gemini-api, faça upload das folhas aprovadas uma vez (gemini-api files upload <sheet> --wait) para reutilizar os URIsfiles/<id>em todas as cenas.
Estágio 3: Passada Rascunho 360p
- Gere rascunhos
9:16em360pcomgemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p) viagemini-api videoougenerate_video.py --batch jobs_360p.json. Cada item emjobs_360p.jsonusa:{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"} - Passe a(s) folha(s) de referência imutável(is) (
-i/--image, até 6 imagens) em cada take e vincule cada personagem em linguagem natural por ordem de upload (nunca use tags<IMAGE_REF_N>). - Inclua a
style_bibleliteral, restrição negativa explícita (sem texto na tela, sem marcas d'água, sinais em branco), e batidas de take único ou timecode. - Para takes com 2 personagens, separe os personagens espacialmente (esquerda/direita) ou use plano/contraplano para evitar sangramento de atributos.
- Para cortes contínuos diretos, extraia o último quadro limpo da Cena N como âncora secundária, mantendo a folha de referência canônica como âncora primária.
Estágio 4: QA Forense com VLM Consciente do Contexto (Máx. 2-3 Tentativas)
- Amostre quadros de cada clipe rascunho (
início,meio,pico de ação,fim) mais o quadro final do take anterior:bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4] - Execute
gemini-api analyze(ou inspeção visual viaread_file) comreferences/qa_rubric.md, passando a folha de referência, quadro final anterior e quadros amostrados. - Diagnostique falhas pelo índice exato do quadro e código de falha (
HOOK_WEAK,EXTRA_LIMB,STYLE_DRIFT,TEXT_WARP,AUDIO_DESYNC). - Aplique a correção correspondente de
references/failure_fix_playbook.md:- Pequena falha localizada: edite no local via
--previous-interaction-id <id>("<correção>. Mantenha todo o resto igual."). - Erro grave de anatomia/composição: simplifique ação/câmera e refaça.
- Limite as tentativas a 3 por take. Registre qualquer nova correção descoberta em
references/failure_fix_playbook.md.
- Pequena falha localizada: edite no local via
Estágio 5: Renderização Final 1080p e Upgrade Opcional 2D para 3D
- Re-renderize os takes aprovados em
1080p(--resolution 1080p). - Upgrade Opcional 2D para 3D: Converta cada folha 2D aprovada em uma folha de referência 3D estilizada usando o template de conversão 3D em
references/sheet_prompt_templates.mdcom-i <char>_2d.png. Inspecione viaread_file, atualizestyle_biblepara 3D estilizado e reexecute oshot_plan.jsoncomprovado.
Estágio 6: Montagem Determinística com FFmpeg
- Gere legendas
.srtcom temporização por palavra (gemini-api transcribe -i <audio_or_clip> --format srt) ou exporte a partir da temporização do roteiro. - Converta
.srtpara legendas karaokê.assem zona segura (posicionadas acima da zona de perigo de 35% inferior da interface de Shorts):python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass - Execute o script de montagem probe -> conform -> concat -> duck -> queimar legendas -> 2-pass
-14 LUFS:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav] - Verifique as dimensões (
1080x1920), duração, volume de áudio (-14 LUFS) e verificações visuais de quadro dofinal_short.mp4antes de entregar.