Pipeline de Cortos Animados Virales
Produce Cortos animados 9:16 (2D stickman-en-3D o 3D estilizados) de forma nativa sobre el stack multimedia de Gemini y FFmpeg, sin wrappers de pago de terceros ni Blender.
Verificación de Requisitos Previos
Antes de ejecutar la generación o ensamblaje de video en vivo, verifica las dependencias locales (prueba --version, no solo which, porque en macOS /usr/bin/python3 puede ser un stub de Xcode CLT no instalado):
- API de Video/Audio:
gemini-api whoami(preferido) o SDKgoogle-genaide Python conGEMINI_API_KEYconfigurada (consulta las habilidadesgemini-omni-flash-apiygemini-api-cli). - Hojas de Personaje:
gemini-api image(gemini-nano-banana-2.1) o el subagenteimage-generatorincorporado. - Ensamblaje y Muestreo de Fotogramas:
ffmpeg -version,ffprobe -versionypython3 --version(para conversión de subtítulos).
Si falta gemini-api o ffmpeg, completa las Etapas 1-2 en vivo (usando image-generator para las hojas), genera jobs.json y subtítulos .ass, e informa los comandos de instalación exactos para los pasos restantes de render/ensamblaje en vivo.
Flujo de Trabajo de Seis Etapas
Almacena todos los artefactos del proyecto dentro de un <project_dir>/ dedicado (ej., shorts/<slug>/):
shot_plan.json, sheets/, drafts_360p/, qa/, finals_1080p/, audio/, final_short.mp4.
Etapa 1: Guion, Biblia de Estilo y Puerta del Gancho
- Redacta un guion ajustado: 30-45s (2-4 escenas) para sketches cómicos, o 130-150 palabras (45-55s) para explicativos. Sin introducción ni saludo.
- Compila
<project_dir>/shot_plan.jsonque coincida conreferences/shot_plan_schema.json:- Fija una cadena
style_bibleliteral que se reutilizará en cada prompt de escena. - Define cada personaje sin accesorios sostenidos en su diseño base.
- Divide las escenas en clips Omni de 3-15s con timecodes de compás
[0-3s]y duración media de plano de 1.5-2.5s. - Establece
audio_modeennative_omni(diálogo cómico/SFX) otts_plus_bgm(explicativos con narración). - Escribe la línea final para que haga bucle sintácticamente hacia el Compás 1.
- Fija una cadena
- Puerta del Gancho (obligatorio antes de renderizar): Verifica el Compás 1 (
0-3s) contrareferences/qa_rubric.md(sección Puerta del Gancho). No generes video hasta que Beat 1 tenga contraste visual en el fotograma 0, movimiento inmediato y una premisa verbal de bucle abierto.
Etapa 2: Hojas de Personaje Inmutables de Tres Paneles
- Construye una hoja de tres paneles 16:9 por personaje (
Frontal | 3/4 Lateral | Trasero) usando las plantillas enreferences/sheet_prompt_templates.md.- Aplica fondo gris claro neutro, iluminación plana uniforme, expresión neutra y sin accesorios sostenidos (los accesorios causan morfosis de manos entre planos).
- Genera mediante
gemini-api image "<prompt>" --aspect-ratio 16:9 --image-size 2K --out <project_dir>/sheets/<char>_2d.png(o delega alimage-generatory copia/convierte el.jpg/.pngde salida a<project_dir>/sheets/). - Inspecciona visualmente cada hoja con
read_file. Vuelve a generar si los paneles discrepan en proporciones, vestimenta o grosor de línea. - Al usar
gemini-api, sube las hojas aprobadas una vez (gemini-api files upload <sheet> --wait) para reutilizar las URIsfiles/<id>en todas las escenas.
Etapa 3: Pase de Borrador Barato a 360p
- Genera borradores
9:16a360pcongemini-omni-1.2-flash(--aspect-ratio 9:16 --resolution 360p) mediantegemini-api videoogenerate_video.py --batch jobs_360p.json. Cada elemento enjobs_360p.jsonusa:{"prompt": "...", "image": ["sheets/char_2d.png"], "duration": 7, "aspect_ratio": "9:16", "resolution": "360p", "output": "drafts_360p/shot_01.mp4"} - Pasa la(s) hoja(s) de personaje inmutables (
-i/--image, hasta 6 imágenes) a cada plano y vincula cada personaje en lenguaje natural por orden de subida (nunca uses etiquetas<IMAGE_REF_N>). - Incluye la
style_bibleliteral, la restricción negativa explícita (sin texto en pantalla, sin marcas de agua, carteles en blanco), y los compases de una sola toma o timecode. - Para planos de 2 personajes, sepáralos espacialmente (izquierda/derecha) o usa plano-contraplano para evitar sangrado de atributos.
- Para cortes continuos directos, extrae el último fotograma limpio de la Escena N como ancla secundaria, manteniendo la hoja de personaje canónica como ancla principal.
Etapa 4: Control de Calidad VLM Forense Contextual (Máx. 2-3 Reintentos)
- Muestra fotogramas de cada clip borrador (
inicio,medio,pico de acción,fin) más el fotograma final del plano anterior:bash scripts/extract_qa_frames.sh <clip.mp4> <project_dir>/qa/<shot_id> [prev_clip.mp4] - Ejecuta
gemini-api analyze(o inspección visual medianteread_file) conreferences/qa_rubric.md, pasando la hoja de personaje, el fotograma final anterior y los fotogramas muestreados. - Diagnostica fallos por índice de fotograma exacto y código de fallo (
HOOK_WEAK,EXTRA_LIMB,STYLE_DRIFT,TEXT_WARP,AUDIO_DESYNC). - Aplica la corrección correspondiente de
references/failure_fix_playbook.md:- Glitch localizado pequeño: edita in situ mediante
--previous-interaction-id <id>("<fix>. Mantén todo lo demás igual."). - Error mayor de anatomía/composición: simplifica la acción/cámara y vuelve a generar.
- Límite de 3 reintentos por plano. Registra cualquier nueva corrección descubierta en
references/failure_fix_playbook.md.
- Glitch localizado pequeño: edita in situ mediante
Etapa 5: Renderizado Final a 1080p y Actualización Opcional 2D a 3D
- Vuelve a renderizar los planos aprobados a
1080p(--resolution 1080p). - Actualización Opcional 2D a 3D: Convierte cada hoja 2D aprobada en una hoja de personaje 3D estilizada usando la plantilla de conversión 3D en
references/sheet_prompt_templates.mdcon-i <char>_2d.png. Inspecciona medianteread_file, actualizastyle_biblea 3D estilizado y re-ejecuta elshot_plan.jsonprobado.
Etapa 6: Ensamblaje Determinista con FFmpeg
- Genera subtítulos
.srtcon temporización por palabra (gemini-api transcribe -i <audio_or_clip> --format srt) o expórtalos desde la temporización del guion. - Convierte
.srta subtítulos karaoke.asscon zona segura (posicionados por encima del 35% inferior de la zona de peligro de la UI de Shorts):python3 scripts/srt_to_ass.py <input.srt> <project_dir>/audio/captions.ass - Ejecuta el script de ensamblaje: prueba -> conforma -> concatena -> duck -> quema subtítulos -> 2 pasadas
-14 LUFS:bash scripts/assemble_short.sh <project_dir>/finals_1080p <project_dir>/audio/captions.ass <project_dir>/final_short.mp4 [voiceover.wav] [bgm.wav] - Verifica las dimensiones de
final_short.mp4(1080x1920), duración, sonoridad de audio (-14 LUFS) y comprobaciones visuales de fotogramas antes de entregar.