Vídeo corto con IA — fotogramas clave narrados + imagen a vídeo
Reemplaza el renderizador three.js por un pipeline generativo. Se mantiene el rigor
de ../SKILL.md: hechos primero, tiempos de palabra como único reloj, un único
estilo visual bloqueado, mediciones en lugar de adjetivos, y compuertas que deben
aprobarse antes del siguiente gasto.
Referencia probada: ~/Videos/ramayana-part1/part1-startframe.jpg (fotograma clave) y
ramayana-part1-v1.mp4 (clip). Ilustración premium de cómic mitológico indio 2D,
tinta negra gruesa, clave dorada cálida, 720x1280.
Los detalles viven en:
PLAN.md— fases, compuertas, riesgos, decisiones aún abiertasPIPELINE.md— contratos de etapa, comandos exactos, máquina de estadosSHOT-PLANNING.md— algoritmo de tiempos a tomasSTYLE-LOCK.md— bloque de estilo bloqueado, hoja de personajes, objetivos de paletaPROMPTS.md— álgebra de prompts, clases de movimiento, escalera de moderaciónAUDIO.md— partitura raga generada + SFX sintetizados, niveles, duckingQA.md— verificaciones de compuerta, umbrales, taxonomía de defectos../references/mythic/— la barra de estilo medida: fotograma inicial, clip de trabajo, prompts aprobados, números de paleta../templates/mythic/— generador de vibraciones de una sola toma y el pase de vida cinéticatools/CONTRACTS.md— las trece CLI que este flujo de trabajo asumemissions/garuda-jatayu.md— el piloto: guion textual, reparto, reglas visuales, criterios de aceptación
Reglas estrictas
- La narración es el reloj. Cada corte se deriva de marcas de tiempo reales de palabras.
No se inventa ningún límite de toma antes de que exista
timeline.json. - Guion textual.
<project>/script-tagged.txtes byte-idéntico al guion del usuario.script-spoken.txtsolo difiere por la eliminación de etiquetas[...]. Una verificación hash se ejecuta en la compuerta G0. - Dos prompts por toma, nunca uno.
keyframePromptdescribe una imagen fija.videoPromptdescribe 5 segundos de movimiento a partir de esa imagen. Reutilizar el prompt de fotograma clave como prompt de vídeo es el error de calidad más común (produce clips sin vida y a la deriva). - Un único estilo visual bloqueado. El bloque de estilo + la hoja de personajes son
constantes en
style-lock.json. Los prompts se ensamblan a partir de ellos, nunca se escriben libremente. - Nunca estirar un clip más de 1.12x. Si un compás necesita más tiempo, planifica otra toma o una extensión (+4 s). Estirar fue el mayor compromiso en la primera ejecución.
- Ningún fotograma no revisado llega al vídeo. Los fotogramas clave pasan primero una revisión de hoja de contactos y la verificación de artefactos de texto. Los créditos de vídeo son la etapa costosa.
- Reanudable por construcción. Cada etapa escribe
state/<stage>.jsoncon un hash de entrada. Re-ejecutar es idempotente. Una ejecución que muere en la toma 6 de 28 debe reiniciarse en la toma 6. - Descargar los medios generados inmediatamente. Las URL de CDN de vibes.ai caducan.
- La música y los SFX se generan, no se licencian. Motor raga local para la partitura, sintetizador local para efectos, tomas opcionales con cuota limitada de ElevenLabs. Niveles: voz -16, música -24 con ducking -3, SFX -18. Sin subtítulos.
- Informar los compromisos, nunca ocultarlos. Toda compuerta que se exime va en
el informe final y en
README.md.
Pipeline
script-tagged.txt
│ S0 parse + hash + beat map
▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
│ S2 timeline + pause plan
▼
timeline.json
│ S3 shot planning
▼
shots.json
┌────────────────┴────────────────┐
S4 prompt assembly S5 keyframes (Gemini)
▼ ▼
prompts/*.json keyframes/*.jpg
│ S6 clips (vibes.ai)
▼
clips/*.mp4
│
timeline.json + shots.json ──► S7 sound ───┤
cues -> music + sfx -> mix │ S8 assembly (ffmpeg)
▼
final.mp4 + QA
Paralelismo: S1 segmentos con 3 concurrentes (límite del servicio). S5 con 4. S6 con 3.
S1/S2 y S4 pueden solaparse una vez que existe script.json. S7 solo necesita
timeline.json + shots.json, por lo que la música y los SFX se renderizan mientras S6 aún
se ejecuta; solo la mezcla final y S8 esperan al último clip.
Comandos de etapa
Los nombres son contratos de tools/CONTRACTS.md; impleméntalos o llámalos como se muestra.
PROJ=~/Videos/garuda-jatayu
# S0 — parsear el guion, mantener el hash, construir el mapa de compases
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"
# S1 — sintetizar por segmento (eleven_v4 + etiquetas de audio inline)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
--url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
--model eleven_v4 --tags inline --concurrency 3
# S2 — medir audio, insertar pausas planificadas, construir el reloj maestro
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
-o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"
# S3 — derivar tomas de los límites de palabras (nunca de suposiciones)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/shots.json"
# S4 — ensamblar los dos prompts por toma
python tools/compose_prompts.py "$PROJ/shots.json" \
--style "$PROJ/style-lock.json" -o "$PROJ/prompts"
# S5 — fotogramas clave, condicionados por la hoja de personajes + placas de ubicación
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
--sheet "$PROJ/style/character-sheet.png" --concurrency 4
# S6 — clips, 3 concurrentes, reanudables, escalera de moderación incorporada
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
--out "$PROJ/clips" --concurrency 3
# S7 — sonido: hoja de cues, partitura, sfx, mezcla
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
--music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"
# S8 — EDL, grafo de xfade/corte, multiplexar con la mezcla
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
--clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"
# compuertas
python tools/qa.py "$PROJ" --gate all
Compuertas (sin compuerta, no hay siguiente gasto)
| compuerta | verifica | bloquea |
|---|---|---|
| G0 script | hash textual, cada oración tiene un compás + reparto + ubicación | S1 |
| G1 timing | monotonicidad de palabras, cobertura, duración de la concatenación == fin de timeline +-100 ms | S3 |
| G2 storyboard | cada cláusula cubierta, duraciones dentro de [4.0, 5.6] s, cortes en finales de palabra | S5 |
| G3 keyframes | 720x1280, consistente con la hoja, sin artefactos de texto, recuentos de personajes | S6 |
| G4 clips | 720x1280/24 fps/125 fotogramas, deriva dentro del rango, movimiento presente | S7 |
| G5 assembly | duración +-0.3 s, desplazamientos de xfade, sin uniones negras/congeladas | entregar |
| G6 final | 720x1280, 24 fps, AAC presente, -16 LUFS +-1, pico verdadero de sonoridad <= -1.0 dBTP | entregar |
| G6b audio | margen voz-fondo >= 6 LU en ventanas de habla, ducking 2.5-3.5 dB, bordes de cue limpios, stems suman a la mezcla | entregar |
G3 y la mitad visual de G4 necesitan una revisión visual por lote. Todo lo demás
se puede verificar mediante máquina.
Manual de fallos
| síntoma | causa | solución |
|---|---|---|
| TTS 503 / solver offline | canal de decaptcha caído | curl 127.0.0.1:8000/health, reiniciar el canal, luego reintentar |
CONTENT_POLICY al enviar | vocabulario de moderación | mismo prompt dos veces, luego neutralizar el léxico (PROMPTS.md), luego acortar |
| clip a la deriva / se levanta | sin frase de bloqueo de pose | añadir "mantén sus poses y posiciones desde el primer fotograma" |
| clip es una imagen fija | párrafo de movimiento faltante o demasiado débil | un párrafo de cámara explícito + un párrafo de movimiento secundario |
| personajes difieren por fotograma | sin condicionamiento de referencia | pasar la hoja de personajes mediante files=[...] |
| Gemini 401 | cookie caducada | re-extraer __Secure-1PSID + __Secure-1PSIDTS de Helium CDP |
| vibes 401 | sesión en caché obsoleta | eliminar ~/.vibes-session.json, dejar que autoSession() reinicie sesión |
| tamaño de salida incorrecto | fotograma inicial no es 720x1280 | reconstruir el fotograma con ImageOps.fit |
| corte fuera de ritmo | tiempo de toma inventado | re-ejecutar S3 desde timeline.json |
| ejecución muerta a medio lote | sin estado | esperado: re-ejecutar el mismo comando, se reanuda |
la vista previa de SFX devuelve quota_exceeded | la vista previa anónima de ElevenLabs se agotó (~2 solicitudes) | esperado: el sintetizador local siempre renderizó cada cue; congelar las tomas principales solo cuando la cuota esté fresca |
Entregables
<project>/
final.mp4 720x1280, 24 fps, H.264/AAC, -16 LUFS
README.md pipeline + comandos exactos + compromisos
script-tagged.txt entrada textual
script-spoken.txt solo texto hablado
script.json segmentos parseados, compases, reparto, ubicaciones
timing.json palabras por segmento
timeline.json reloj maestro incl. pausas
shots.json plan de tomas (el EDL)
style-lock.json bloque de estilo + hoja de personajes + placas
style/ character-sheet.png, plates/*.png
prompts/ <shot>.keyframe.txt, <shot>.video.txt
keyframes/ <shot>.jpg + manifest.json
clips/ <shot>.mp4 + <shot>.generation.json
score/ cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
state/ <stage>.json
qa/ informes de compuerta, hojas de contacto
Consulta PLAN.md antes de comenzar un nuevo vídeo: registra las decisiones resueltas
(voz, etiquetas de emoción, cadencia de tomas, sonido, subtítulos) y las fases que
las aplican.