Communitygithub.com

ai-video-short — vídeo corto con IA

Muestra a un agente cómo planificar, construir o editar un «vídeo corto con IA» para que el resultado concreto sea un vídeo terminado. El procedimiento recorre el vídeo corto con IA: fotogramas clave narrados + imagen a vídeo, reglas estrictas y pipeline. Úsalo cuando una nueva tarea requiera esta técnica.

¿Qué es ai-video-short — vídeo corto con IA?

Esta habilidad define un pipeline generativo para producir vídeos cortos con IA, reemplazando el renderizado tradicional con una secuencia de etapas que van desde el guion etiquetado hasta el vídeo final. Está diseñada para agentes que necesitan crear contenido narrativo visual de alta calidad, combinando fotogramas clave generados por IA (keyframes) con clips de imagen a vídeo, todo sincronizado con una locución narrada. Soporta plataformas como Gemini para keyframes, vibes.ai para clips, ElevenLabs para TTS y FFmpeg para ensamblaje. El pipeline garantiza la reproducibilidad mediante archivos de estado, impone reglas estrictas como que la narración sea el reloj maestro, que haya dos prompts por toma (uno estático y otro de movimiento), y que cada etapa deba pasar compuertas de calidad antes de avanzar. Es útil para tareas que requieren un control preciso sobre la narrativa, el estilo visual y la calidad técnica del vídeo final.

Compatible con✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/akashdeep000/claude-animated-shorts/tree/HEAD/ai-video-short

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Vídeo corto con IA — fotogramas clave narrados + imagen a vídeo

Reemplaza el renderizador three.js por un pipeline generativo. Se mantiene el rigor de ../SKILL.md: hechos primero, tiempos de palabra como único reloj, un único estilo visual bloqueado, mediciones en lugar de adjetivos, y compuertas que deben aprobarse antes del siguiente gasto.

Referencia probada: ~/Videos/ramayana-part1/part1-startframe.jpg (fotograma clave) y ramayana-part1-v1.mp4 (clip). Ilustración premium de cómic mitológico indio 2D, tinta negra gruesa, clave dorada cálida, 720x1280.

Los detalles viven en:

  • PLAN.md — fases, compuertas, riesgos, decisiones aún abiertas
  • PIPELINE.md — contratos de etapa, comandos exactos, máquina de estados
  • SHOT-PLANNING.md — algoritmo de tiempos a tomas
  • STYLE-LOCK.md — bloque de estilo bloqueado, hoja de personajes, objetivos de paleta
  • PROMPTS.md — álgebra de prompts, clases de movimiento, escalera de moderación
  • AUDIO.md — partitura raga generada + SFX sintetizados, niveles, ducking
  • QA.md — verificaciones de compuerta, umbrales, taxonomía de defectos
  • ../references/mythic/ — la barra de estilo medida: fotograma inicial, clip de trabajo, prompts aprobados, números de paleta
  • ../templates/mythic/ — generador de vibraciones de una sola toma y el pase de vida cinética
  • tools/CONTRACTS.md — las trece CLI que este flujo de trabajo asume
  • missions/garuda-jatayu.md — el piloto: guion textual, reparto, reglas visuales, criterios de aceptación

Reglas estrictas

  1. La narración es el reloj. Cada corte se deriva de marcas de tiempo reales de palabras. No se inventa ningún límite de toma antes de que exista timeline.json.
  2. Guion textual. <project>/script-tagged.txt es byte-idéntico al guion del usuario. script-spoken.txt solo difiere por la eliminación de etiquetas [...]. Una verificación hash se ejecuta en la compuerta G0.
  3. Dos prompts por toma, nunca uno. keyframePrompt describe una imagen fija. videoPrompt describe 5 segundos de movimiento a partir de esa imagen. Reutilizar el prompt de fotograma clave como prompt de vídeo es el error de calidad más común (produce clips sin vida y a la deriva).
  4. Un único estilo visual bloqueado. El bloque de estilo + la hoja de personajes son constantes en style-lock.json. Los prompts se ensamblan a partir de ellos, nunca se escriben libremente.
  5. Nunca estirar un clip más de 1.12x. Si un compás necesita más tiempo, planifica otra toma o una extensión (+4 s). Estirar fue el mayor compromiso en la primera ejecución.
  6. Ningún fotograma no revisado llega al vídeo. Los fotogramas clave pasan primero una revisión de hoja de contactos y la verificación de artefactos de texto. Los créditos de vídeo son la etapa costosa.
  7. Reanudable por construcción. Cada etapa escribe state/<stage>.json con un hash de entrada. Re-ejecutar es idempotente. Una ejecución que muere en la toma 6 de 28 debe reiniciarse en la toma 6.
  8. Descargar los medios generados inmediatamente. Las URL de CDN de vibes.ai caducan.
  9. La música y los SFX se generan, no se licencian. Motor raga local para la partitura, sintetizador local para efectos, tomas opcionales con cuota limitada de ElevenLabs. Niveles: voz -16, música -24 con ducking -3, SFX -18. Sin subtítulos.
  10. Informar los compromisos, nunca ocultarlos. Toda compuerta que se exime va en el informe final y en README.md.

Pipeline

script-tagged.txt
   │ S0  parse + hash + beat map
   ▼
script.json ──► S1 TTS (elevellab) ──► tts/*.mp3 + tts/*.words.json
                                        │ S2 timeline + pause plan
                                        ▼
                                   timeline.json
                                        │ S3 shot planning
                                        ▼
                                    shots.json
                       ┌────────────────┴────────────────┐
                  S4 prompt assembly               S5 keyframes (Gemini)
                       ▼                                ▼
                  prompts/*.json                   keyframes/*.jpg
                                                        │ S6 clips (vibes.ai)
                                                        ▼
                                                   clips/*.mp4
                                                        │
              timeline.json + shots.json ──► S7 sound ───┤
                   cues -> music + sfx -> mix           │ S8 assembly (ffmpeg)
                                                        ▼
                                                   final.mp4 + QA

Paralelismo: S1 segmentos con 3 concurrentes (límite del servicio). S5 con 4. S6 con 3. S1/S2 y S4 pueden solaparse una vez que existe script.json. S7 solo necesita timeline.json + shots.json, por lo que la música y los SFX se renderizan mientras S6 aún se ejecuta; solo la mezcla final y S8 esperan al último clip.

Comandos de etapa

Los nombres son contratos de tools/CONTRACTS.md; impleméntalos o llámalos como se muestra.

PROJ=~/Videos/garuda-jatayu

# S0 — parsear el guion, mantener el hash, construir el mapa de compases
python tools/parse_script.py "$PROJ/script-tagged.txt" -o "$PROJ/script.json"

# S1 — sintetizar por segmento (eleven_v4 + etiquetas de audio inline)
python tools/tts.py "$PROJ/script.json" --out "$PROJ/tts" \
  --url http://127.0.0.1:8100 --voice 3AMU7jXQuQa3oRvRqUmb \
  --model eleven_v4 --tags inline --concurrency 3

# S2 — medir audio, insertar pausas planificadas, construir el reloj maestro
python tools/timeline.py "$PROJ/tts" "$PROJ/script.json" \
  -o "$PROJ/timeline.json" --pauses "$PROJ/pauses.json"

# S3 — derivar tomas de los límites de palabras (nunca de suposiciones)
python tools/plan_shots.py "$PROJ/script.json" "$PROJ/timeline.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/shots.json"

# S4 — ensamblar los dos prompts por toma
python tools/compose_prompts.py "$PROJ/shots.json" \
  --style "$PROJ/style-lock.json" -o "$PROJ/prompts"

# S5 — fotogramas clave, condicionados por la hoja de personajes + placas de ubicación
python tools/keyframes.py "$PROJ/prompts/keyframe" --out "$PROJ/keyframes" \
  --sheet "$PROJ/style/character-sheet.png" --concurrency 4

# S6 — clips, 3 concurrentes, reanudables, escalera de moderación incorporada
python tools/clips.py "$PROJ/shots.json" --keyframes "$PROJ/keyframes" \
  --out "$PROJ/clips" --concurrency 3

# S7 — sonido: hoja de cues, partitura, sfx, mezcla
python tools/cues.py "$PROJ/shots.json" "$PROJ/timeline.json" -o "$PROJ/score/cues.json"
python tools/score.py "$PROJ/score/cues.json" -o "$PROJ/score/music.wav"
python tools/sfx.py "$PROJ/score/cues.json" -o "$PROJ/score/sfx.wav"
python tools/mix.py "$PROJ/timeline.json" --voice "$PROJ/narration.wav" \
  --music "$PROJ/score/music.wav" --sfx "$PROJ/score/sfx.wav" -o "$PROJ/score/mix.wav"

# S8 — EDL, grafo de xfade/corte, multiplexar con la mezcla
python tools/assemble.py "$PROJ/shots.json" "$PROJ/timeline.json" \
  --clips "$PROJ/clips" --audio "$PROJ/score/mix.wav" -o "$PROJ/final.mp4"

# compuertas
python tools/qa.py "$PROJ" --gate all

Compuertas (sin compuerta, no hay siguiente gasto)

compuertaverificabloquea
G0 scripthash textual, cada oración tiene un compás + reparto + ubicaciónS1
G1 timingmonotonicidad de palabras, cobertura, duración de la concatenación == fin de timeline +-100 msS3
G2 storyboardcada cláusula cubierta, duraciones dentro de [4.0, 5.6] s, cortes en finales de palabraS5
G3 keyframes720x1280, consistente con la hoja, sin artefactos de texto, recuentos de personajesS6
G4 clips720x1280/24 fps/125 fotogramas, deriva dentro del rango, movimiento presenteS7
G5 assemblyduración +-0.3 s, desplazamientos de xfade, sin uniones negras/congeladasentregar
G6 final720x1280, 24 fps, AAC presente, -16 LUFS +-1, pico verdadero de sonoridad <= -1.0 dBTPentregar
G6b audiomargen voz-fondo >= 6 LU en ventanas de habla, ducking 2.5-3.5 dB, bordes de cue limpios, stems suman a la mezclaentregar

G3 y la mitad visual de G4 necesitan una revisión visual por lote. Todo lo demás se puede verificar mediante máquina.

Manual de fallos

síntomacausasolución
TTS 503 / solver offlinecanal de decaptcha caídocurl 127.0.0.1:8000/health, reiniciar el canal, luego reintentar
CONTENT_POLICY al enviarvocabulario de moderaciónmismo prompt dos veces, luego neutralizar el léxico (PROMPTS.md), luego acortar
clip a la deriva / se levantasin frase de bloqueo de poseañadir "mantén sus poses y posiciones desde el primer fotograma"
clip es una imagen fijapárrafo de movimiento faltante o demasiado débilun párrafo de cámara explícito + un párrafo de movimiento secundario
personajes difieren por fotogramasin condicionamiento de referenciapasar la hoja de personajes mediante files=[...]
Gemini 401cookie caducadare-extraer __Secure-1PSID + __Secure-1PSIDTS de Helium CDP
vibes 401sesión en caché obsoletaeliminar ~/.vibes-session.json, dejar que autoSession() reinicie sesión
tamaño de salida incorrectofotograma inicial no es 720x1280reconstruir el fotograma con ImageOps.fit
corte fuera de ritmotiempo de toma inventadore-ejecutar S3 desde timeline.json
ejecución muerta a medio lotesin estadoesperado: re-ejecutar el mismo comando, se reanuda
la vista previa de SFX devuelve quota_exceededla vista previa anónima de ElevenLabs se agotó (~2 solicitudes)esperado: el sintetizador local siempre renderizó cada cue; congelar las tomas principales solo cuando la cuota esté fresca

Entregables

<project>/
  final.mp4             720x1280, 24 fps, H.264/AAC, -16 LUFS
  README.md             pipeline + comandos exactos + compromisos
  script-tagged.txt     entrada textual
  script-spoken.txt     solo texto hablado
  script.json           segmentos parseados, compases, reparto, ubicaciones
  timing.json           palabras por segmento
  timeline.json         reloj maestro incl. pausas
  shots.json            plan de tomas (el EDL)
  style-lock.json       bloque de estilo + hoja de personajes + placas
  style/                character-sheet.png, plates/*.png
  prompts/              <shot>.keyframe.txt, <shot>.video.txt
  keyframes/            <shot>.jpg + manifest.json
  clips/                <shot>.mp4 + <shot>.generation.json
  score/                cues.json, cues.md, music.wav, sfx.wav, mix.wav, stems/
  state/                <stage>.json
  qa/                   informes de compuerta, hojas de contacto

Consulta PLAN.md antes de comenzar un nuevo vídeo: registra las decisiones resueltas (voz, etiquetas de emoción, cadencia de tomas, sonido, subtítulos) y las fases que las aplican.

Skills relacionados