Texto → video animado
Este es un pipeline de "texto a animación" estilo Fliki (consulta references/fliki-notes.md), pero los elementos visuales se dibujan en código y se renderizan en este contenedor, por lo que no hay créditos de Fliki ni modelos, no hay marca de agua y no hay límite de 3 minutos.
Entrada: una de las siguientes:
- una idea de una línea
- un guión
- una URL de blog
- un PDF o PPT
- un archivo MP3 de voz en off existente
Salida: un MP4 terminado, más una copia para WhatsApp, en la relación de aspecto que el usuario haya elegido.
Pasos
-
Brief. Recopila estos datos, usando los valores predeterminados cuando el usuario no los especifique:
- idioma (predeterminado: el idioma del usuario; Hinglish/Hindi está bien)
- tono (neutro)
- duración (60 s)
- aspecto (9:16 para reels/shorts, 16:9 para YouTube, 1:1 para feed)
- preset de estilo (ver más abajo)
- voz: el MP3 del usuario, ElevenLabs o ninguna
Pregunta solo sobre aquello que no puedas predeterminar.
-
Fuente → guión.
- Idea: escríbelo tú mismo.
- URL / PDF / PPT: lee la fuente, conserva solo los hechos que respalde y cítala en la tarjeta final.
- Longitud: escribe un guión segmentado por escenas a unas 140 palabras/min para inglés, 120 para hindi.
- Estructura: un gancho en los primeros 3 s, una idea por escena, un CTA al final.
- Revisión: muestra el guión y espera la aprobación, a menos que el usuario haya proporcionado el guión.
-
Plan de escenas. Escribe
plan.json(formato a continuación) con 1 escena cada 4–8 s, y muéstralo como una tabla corta.{"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[ {"id":1,"t0":0,"t1":5.2,"text":"<línea de voz>","visual":"<lo que se dibuja>","motion":"<cámara/animación>","sfx":["whoosh:0.1"]}]} -
Voz. Elige una:
- MP3 del usuario: úsalo tal cual. Si hay música debajo de la voz, separa primero las vocales (demucs) antes de alinear.
- ElevenLabs: el usuario necesita una clave. Pídela con
request_credentialpara el hostapi.elevenlabs.io, encabezadoxi-api-key. Nunca le pidas que pegue la clave en el chat. Luego llama aPOST https://api.elevenlabs.io/v1/text-to-speech/{voice_id}conmodel_ideleven_multilingual_v2(o el modelo multilingüe más reciente que liste la API), una solicitud por escena o para todo el guión. - Sin voz: usa solo subtítulos y efectos de sonido, temporizando cada escena en su duración planificada.
-
Alinear.
python scripts/align.py voice.wav script.txt words.json 30da los tiempos de las palabras, además dewords_mouth.jsonpara sincronización de labios.- Necesita
pip install --break-system-packages torch torchaudio uroman librosa soundfiley descarga su modelo dedownload.pytorch.org, lo cual este entorno permite. - Re-temporiza las escenas de
plan.jsonsegún las palabras alineadas. Nunca adivines los tiempos cuando exista una voz.
-
Primero la hoja de personajes (si el video tiene personajes). Dibuja cada personaje una vez como una función con algunas poses (quieto, hablando, señalando, sorprendido) y guarda una hoja PNG. Reutiliza las mismas funciones en cada escena para que los personajes se vean idénticos en todo el video. Los personajes deben ser originales; nunca copies un personaje de dibujos animados o anime existente.
-
Construye
scene.html.- Un canvas de tamaño W×H.
window.renderAt(t)debe ser determinista: aleatorio con semilla, sinDate.now(), sin animaciones CSS.window.readyse resuelve después de que las fuentes se carguen. Usa archivos woff2 locales: Baloo 2 o Noto Sans Devanagari para hindi, Inter/Anton/Bangers/Caveat según lo necesite el estilo.- Los subtítulos se dibujan en el canvas:
- 2–5 palabras por fragmento, dividiendo en signos de puntuación o en pausas de más de 0.35 s
- la palabra activa se resalta en el momento en que comienza
- el texto permanece dentro de la zona segura; para 9:16, nada en los 250 px superiores ni en los 420 px inferiores
- Movimiento: movimientos suaves, parpadeos cada 2–5 s, balanceo en reposo, un lento zoom in por escena y un movimiento de transición entre escenas.
-
Revisión de fotogramas fijos. Ejecuta
node scripts/render.cjs stills scene.html <8–12 veces> stills/ W H, luego une los fotogramas en una hoja de contactos con ffmpegtile. Revisa la hoja tú mismo, corrige problemas, luego muéstrasela al usuario y espera la aprobación antes del render completo. -
Renderizado y mezcla.
- Video:
node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H - SFX:
python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5 - Mezcla la voz a 0 dB y los SFX a aproximadamente −12 dB. Usa música solo si el usuario la proporciona; redúcela bajo la voz con
sidechaincompress. - Multiplexa, luego
loudnorm=I=-14:TP=-1.5.
- Video:
-
Entrega.
- Verifica si hay fotogramas negros con
blackdetect. - Haz una copia para WhatsApp/720p de menos de 20 MB.
- Envía ambos archivos con
SendUserFile. - Para otras relaciones de aspecto, escribe el diseño como función de (W,H) y re-renderiza.
- Verifica si hay fotogramas negros con
Presets de estilo
| preset | apariencia | movimiento |
|---|---|---|
2d-cartoon | formas redondeadas, color plano con un tono, contorno oscuro de 4–6 px, fondos brillantes | dinámico (easing back/elastic), compresión en aterrizajes |
anime-style | ojos grandes, líneas limpias gruesas, color plano + sombra dura, degradados de cielo | líneas de velocidad, fotogramas de impacto, pequeña vibración de pantalla en golpes |
comic-book | tinta negra espesa, sombreado de medios tonos, viñetas, stickers de ráfaga (POW, WAAH!) | golpes de viñeta, zoom-golpe, transiciones de cambio de página |
storybook (fantasía) | degradados pictóricos suaves, grano de papel, luz cálida, tipografía serif redondeada | paralaje lento, partículas flotantes, fundidos suaves |
whiteboard | pizarra blanca, trazos de marcador negro dibujados con stroke-dashoffset, un color de acento | una mano/bolígrafo sigue el trazo que se dibuja; borrado con limpieza |
kinetic-type | tipografía en negrita (Anton/Inter Black), 2–3 colores, formas como acentos | palabras golpean, deslizan y escalan al ritmo; máscaras y cortes de coincidencia |
cinematic-2d | ilustración plana semirrealista, luz dramática de una sola fuente, paleta apagada | solo zooms lentos y paneos; ritmo documental |
Reglas
- Dibujar en código. Todo se dibuja en código: sin material de archivo ni generadores de imágenes o video, a menos que el usuario proporcione medios o solicite clips generados (entonces usa
ai-video-generator). - Personas reales. No crees apariencias realistas de IA de personas reales y vivas, figuras públicas. Usa imágenes simbólicas, siluetas o la propia caricatura del usuario dibujada a partir de sus fotos.
- Hechos. Los hechos en pantalla deben provenir de la fuente del usuario o de una búsqueda verificada. Nunca inventes estadísticas, citas o testimonios.
- Sobrescritura. Pregunta antes de sobrescribir un archivo de salida existente.