¿Qué hace Treemation — Videos Educativos 3D?
Esta habilidad produce videos como el ejemplo en examples/zenhosta/ ("¿Cómo puede estar un sitio web en línea?"):
un anfitrión de piel pixelada (personaje de estilo juego sandbox con cara anime pixelada) adaptado al
contexto del usuario, la mascota "Byte", una cámara que cambia de plano (primer plano del rostro, primer plano de la mascota,
enfoque en ilustración 3D, plano general, contrapicado), fondos cuyo tema sigue el tema,
una etiqueta de paso en la parte superior con una barra de progreso, un escenario 3D flotante para accesorios,
conjuntos 3D (salas/lugares completos — centro de datos, oficina, almacén, ciudad, o el tuyo propio — construidos detrás del anfitrión,
que flota frente a ellos, luego la cámara vuela hacia el interior), paneles de interfaz que aparecen exactamente cuando se dice una palabra,
subtítulos grandes (palabras clave en amarillo), y un anfitrión cuya boca sigue la voz.
Toda la comunicación con el usuario es en Bahasa Indonesia (guiones, subtítulos y respuestas del chat).
Reglas de activación (lea primero — así una frase del usuario es suficiente)
A. El usuario nombra un tema — p. ej. "buat konten edukasi apa itu domain", "bikin video soal cara kerja email, CTA ke tokoku.id", "konten tiktok: kenapa harga emas naik".
- Eso es una solicitud para hacer contenido, no una pregunta. No expliques el tema en el chat, no resumas el material y no preguntes de vuelta ("¿cuánta duración?", "¿quién es el público objetivo?", "¿usar CTA?").
- Ve directamente a la Etapa 1 con los valores predeterminados a continuación, luego responde en el formato de la Etapa 1
(
references/output-format.md): guion listo para pegar en ElevenLabs, personaje, miniatura, tabla de escenas, ruta avideo-plan.json. Cierra con una oración: "Envía el MP3 de ElevenLabs, luego lo convertiré directamente en video". - Valores predeterminados cuando no se especifica: duración ±60–70 s (120–150 palabras), 2–4 pasos según el
tema, personaje de
karakter.md(contexto del usuario → nicho → preajusteraka), CTA de cierre "¡Sigue para más contenido educativo!" (sin marca). Si el usuario nombra una marca/URL, el CTA la usa. Cada valor predeterminado se puede cambiar después — menciónalos brevemente en la respuesta, no preguntes primero. - Si el tema depende de hechos que pueden cambiar (precios, regulaciones, datos recientes) y tienes acceso web, verifica primero; de lo contrario, escribe un guion que no dependa de cifras actuales.
B. El usuario envía un MP3 (con o sin mensaje) — ejecuta la Etapa 2 hasta completarla sin
pedir confirmación: encuentra el proyecto, alinea, escribe scenes.js, verifica las imágenes fijas, renderiza,
miniatura, codifica, verifica el resultado, luego responde en el formato de la Etapa 2.
- Encontrar el proyecto:
python <skill>/scripts/find_project.pylista los proyectos y su estado. Usa el proyecto cuyoplan.jsonexiste pero aún no tiene audio (el más reciente). El nombre del archivo MP3 o un mensaje del usuario que nombre el tema tiene prioridad sobre el orden cronológico. Haz una sola pregunta breve solo cuando varios candidatos sean igualmente plausibles. - Si no hay ningún proyecto → pide al usuario que pegue el texto leído en ElevenLabs (la alineación necesita
el texto exacto), luego construye
plan.jsonalrededor de ese texto sin cambiar sus palabras, y continúa con la Etapa 2. - Si la duración del audio está lejos de la estimación (> 25%) o
align.pymarca muchas frases con<-- cek→ es probable que el texto haya sido editado en ElevenLabs. Pide el texto utilizado, actualiza la narración en el plan y repite. - Las únicas razones para detenerse a mitad de camino: una dependencia faltante (pide permiso una vez para instalarla) o un error que no puedas solucionar tú mismo.
- Un renderizado completo puede llevar un tiempo; ejecútalo en segundo plano, haz la miniatura mientras esperas y publica breves actualizaciones de progreso cuando la sesión lo permita.
C. El usuario pide una revisión ("ganti karakternya jadi cewek berhijab", "judul thumbnail
lebih singkat", "warna merek biru") → cambia plan.json/scenes.js en el mismo proyecto. Antes
de que exista un MP3: reenvía solo las partes de la respuesta de la Etapa 1 que cambiaron. Si la narración cambia,
recuerda al usuario que el MP3 debe regenerarse. Después de que el video esté listo: vuelve a renderizar solo lo que sea
necesario (solo la miniatura, o el video completo).
El formato de respuesta del chat para ambas etapas está en references/output-format.md — síguelo exactamente.
Carpeta del proyecto
Un video = una carpeta video-<tema-corto>/ (minúsculas, guiones, p. ej. video-apa-itu-domain)
en el directorio de trabajo. Créala en la Etapa 1 y configúrala una vez:
python <skill>/scripts/setup_project.py video-<tema>
Esto copia el motor (index.html, engine.js, pixelchar.js), instala three.js + fuentes +
iconos vía npm, crea icons.js, y verifica ffmpeg/numpy/playwright. Si una línea comienza con
PERLU:, instala lo que nombre primero (pide permiso al usuario antes de instalar cualquier cosa en
su sistema).
Contenido de la carpeta cuando esté listo: plan.json (tú lo escribes), scenes.js (tú lo escribes), narasi.mp3,
naskah-elevenlabs.txt, video-plan.json, timeline.js/json, frames/, previews/, video.mp4.
Etapa 1 — concepto → guion + plan de escenas
- Lee
references/naskah-dan-plan.md(cómo escribir el guion, el esquema deplan.json, la lista de poses, expresiones, acciones de la mascota y efectos de sonido). - Elige el personaje anfitrión del contexto del usuario (lee
references/karakter.md) y escríbelo encharactersen plan.json. Ejecutapython <skill>/scripts/preview_characters.py <proyecto> --plany mira el resultado; incluyepreviews/karakter.pngen la respuesta cuando sea posible. - Lee
references/hook.md. Escribe 3 versiones de gancho (diferentes tipos) y elige el más fuerte para la primera oración de la narración +hooken plan.json (texto grande en pantalla, alternativas). La escena 1 debe cumplir la regla de tres capas: un plano fuerte en@start, un efecto de sonido en la primera palabra, sin saludo/introducción. - Escribe
plan.json: 6–9 escenas siguiendo gancho → introducción (número de puntos) → pasos 1..n → resumen → CTA, másthumbnail(título de portada, accesorios a mostrar, expresión del anfitrión) — consulta la sección "Miniatura". Planifica losshotsybackgroundde cada escena al mismo tiempo (secciones "Plano de cámara" y "Fondo adaptable"). Apunta a 120–150 palabras en total (≈ 60–70 segundos en ElevenLabs). Si un paso trata sobre un lugar (sala de servidores, almacén, oficina, calle, aula, fábrica…), leereferences/sets.mdy usasetpara esa escena (1–2 conjuntos por video): el anfitrión flota frente a una sala 3D, la cámara se mueve hacia elspot:nombrado en la narración,markseñala sus partes,fxlo da vida. Un lugar que no esté entre los conjuntos integrados → constrúyelo condefineSet()enscenes.js(Etapa 2). - Ejecuta
python <skill>/scripts/plan_timing.py <proyecto>→ creavideo-plan.json(tiempo estimado) ynaskah-elevenlabs.txt. Verifica la salida: cada palabra desencadenante debe encontrarse, debe imprimir "Cek hook: OK", y cuando se usen conjuntos "Cek set 3D: OK" — corrige cada advertencia ⚠ y ejecútalo de nuevo. Opcional para videos con conjuntos:plan_timing.py <proyecto> --previewtambién escribe untimeline.jsestimado, así querender.py --stillspuede verificar cómo se ve el conjunto antes de que exista el MP3 (necesitascenes.js; en la Etapa 1 una sola línea es suficiente:import { register } from './engine.js'; register({});). - Responde al usuario en el formato de la Etapa 1 de
references/output-format.md: bloque de guion listo para pegar, notas de pronunciación, tabla de escenas con minutos y la rutavideo-plan.json. Pide el MP3.
Etapa 2 — MP3 → video
- Guarda el audio como
<proyecto>/narasi.mp3. - Asegúrate de que la narración en
plan.jsonsea exactamente lo que se leyó (el usuario puede haber editado el guion en ElevenLabs — pregunta si no estás seguro, o verifica la duración: una gran diferencia con la estimación significa que el texto difiere). python <skill>/scripts/align.py <proyecto> --whisper→timeline.js,timeline.json,video-plan.jsonsincronizados. Con--whisper(necesitapip install faster-whisper; la primera descarga del modelo es de ±500 MB) el tiempo de cada palabra proviene del reconocimiento de voz real, así que los subtítulos tipo karaoke y la sincronización de labios caen exactamente; sin él, se usa pausa + alineación de sílabas. Si faster-whisper no está instalado, el script recurre automáticamente al método antiguo. Mira la lista de frases: las líneas marcadas<-- cektienen duraciones sospechosas, generalmente porque el texto difiere del audio o ElevenLabs hizo una pausa en algún lugar inesperado. Corrige el texto en el plan si es necesario y ejecútalo de nuevo.- Lee
references/engine-api.md(yreferences/sets.mdsi el plan usaset), luego escribe<proyecto>/scenes.js. Comienza copiando los patrones enexamples/zenhosta/scenes.js. Todos los tiempos usanT(sceneId, 'palabra'), nunca segundos brutos — así todo permanece sincronizado si se reemplaza el audio. - Verificación visual antes del renderizado completo:
python <skill>/scripts/render.py <proyecto> --stills <3–4 segundos por escena>luego mira las imágenes en<proyecto>/previews/. Toma al menos una imagen fija por plano (para conjuntos: una porspot:y una mientras se construye el conjunto). Verifica: los paneles no cubren la cara del anfitrión, nada está cortado en los bordes, los subtítulos son legibles, los accesorios aparecen en el escenario, no hay errores de página. Corrige y repite hasta que esté limpio. Este es el paso más importante para la calidad. Para verificar el movimiento (personajes que se hacen a un lado, transiciones de fondo, cortes de cámara), renderiza un clip corto con sonido:python <skill>/scripts/render.py <proyecto> --clip 10 18→previews/clip_10-18.mp4. - Renderizado completo:
python <skill>/scripts/render.py <proyecto>(reanudable si se interrumpe;--workers Npara CPU de muchos núcleos). Si la computadora tiene una tarjeta gráfica, primero verificarender.py <proyecto> --gpu --check-gpu; si el renderizador no es SwiftShader, renderiza con--gpu(3–10× más rápido). Compara una imagen fija--gpucon la versión de CPU antes del renderizado completo. Aproximadamente 0.3–0.6 s por fotograma por trabajador. Ejecútalo en segundo plano y monitorea el progreso si lleva mucho tiempo. - Música de fondo: si el usuario envía un archivo de música (o
musicestá configurado en plan.json), úsalo con ducking automático (la música baja mientras habla la narración). Sin archivo, usa--music auto(música simple generada por código, libre de regalías) y menciona en la respuesta que el usuario puede reemplazarla con música de su elección — nunca uses canciones con derechos de autor. - Miniatura:
python <skill>/scripts/thumbnail.py <proyecto>→<proyecto>/thumbnail.png(portada 1080×1920) ypreviews/thumbnail-cek.png(guías de área segura). Mira la imagen de verificación: título y cara del anfitrión dentro del cuadro rojo, título sin cubrir la cara, accesorios visibles. Ajustaprops_from,stageotitle_yy repite. Se puede hacer mientras se ejecuta el renderizado completo. python <skill>/scripts/encode.py <proyecto> <nombre>.mp4 [--music file.mp3|auto]→ los efectos de sonido se generan automáticamente, se mezclan en voz baja debajo de la narración (+ música con ducking), luego se codifican a un MP4 1080×1920 30 fps H.264 + AAC.- Verifica algunos fotogramas del MP4 final (ffmpeg
-ss <segundos> -frames:v 1), luego responde en el formato de la Etapa 2 dereferences/output-format.md.
Principios
- Sincronización primero, estética después. Cada visual aparece en la palabra que lo explica. Un panel que aparece antes de que se diga su palabra se siente incorrecto.
- Gancho antes del contenido. Los primeros 3 segundos deciden si se ve el video: oración de gancho
≤ 14 palabras sin saludo, texto grande en pantalla que no copia la narración,
personajes/accesorios moviéndose desde el primer fotograma, y la promesa comienza a responderse antes del segundo
8 (
references/hook.md). - Una cámara viva, no una estática. Cada escena tiene al menos 2 planos (
host_close,host_medium,mascot_close,illustration,wide,low_angle) con un corte o movimiento en la palabra correcta — primeros planos para gancho/remate/CTA,illustrationmientras se discuten los accesorios (los personajes desaparecen o se deslizan fuera del cuadro primero, luego regresan),mascot_closepara reacciones. Los paneles de interfaz deben permanecer dentro de la zona segura del plano activo. - Los fondos siguen el tema. Cada escena (o palabra clave) tiene un
background: tema de color, patrón de partículas e íconos de motivo que coinciden con el contenido: el frío usa azul helado + nieve, los servidores usan código binario, el CTA usa colores cálidos/de marca. Un fondo de un solo color estático para todo el video se siente aburrido. - La boca sigue las vocales. La sincronización de labios usa 5 formas de boca A, I, U, E, O siguiendo el
orden de vocales de cada palabra — "aku mau makan" → A U A U A A — y se cierra en las pausas. Las palabras extranjeras se leen por
su pronunciación vía
pronunciation(references/karakter.md). - Los personajes nunca bloquean la cámara. Al enfocar una ilustración, los personajes
desaparecen instantáneamente (
hide, para cortes) o se deslizan rectos hacia un lado antes de que la cámara se mueva (slide, para movimientos) — sin girarse, sin caminar frente a la cámara. Para variedad (solo cuando sea necesario), un personaje puede aparecer desde abajo, el costado o arriba víaenter. - Un lugar se convierte en un escenario, no en un fondo. Cuando la narración habla de un lugar, constrúyelo como un conjunto 3D detrás del anfitrión (no una imagen de fondo): el anfitrión flota frente a él explicando, luego la cámara se mueve hacia la parte que se menciona y vuelve al anfitrión. Los objetos individuales permanecen en la isla flotante.
- Una idea por momento. El área superior (y 230–900 px) contiene una cosa principal a la vez: un panel de interfaz o un accesorio 3D grande. Limpia los elementos de la escena anterior.
- Personajes originales que se ajustan al contexto. El anfitrión de piel pixelada se construye a partir de una especificación (preajuste + peinado, atuendo, colores, accesorios, hiyab) elegida de la descripción del usuario, la marca y el nicho. No copies pieles/personajes de otros creadores, personajes de juegos o mascotas de marca — de las imágenes de referencia, toma solo el estilo.
- Hechos precisos. Los guiones educativos deben ser correctos; los números de ejemplo usan rangos de documentación
(p. ej. IP
203.0.113.x) o etiquetas claras. Nunca inventes estadísticas. - CTA honesto. Indica la marca/URL del usuario tal como se proporcionó, sin afirmaciones que no hayan dado (precios, promociones, "el mejor", plazos falsos).
- Vivo cada segundo. Subtítulos tipo karaoke, un zoom en las palabras clave, un asentimiento en las palabras acentuadas, ojos que miran a lo que se señala, números que aparecen cuando se mencionan, accesorios que giran o se mueven — ningún segundo es estático.
Referencias
references/naskah-dan-plan.md— formato del guion, esquema de plan.json, poses, expresionesreferences/karakter.md— personajes anfitriones y definición de contextoreferences/hook.md— estrategia de gancho para los primeros 3 segundosreferences/sets.md— construcción y uso de conjuntos 3Dreferences/engine-api.md— API del motor de renderizado Three.jsreferences/output-format.md— formato de respuesta al usuarioreferences/troubleshoot.md— problemas y soluciones comunesexamples/zenhosta/— video de ejemplo completo
Instalación
git clone <repositorio>
cd <skill>
npm install
pip install numpy pillow faster-whisper # opcional
Asegúrate de que FFmpeg esté instalado y accesible en el PATH.
Uso
- Solicita un tema ("buat konten edukasi apa itu domain").
- El agente responde con un guion y un plan.
- Graba el guion en ElevenLabs y envía el MP3 de vuelta.
- El agente produce el video final.