PhucDnag/video-3d-agent

Habilidad de dirección de video 3D basada en diálogos

Objetivo

Convertir el guion y la locución en un video vertical 9:16 con imágenes 3D hermosas y fáciles de entender incluso sin sonido. Cada toma debe ilustrar exactamente la idea que se está expresando, sincronizarse con los subtítulos y tener un cambio/acción visible. Diversificar personajes, objetos, escenarios, composición, colores, materiales, iluminación y movimiento; no hacer que todos los videos sean de cristal dorado, neón, gráficos, relojes o cámaras en órbita.

Mantener la compatibilidad con el renderizador, la escena y la CLI reales del proyecto. No describir ni prometer que un activo, movimiento, alineador, proveedor de IA o comando existe si no se ha verificado en el código. Cuando el motor aún no admita una nueva escena, expresar la escena utilizando la combinación más adecuada de formas/activos disponibles y anotar las limitaciones; solo ampliar el renderizador cuando el usuario solicite modificar el software.

Proceso de dirección

1. Leer el guion completo y verificar el pipeline de creación de escenas, TTS, sincronización de subtítulos, renderizador y las escenas/cámaras realmente admitidas. Mantener el contenido, el tono y el significado de las frases originales.
2. Dividir el discurso en golpes de significado (beats), sin asumir por defecto que una oración es una escena. Registrar para cada beat: el diálogo/subtítulo textual, la idea principal, el sujeto, la acción, el objeto, la emoción, la causa-efecto, lo que debe verse obligatoriamente y lo que no debe ilustrarse incorrectamente.
3. Elegir la ilustración directa primero: si el discurso menciona una persona, objeto, acción o lugar específico, mostrar eso al espectador. Para conceptos abstractos, usar metáforas visuales simples y fáciles de leer, y solo usarlas cuando aclaren la idea. Seguir las palabras de negación, comparación, cambio de idea y resultado; no solo capturar palabras clave del tema.
4. Crear un storyboard según el ritmo del discurso: determinar la toma, la acción principal, el encuadre/ángulo de cámara, el diseño de iluminación-color-material, la transición entre escenas y la continuidad de personajes/accesorios entre beats relacionados. Cada toma debe centrarse en una idea o acción principal.
5. Diseñar la línea emocional de todo el video: comenzar con una pregunta, una imagen extraña o una acción inconclusa que sea relevante al contenido; aumentar gradualmente la escala/ritmo en la parte de desarrollo; reservar la revelación o el momento más fuerte para la idea clave; terminar con una imagen/emoción perdurable o un llamado a la acción si el guion lo tiene. No agregar diálogos, datos o giros que distorsionen el mensaje.
6. Dirigir la forma de leer según los matices de cada beat y de todo el guion; no permitir una voz monótona de principio a fin. Registrar claramente la emoción, la intensidad (suave/media/fuerte), el ritmo (lento/medio/rápido), el énfasis (palabra/frase clave a resaltar) y las pausas (antes/después) para cada beat antes de generar TTS o grabar.
7. Ajustar la sincronización con el audio/subtítulos reales. Usar la sincronización de palabras/alineación si el pipeline la proporciona; si no, usar la sincronización de segmentos existente y marcar la precisión limitada. No afirmar que se ha sincronizado cada palabra si no se tienen marcas de tiempo de cada palabra.
8. Escuchar el audio junto con la vista previa de las imágenes; corregir partes donde la lectura suene antinatural, con énfasis incorrecto, monótona o que no coincida con la expresión/movimiento. Renderizar el archivo final utilizando el proceso correcto del proyecto.

Reglas para seguir los subtítulos y el ritmo visual

• Cada beat tiene una visualClaim: una oración que describe lo que el espectador verá que sucede, que coincida exactamente con el diálogo. Comparar el storyboard con cada oración del subtítulo antes de renderizar.
• Colocar al sujeto en el encuadre tan pronto como se mencione la idea; comenzar la acción cerca de la frase verbal; mostrar el resultado exactamente cuando el discurso lo mencione. Se puede mostrar la preparación una fracción antes de la palabra para que el espectador la reconozca, pero no revelar el resultado demasiado pronto.
• Cambiar de escena en los límites de una idea, pausa rítmica o cambio de sujeto; evitar cortar en medio de un grupo de ideas. Una imagen continua puede abarcar varias oraciones si aún ilustra correctamente; una oración larga puede dividirse en varias tomas si el significado cambia.
• Los subtítulos de karaoke y la locución deben usar la misma fuente de sincronización. No dividir la duración de la oración de manera uniforme para simular una alineación de palabras. Mantener los subtítulos legibles, con ortografía correcta, contraste y que no cubran acciones importantes.
• Para negación/oposición, mostrar claramente los dos estados o acciones a evitar; no usar una imagen que afirme lo contrario de la oración. Para consejos, ilustrar una acción específica en lugar de solo mostrar un ícono genérico.
• Las tomas no deben ser solo órbita/zoom: deben tener acción, transformación, interacción o revelación que ayuden a transmitir el contenido. La cámara apoya la narración, no reemplaza la acción.
• El comienzo debe generar curiosidad con el contenido del propio guion: comenzar directamente con un detalle, pregunta, consecuencia o elección que llame la atención; evitar intros largas con logotipos, vuelos genéricos y escenas hermosas pero irrelevantes.
• Ajustar el ritmo de edición según la voz y el nivel de importancia: tomas más cortas para enumeraciones/oposiciones rápidas, tomas más largas para emociones, acciones que requieren observación o ideas que necesitan reflexión. Usar cambios de tamaño de plano, dirección de movimiento, silencios de la voz (si los hay) o revelaciones para crear ritmo; no cortar rápidamente solo para crear una sensación de dinamismo.
• Usar transiciones con motivación visual: corte por correspondencia de forma/movimiento, tapar la lente con un objeto en la escena, cambiar el enfoque/iluminación, o cortar directamente en el ritmo del discurso. Limitar los efectos de transición decorativos repetitivos.

Dirección de la voz con emoción

• Comprender el significado y la relación entre las oraciones antes de elegir el matiz. Para cada beat, registrar emotion, intensity (suave/media/fuerte), pace (lento/medio/rápido), emphasis (palabra/frase clave a resaltar) y pauseAfter/pauseBefore si es necesario. Estas etiquetas son pautas de dirección; solo se transmiten al TTS si la API/esquema realmente lo admite.
• Crear una curva emocional natural: comienzo claro e intrigante; parte explicativa tranquila y fácil de escuchar; énfasis firme en la idea importante; segmento emotivo cálido y sincero; segmento de advertencia serio pero sin gritos; conclusión con un final contundente. Ajustar según el guion, no aplicar un patrón de lectura para todos los videos.
• Usar pausas intencionadas en los límites de la idea, antes de una revelación, después de una pregunta retórica o después de una oración que requiera reflexión. No insertar pausas largas después de cada oración ni reemplazar signos de puntuación para cambiar el significado o modificar el contenido.
• Enfatizar con el tono y el ritmo, no solo aumentando el volumen/velocidad. Evitar un tono de anuncio demasiado entusiasta para contenido triste, sensacionalista para conocimiento neutral, o excesivamente dramático para consejos suaves. Asegurar una pronunciación clara, un volumen estable y no perder la comprensibilidad.
• Si hay varias opciones de voz, elegir la voz más adecuada a la edad/emoción/género y mantener la coherencia en todo el video. No cambiar de voz entre beats sin una intención narrativa específica.
• Verificar la capacidad real del TTS antes de diseñar el control de la expresión. En el pipeline actual, los campos voice, rate, pitch pueden configurarse; no asumir que existen etiquetas de emoción/estilo o control de prosodia por segmento. Si el motor solo tiene rate/pitch, usar segmentación de guion, puntuación y pausas que el pipeline admita; anotar las limitaciones de expresión. No afirmar que el TTS actúa como un humano real sin haberlo verificado auditivamente. Cuando se necesite una actuación sutil que el motor no pueda proporcionar, sugerir la grabación con un humano real o la integración de un motor con controles expresivos como un cambio separado.
• Sincronizar la voz y las imágenes: para frases suaves, usar movimientos suaves y pocos cortes; para frases cortantes, usar poses claras y cortes precisos; para frases de sorpresa, puede haber una revelación en el momento adecuado; para frases serenas, mantener la toma el tiempo suficiente. La imagen apoya la emoción, no la exagera en contra del contenido.

Diversidad visual intencionada

Elegir un estilo que se adapte al tema y la emoción en lugar de aplicar un preset estético para todo el video. Se pueden combinar estilos como animación de personajes, miniatura/maqueta, arcilla, low-poly refinado, materiales de vidrio/cerámica/madera/tela/metal, dioramas cotidianos, arquitectura estilizada, naturaleza o símbolos abstractos. Priorizar formas claras, superficies con profundidad, iluminación que defina el volumen, colores con gradación, fondos limpios y sujetos que destaquen en la pantalla de un teléfono.

Cada video necesita una breve dirección de arte antes del storyboard: tema/emoción, tipo de formas y materiales principales, paleta de colores de 3 a 5 colores, tipo de iluminación, diseño de personajes (si los hay), contraste y nivel de estilización. Por ejemplo: una historia familiar puede usar madera, tela, luz cálida de ventana; contenido científico puede usar modelos de corte, plástico translúcido e iluminación de laboratorio; temas tensos pueden comenzar con composiciones apretadas y alto contraste, y luego abrir el espacio a medida que se resuelven. Esta es una guía flexible, no un preset obligatorio.

Crear puntos focales visuales mediante jerarquía: un punto focal principal, un elemento secundario de apoyo y un fondo con menos detalles. Usar primeros planos para emociones/detalles, planos medios para interacciones, planos generales para escala o transformación; la perspectiva y la profundidad de campo solo se usan cuando ayudan a que el sujeto sea más claro. Diseñar siluetas fácilmente reconocibles, expresiones/poses legibles en tamaños pequeños y materiales con diferencias claras. Evitar texto falso en imágenes 3D, logotipos/marcas de agua no solicitados, objetos deformados difíciles de reconocer, reflejos sobreexpuestos, fondos demasiado recargados y paletas de neón uniformes.

Antes de finalizar el storyboard, revisar las tomas adyacentes y cambiar activamente al menos dos elementos si se repiten: sujeto/accesorio, ubicación, tamaño de plano/composición, ángulo de cámara/movimiento, paleta de colores, material o tipo de transición. No repetir el mismo objeto principal más de dos beats consecutivos a menos que se necesite continuidad; no usar el mismo tipo de cámara en tres tomas consecutivas. La diversidad debe provenir de cambios de significado en el discurso, no de cambios de color arbitrarios.

Mantener la continuidad de personajes, ropa, accesorios, tiempo y dirección de movimiento dentro de la misma línea narrativa. Usar una paleta de colores principal para cada línea; se puede cambiar la iluminación o el color de acento para expresar cambios emocionales. Limitar partículas/brillos y detalles de fondo para no saturar al sujeto, el texto o el área de subtítulos.

Diversificar entre videos cambiando la estructura narrativa según el guion, no solo cambiando el color o un accesorio: se puede elegir una historia de personaje continua, una serie de viñetas, un viaje a través del espacio, una comparación de dos opciones, una transformación en time-lapse o la exploración de un modelo/estructura interna. Usar una estructura narrativa solo cuando haga el mensaje más comprensible. Si hay un historial de videos anteriores, evitar repetir la dirección de arte y las secuencias de tomas características recientes; si no hay datos, no afirmar que se ha consultado el historial.

Elección de escena y viabilidad

• Verificar las escenas/cámaras registradas en el código y los presets antes de usarlas. Las bibliotecas de escenas antiguas son opciones viables/fallback, no una razón para forzar todos los guiones en tubos de dinero, engranajes o cristales.
• Si el proyecto admite sceneSpec/scene graph, describir de manera estructurada el environment, actors, objects, actions, camera y transitions; solo usar geometría, rigs, materiales y animaciones que el resolvedor de activos/renderizador realmente admita.
• Si solo admite un enum scene, elegir el enum más adecuado disponible. No inventar enum/cámara y luego afirmar que el renderizador lo entenderá; indicar la escena deseada como en el storyboard cuando sea necesario para que el usuario decida ampliar el motor.
• Priorizar acciones realizables: caminar, colocar/sostener, abrir/cerrar, caer, dar/recibir, construir, agrietarse, crecer, cambiar de dirección, encontrarse y luego irse. Las animaciones complejas de personas requieren un rig/clip válido; si no está disponible, usar siluetas, bloqueos simples u objetos sustitutos.
• Solo usar activos de biblioteca con fuente y derechos de uso claros. No afirmar que se puede crear un modelo 3D arbitrario a partir de texto si el proyecto no tiene un proveedor correspondiente. Anotar claramente qué activo es procedural, de biblioteca, generado o de respaldo cuando el pipeline admita estos metadatos.

Línea de tiempo y estructura de datos

Mantener el esquema del proyecto existente y los campos obligatorios para la compatibilidad. Cuando sea compatible, cada segmento debe contener:

{
  "id": "beat_01",
  "vi": "Diálogo textual",
  "meaning": "Significado del ritmo",
  "visualClaim": "Acción/imagen específica que debe verse",
  "mustShow": ["sujeto", "acción", "resultado si lo hay"],
  "mustNotShow": ["desarrollo que contradiga el diálogo"],
  "continuityIds": ["personajes o accesorios que cruzan escenas"],
  "scene": "escena válida del proyecto",
  "camera": "cámara válida del proyecto",
  "actions": [{"verb": "acción visible", "cue": "frase de activación si tiene sincronización"}],
  "timing": {"source": "tts_alignment o segment_timing", "startSec": null, "endSec": null}
}

Esto es una sugerencia de storyboard, no se deben agregar campos incompatibles al proyecto que se está renderizando. El tiempo final debe obtenerse del pipeline de audio/TTS justo antes de renderizar; no dejar null en la línea de tiempo de renderizado si el renderizador requiere marcas de tiempo. Si solo hay sincronización por oración, mantener el beat según el segmento y no inventar marcas de tiempo.

Control de calidad

Antes de exportar, revisar cada beat según la lista de verificación:

• Correcto en palabras: al verlo sin sonido, aún se puede adivinar la idea principal; la imagen no contradice la negación, el sujeto, la emoción o la relación causa-efecto.
• Correcto en ritmo: la acción importante aparece cuando se lee la frase correspondiente; el subtítulo y la locución no se desvían según la capacidad de verificación del pipeline.
• Hermoso y claro: el sujeto destaca, la combinación de colores tiene un propósito, la iluminación/material crea profundidad, la composición es legible en pantallas pequeñas, no cubre los subtítulos.
• Con movimiento: la toma tiene acción/transformación/revelación; no abusar de la órbita o el zoom.
• Diverso y continuo: las escenas adyacentes son diferentes de manera intencionada, pero los personajes/accesorios relacionados siguen siendo consistentes.
• Atractivo y con ritmo: los primeros 1-3 segundos están directamente relacionados con el gancho; hay una variación visual según la progresión del contenido; el clímax/revelación sirve a la idea principal; el final no se corta abruptamente en medio de una acción.
• Con dirección de arte: estilo, paleta, iluminación y materiales consistentes dentro de cada línea; cada toma tiene una jerarquía de puntos de vista; no se utilizan efectos solo por decoración.
• Voz con evolución: matices, énfasis y pausas apropiados para cada idea; el ritmo visual acompaña a la voz; todas las limitaciones del TTS se indican claramente.
• Renderizable: los activos se pueden resolver, no hay escenas vacías/negras, los objetos no se salen del encuadre; la duración y el audio/video coinciden dentro de los límites de la herramienta.

Si no se puede verificar un criterio con las herramientas disponibles, anotar claramente que es una verificación no realizada en lugar de informar que se cumplió. Solo exportar storyboard/manifiesto/informe de QA si el pipeline lo admite o el usuario lo solicita.

Ejemplos de elección de imagen según el discurso

• “Cada día avanzas solo un poco”: el mismo personaje practica en un escritorio a lo largo de los días, sus acciones se vuelven gradualmente más hábiles; cambiar la iluminación/clima para expresar el paso del tiempo. Usar gráficos solo si la oración realmente habla de datos.
• “No puedes retener a alguien que quiere irse”: dos personas se sueltan las manos en un pasillo, una camina hacia la puerta; no terminar con un reencuentro.
• “El dinero desaparece por los pequeños gastos”: un personaje toca su teléfono, varias facturas/pequeñas transacciones se descuentan sucesivamente del saldo; no asumir por defecto que se usa un tubo con fugas.
• “El tiempo con los padres no es mucho”: una comida familiar, un calendario que cambia de página y el personaje regresa para sentarse junto a sus padres; no convertir el recordatorio en una escena melodramática si el tono es suave.
• “La disciplina es hacerlo incluso sin motivación”: un personaje se sienta en un escritorio vacío, abre un libro y comienza a escribir, con un leve suspiro pero sin dudar; mostrar el progreso a través de pequeñas marcas en el calendario.
• “Compararse con los demás te roba la alegría”: dos personas al principio están al mismo nivel, una se eleva, la otra se encorva; la sombra de la persona encorvada se extiende y oscurece su entorno; terminar con la persona encorvada de espaldas a la luz, la otra persona ya no está. No usar una cinta de correr o una cinta métrica.
• “Invertir requiere paciencia”: una planta crece lentamente, con los dedos de un personaje esperando junto a ella; un día aparece una fruta; la imagen de un árbol frutal plantado y cuidado es mejor que una flecha que apunta hacia arriba o una pirámide.

Notas

• Esta habilidad asume que el proyecto tiene un sistema de renderizado 3D funcional, un pipeline de TTS y un sistema de escenas/cámaras. Verificar la compatibilidad real antes de usar.
• La prioridad es la claridad narrativa y la precisión del significado, no la belleza técnica. Las imágenes hermosas son importantes, pero solo si cuentan la historia correcta.
• Se recomienda usar esta habilidad con revisiones iterativas: generar storyboard, revisar, ajustar, renderizar, revisar.

---