Vídeo de transición morph "plano secuencia" con IA
Resumen
Crea un vídeo de transición morph "plano secuencia" con IA: varias escenas de monumentos se deforman y conectan en una sola toma continua (un elemento de la escena A se transforma en un elemento de la escena B), y al final regresa al punto de inicio formando un bucle, todo con una paleta de alto contraste unificada (por ejemplo, estilo póster rojo, blanco y negro). El producto final se usa comúnmente en aperturas de PPT, vídeos promocionales de ciudades o vídeos virales. Las cuatro imágenes de referencia estilizadas del caso de Hangzhou están en assets/case-hangzhou/.
Flujo de trabajo (cinco pasos)
Paso 1: Diseñar la cadena de escenas
- Selecciona de 4 a 6 monumentos o escenas de la misma ciudad, ordénalos en una "estructura circular": el punto de inicio es el punto final (por ejemplo, Pagoda Leifeng → Templo Lingyin → Puerta de Hangzhou / Estadio del Loto → Puente de membrana tensada → regreso a la Pagoda Leifeng).
- Principio de ordenación: entre dos escenas adyacentes debe haber un "punto de similitud en forma, color o estructura" (ver Paso 3). Primero dibuja el diagrama de la cadena y luego empieza a trabajar.
- Determina el estilo visual unificado y la paleta de colores (el caso usa un estilo póster plano rojo, blanco y negro; también se puede usar azul verdoso montañoso, neón ciberpunk, etc., pero solo un conjunto para todo el vídeo).
Paso 2: Estilización unificada del material
- Reúne fotos reales de cada monumento. Usa la función "Generación de imagen con imagen de referencia" de Jimeng (o herramientas similares) para convertir todas las fotos al mismo estilo: misma paleta, mismo trazo, silueteado, plano.
- Este es el paso clave para el éxito o el fracaso: si el estilo no es uniforme, las dos escenas se verán "forzadas" al transformarse.
- Produce de 4 a 6 imágenes estilizadas, numéralas y guárdalas (Imagen 1, Imagen 2, ...). Estas servirán tanto como imágenes de referencia para la generación del vídeo como "primer y último fotograma" de cada segmento.
Paso 3: Diseñar puntos de transición match cut
Para cada par de escenas adyacentes, escribe una "correspondencia de transformación", con prioridad: similitud de forma > mismo color > estructura repetida. Tabla comparativa del caso:
| Elemento de la escena anterior | Elemento de la escena posterior | Verbo de transformación |
|---|---|---|
| Cielo rojo + pájaros | Edificios rojos | El punto de caída se convierte en |
| Pétalos blancos del Estadio del Loto | Esqueleto blanco de la membrana tensada | Se enrolla, se reorganiza |
| Carretera negra de la ciudad | Superficie de agua negra | Se extiende como |
| Líneas blancas en el asfalto rojo | Pasarela blanca | Convergen en |
| Membrana roja de la carpa | Superficie de agua roja | Se vierte, se extiende |
| Tablones blancos de la pasarela | Arcos blancos del puente | Se cierran, se curvan |
Consulta el banco completo de verbos y plantillas de frases en references/prompt-patterns.md.
Paso 4: Escribir prompts y generar por segmentos
Usa modelos de vídeo como Jimeng (o Kling) que soporten "múltiples imágenes de referencia / primer y último fotograma":
- Método A (transición con primer y último fotograma, recomendado para tomas largas): Para cada clip, establece "primer fotograma = Imagen A, último fotograma = Imagen B". El prompt solo describe la acción de transformación intermedia de A a B. Divide la cadena larga en varios segmentos, el último fotograma del segmento anterior se usa como primer fotograma del siguiente para mantener la continuidad.
- Método B (prompt largo con múltiples imágenes de referencia): En un solo prompt, menciona @imagen1, @imagen4, etc., como escenas de inicio y fin, describiendo la cadena "escena → acción → punto de caída" (el texto original del caso de Hangzhou está en las referencias).
- Estructura fija del prompt:
[sujeto] + [acción direccional] + [cómo cambia la forma] + [elemento correspondiente al caer en la siguiente escena] + [movimiento de cámara]. - Banco de verbos de cámara: volar hacia adentro, zambullirse, atravesar, caer, elevarse, girar, plano cenital vertical, extraer desde la superficie del agua, pasar por encima, levantarse.
- Cada segmento: 5-10 segundos; no incluyas más de 2 acciones de transformación por segmento, o es más probable que falle.
Paso 5: Composición final
- En CapCut, une los segmentos en orden (los segmentos generados con el método de primer/último fotograma casi no tienen costuras).
- Agrega subtítulos de monumentos (por ejemplo, "灵隐寺 LINYIN TEMPLE"), y música de percusión sincopada para los puntos clave.
- Usa
scripts/extract_frames.pypara extraer fotogramas del vídeo final y verificar que las uniones no tengan fallos; regenera el segmento si es necesario. - Exporta en formato vertical 9:16 (para aperturas de PPT se puede usar 16:9) e insértalo en la primera diapositiva para reproducción automática.
Puntos clave de interacción con el usuario
- Cuando el usuario solo proporcione el nombre de la ciudad: primero enumera de 4 a 6 monumentos de esa ciudad, confirma el orden de las escenas y el estilo de color con preguntas, luego pasa al Paso 2.
- Cuando el usuario proporcione fotos reales: primero confirma la dirección de estilización (proporciona 2 o 3 opciones de paleta para elegir).
- Cuando el usuario pida "el mismo caso que el de Hangzhou": muestra directamente las 4 imágenes de
assets/case-hangzhou/+ los prompts originales de las referencias, y solo reemplaza la ciudad para aplicarlo.
scripts/
extract_frames.py— Usa OpenCV para extraer fotogramas del vídeo a intervalos regulares y combinarlos en una cuadrícula de 9 con marcas de tiempo para inspeccionar las transiciones. Uso:python extract_frames.py <video.mp4> [directorio de salida] [número de fotogramas].palette_unify.py— Unifica un lote de imágenes generadas a la paleta de póster rojo, blanco y negro, eliminando diferencias de color en el cielo/suelo para evitar saltos de color en las transiciones. Uso:python palette_unify.py <in.png> <out.png>.palette_recolor.py— Cambia el tono general del póster según un esquema (bluegoldazul dorado nuclear /darkredburdeos oscuro). Nota: para cambiar a un estilo oscuro, es mejor volver a dibujar con IA; el remapeo de brillo local no puede distinguir entre "cielo blanco" y "edificio blanco", lo que puede sobreexponer en bloques blancos. Ver detalles enreferences/color-themes.md.assemble_video.py— Composición final: recorta las marcas de agua de IA, aplica fundidos cruzados entre segmentos para eliminar costuras, y superpone el título principal en chino y los subtítulos de monumentos. Uso:python assemble_video.py <out.mp4> <seg1.mp4> [seg2.mp4 ...] [--w 1920] [--h 1080] [--accent gold|white|red].--accentcontrola el color de los subtítulos (gold=champán, white=blanco, red=burdeos).
Temas de color
Los tres temas completos (póster plano rojo, blanco y negro / azul dorado nuclear oscuro / burdeos oscuro) con sus palabras de estilo, proporciones de color y lista de acciones de cambio de estilo están en references/color-themes.md. Cambiar de estilo = regenerar 4 fotogramas clave + reemplazar las palabras de color en los prompts de los 4 segmentos; cuesta poco (unas 30-40 créditos por 4 imágenes) y el resultado es mucho mejor que el cambio de color local.
Advertencias sobre parámetros de herramientas de generación (probadas)
- Los modelos de vídeo solo aceptan resoluciones
768P/2K;1080pgenera un error directamente. - Los modelos de vídeo generan una pista de audio de forma forzada; pasar
enable_audio: falsegenera un error; simplemente no lo pases (ese campo solo es compatible con algunos modelos). - La marca de agua "Generado por IA" en los vídeos está en la esquina superior izquierda (en fotogramas estáticos, en la esquina inferior derecha); al componer, recorta los bordes superior e inferior según corresponda.
- Ocasionalmente, el mismo prompt devuelve un error
requires prompt; simplemente reinténtalo.
Recursos
references/
prompt-patterns.md— Plantillas de frases para prompts, banco de verbos de transformación, banco de movimientos de cámara, y los prompts originales completos del caso de Hangzhou. Léelo antes de escribir prompts.
scripts/
- Ver arriba.
assets/
case-hangzhou/— Cuatro imágenes de referencia estilizadas del caso de Hangzhou (Puente de membrana tensada, Pagoda Leifeng, Estadio del Loto de la Puerta de Hangzhou, Pagoda Leifeng con cielo rojo), como demostración de estilo y composición.case-ncepu/— Cuatro imágenes estilizadas del caso del campus de la Universidad Eléctrica del Norte de China en Pekín (bucle de puente arqueado, edificio principal con cielo rojo, panorama del campus, esqueleto de membrana roja), que pueden usarse como plantilla de composición para demandas de tipo "monumento urbano/campus".