Generación de video con IA
Texto a video / Imagen a video / Animación del primer fotograma de un personaje digital. Encapsula
shared/scripts/ai_video.py, con múltiples proveedores conectables, envío asíncrono → sondeo → descarga. El usuario proporciona su propia clave API (configurada en.env).
Requisito previo: Configurar la clave API
Regla estricta de verificación de ruta de configuración: Primero
cda la raíz del proyecto Easel indicada al final deAGENTS.md, confirma que el directorio actual contiene.envyskills/shared/scripts/, y luego ejecuta el registro,checko el comando de generación. No uses./shared/scripts/...del workspace, ni determines que no está configurado porqueenv/printenvno muestre la variable.
Elige primero un proveedor y completa la clave correspondiente en .env, luego ejecuta check para verificar sin conexión:
python skills/shared/scripts/ai_video.py check --provider dashscope
| Proveedor | Servicio | Variable en .env |
|---|---|---|
dashscope | Alibaba Tongyi Wan (通义万相) | DASHSCOPE_API_KEY (opcional DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL; compatible con nombres antiguos DASHSCOPE_MODEL) |
ark | Volcengine Seedance | ARK_API_KEY (opcional ARK_MODEL/ARK_BASE_URL) |
kling | Kuaishou Kling (可灵) | KLING_ACCESS_KEY + KLING_SECRET_KEY (autenticación JWT) |
openai-compatible | Endpoint genérico /videos | VIDEO_API_KEY + VIDEO_BASE_URL (opcional VIDEO_MODEL) |
xhs-maas | Xiaohongshu MaaS interno (happyhorse texto/imagen a video) | XHS_MAAS_API_KEY (opcional XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). Estilo asíncrono de DashScope + cabecera api-key, conexión directa a intranet |
agnes | Agnes (agnes-video-2.5-flash) | AGNES_API_KEY (opcional AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). Creación compatible con OpenAI Videos + sondeo de endpoint personalizado; incluye audio nativo por defecto (el prompt describe el sonido); acceso a internet externo a través de proxy |
También puedes establecer VIDEO_PROVIDER para evitar tener que usar --provider cada vez.
Antes de ejecutar, corre model_registry.py configured --group video --env-file .env: si solo hay uno disponible, selecciona ese explícitamente; si hay varios disponibles y el usuario no ha especificado ninguno, lista los proveedores/modelos y pregunta cuál usar esta vez, no elijas por defecto sin consultar.
Entrada
Regla estricta de confirmación de relación de aspecto: Cuando el usuario o la tarea upstream no haya especificado claramente si es horizontal/vertical (o 16:9/9:16/proporción concreta), debes preguntar y esperar confirmación antes de cualquier llamada de generación/pago; no infieras silenciosamente desde la plataforma, el perfil o el valor por defecto del script. Si ya está claro, no preguntes de nuevo.
- Texto a video: descripción de la escena/encuadre/estilo (prompt)
- Imagen a video: una imagen de entrada (ruta local o URL) + descripción opcional del movimiento
- Opcionales: duración
--duration, relación de aspecto--ratio(16:9 / 9:16 / 1:1), modelo--model, audio nativo--audio auto|on|off
Salida
Archivo de video generado; debes usar -o para especificar la ruta en outputs/nombre_del_tema/. Las tareas asíncronas sondean automáticamente hasta que se completan y luego se descargan.
Pasos de ejecución
- Confirmar configuración y capacidades: Primero ejecuta
check, luegocapabilities --provider <p> --model <m>. En cortometrajes, no adivines si el modelo soporta audio nativo basándote en el nombre de la marca; los modelos nuevos usanVIDEO_CAPABILITIES_JSONpara registrar capacidades y campos de solicitud, sin necesidad de modificar el flujo de llamada.probe-dialogue(para cortometrajes): realiza 1 generación real + ASR para probar si el modelo puede decir el texto indicado al pie de la letra, determinadialogue_faithfuly lo almacena en caché — los cortometrajes deciden así si usar diálogo nativo o "generación sin diálogo + doblaje posterior". Uso:probe-dialogue --provider <p> --model <m>.
- Escribir el prompt: Los videos de IA son sensibles al prompt, sigue la Guía de prompts para video con IA para escribir encuadre, movimiento de cámara, estilo y duración. Para videos verticales cortos usa
--ratio 9:16. - Texto a video:
python skills/shared/scripts/ai_video.py text2video --provider dashscope \ --prompt "Atardecer en la playa, cámara lenta, tonos cálidos, estilo cinematográfico" --ratio 9:16 --duration 5 \ --audio auto \ -o outputs/nombre_del_tema/clip.mp4 - Imagen a video / animar imagen / primer fotograma de personaje digital:
python skills/shared/scripts/ai_video.py image2video --provider kling \ --image outputs/nombre_del_tema/cover.png --prompt "La persona sonríe y agita la mano, el cabello se mueve ligeramente" \ -o outputs/nombre_del_tema/clip.mp4 - Post-procesamiento: Los clips generados se pueden pasar a
video_ops.py(unión/añadir subtítulos/añadir BGM/rotación horizontal-vertical),auto-subtitle(subtítulos),tts-voiceover(doblaje) para componer el producto final, o directamente al flujo de extremo a extremoauto-short-video.
Conciencia del perfil
- Con perfil: Toma las preferencias de estilo visual de
style.mde inyéctalas en el prompt;platforms.mdsolo se usa para dar sugerencias de relación de aspecto, no puede reemplazar la confirmación del usuario. - Sin perfil: Primero confirma si es horizontal o vertical, luego genera según la proporción confirmada.
Notas
- Las API de generación de video son todas asíncronas y tardan bastante (decenas de segundos a varios minutos) + se cobran por uso, confirma primero con el usuario.
- Los nombres de modelo/campos de cada proveedor varían según la versión, todos se pueden sobrescribir con
--modelo variables de entorno; si hay errores, consulta la documentación oficial más reciente del modelo. --audio autosolo mapea campos conocidos según el perfil de capacidad; la declaración de capacidad no es garantía de calidad, después de la descarga aún se debe auditar con ffprobe/ASR/inspección visual. Si la puerta de enlace tiene audio por defecto pero el campo de control es desconocido, no infieras ni inyectes parámetros.