Communitygithub.com

ZJU-REAL/Easel

Generación de video con IA: texto a video, imagen a video, animación de personajes digitales. Usa proveedores conectables (Wan, Seedance, Kling, OpenAI compatible) para generar videos de forma asíncrona; el usuario proporciona su propia clave API.

¿Qué es Easel?

Easel es una skill especializada en generación de video mediante inteligencia artificial, diseñada para agentes como Claude Code, Cursor o Codex. Permite crear videos desde texto, desde una imagen inicial, o animar el primer fotograma de un personaje digital (digital human). Soporta múltiples proveedores de API de video (通义万相 Wan de Alibaba, Seedance de Volcengine, Kling de Kuaishou, y endpoints compatibles con OpenAI), todos ellos configurables a través de variables de entorno. El flujo de trabajo es completamente asíncrono: se envía una solicitud, se sondea el estado hasta que el video esté listo y luego se descarga. La skill incluye verificaciones de configuración, detección de capacidades del modelo, y una función de prueba de fidelidad de diálogo para cortometrajes. Está pensada para ser utilizada en pipelines de producción de video, donde los clips generados pueden pasarse a otras herramientas de edición, subtitulado o voiceover. El usuario debe proporcionar sus propias claves API y confirmar aspectos como la relación de aspecto antes de realizar cualquier llamada que genere costos.

Compatible con~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/ai-video-gen

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Generación de video con IA

Texto a video / Imagen a video / Animación del primer fotograma de un personaje digital. Encapsula shared/scripts/ai_video.py, con múltiples proveedores conectables, envío asíncrono → sondeo → descarga. El usuario proporciona su propia clave API (configurada en .env).

Requisito previo: Configurar la clave API

Regla estricta de verificación de ruta de configuración: Primero cd a la raíz del proyecto Easel indicada al final de AGENTS.md, confirma que el directorio actual contiene .env y skills/shared/scripts/, y luego ejecuta el registro, check o el comando de generación. No uses ./shared/scripts/... del workspace, ni determines que no está configurado porque env / printenv no muestre la variable.

Elige primero un proveedor y completa la clave correspondiente en .env, luego ejecuta check para verificar sin conexión:

python skills/shared/scripts/ai_video.py check --provider dashscope
ProveedorServicioVariable en .env
dashscopeAlibaba Tongyi Wan (通义万相)DASHSCOPE_API_KEY (opcional DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL; compatible con nombres antiguos DASHSCOPE_MODEL)
arkVolcengine SeedanceARK_API_KEY (opcional ARK_MODEL/ARK_BASE_URL)
klingKuaishou Kling (可灵)KLING_ACCESS_KEY + KLING_SECRET_KEY (autenticación JWT)
openai-compatibleEndpoint genérico /videosVIDEO_API_KEY + VIDEO_BASE_URL (opcional VIDEO_MODEL)
xhs-maasXiaohongshu MaaS interno (happyhorse texto/imagen a video)XHS_MAAS_API_KEY (opcional XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). Estilo asíncrono de DashScope + cabecera api-key, conexión directa a intranet
agnesAgnes (agnes-video-2.5-flash)AGNES_API_KEY (opcional AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). Creación compatible con OpenAI Videos + sondeo de endpoint personalizado; incluye audio nativo por defecto (el prompt describe el sonido); acceso a internet externo a través de proxy

También puedes establecer VIDEO_PROVIDER para evitar tener que usar --provider cada vez.

Antes de ejecutar, corre model_registry.py configured --group video --env-file .env: si solo hay uno disponible, selecciona ese explícitamente; si hay varios disponibles y el usuario no ha especificado ninguno, lista los proveedores/modelos y pregunta cuál usar esta vez, no elijas por defecto sin consultar.

Entrada

Regla estricta de confirmación de relación de aspecto: Cuando el usuario o la tarea upstream no haya especificado claramente si es horizontal/vertical (o 16:9/9:16/proporción concreta), debes preguntar y esperar confirmación antes de cualquier llamada de generación/pago; no infieras silenciosamente desde la plataforma, el perfil o el valor por defecto del script. Si ya está claro, no preguntes de nuevo.

  • Texto a video: descripción de la escena/encuadre/estilo (prompt)
  • Imagen a video: una imagen de entrada (ruta local o URL) + descripción opcional del movimiento
  • Opcionales: duración --duration, relación de aspecto --ratio (16:9 / 9:16 / 1:1), modelo --model, audio nativo --audio auto|on|off

Salida

Archivo de video generado; debes usar -o para especificar la ruta en outputs/nombre_del_tema/. Las tareas asíncronas sondean automáticamente hasta que se completan y luego se descargan.

Pasos de ejecución

  1. Confirmar configuración y capacidades: Primero ejecuta check, luego capabilities --provider <p> --model <m>. En cortometrajes, no adivines si el modelo soporta audio nativo basándote en el nombre de la marca; los modelos nuevos usan VIDEO_CAPABILITIES_JSON para registrar capacidades y campos de solicitud, sin necesidad de modificar el flujo de llamada.
    • probe-dialogue (para cortometrajes): realiza 1 generación real + ASR para probar si el modelo puede decir el texto indicado al pie de la letra, determina dialogue_faithful y lo almacena en caché — los cortometrajes deciden así si usar diálogo nativo o "generación sin diálogo + doblaje posterior". Uso: probe-dialogue --provider <p> --model <m>.
  2. Escribir el prompt: Los videos de IA son sensibles al prompt, sigue la Guía de prompts para video con IA para escribir encuadre, movimiento de cámara, estilo y duración. Para videos verticales cortos usa --ratio 9:16.
  3. Texto a video:
    python skills/shared/scripts/ai_video.py text2video --provider dashscope \
      --prompt "Atardecer en la playa, cámara lenta, tonos cálidos, estilo cinematográfico" --ratio 9:16 --duration 5 \
      --audio auto \
      -o outputs/nombre_del_tema/clip.mp4
    
  4. Imagen a video / animar imagen / primer fotograma de personaje digital:
    python skills/shared/scripts/ai_video.py image2video --provider kling \
      --image outputs/nombre_del_tema/cover.png --prompt "La persona sonríe y agita la mano, el cabello se mueve ligeramente" \
      -o outputs/nombre_del_tema/clip.mp4
    
  5. Post-procesamiento: Los clips generados se pueden pasar a video_ops.py (unión/añadir subtítulos/añadir BGM/rotación horizontal-vertical), auto-subtitle (subtítulos), tts-voiceover (doblaje) para componer el producto final, o directamente al flujo de extremo a extremo auto-short-video.

Conciencia del perfil

  • Con perfil: Toma las preferencias de estilo visual de style.md e inyéctalas en el prompt; platforms.md solo se usa para dar sugerencias de relación de aspecto, no puede reemplazar la confirmación del usuario.
  • Sin perfil: Primero confirma si es horizontal o vertical, luego genera según la proporción confirmada.

Notas

  • Las API de generación de video son todas asíncronas y tardan bastante (decenas de segundos a varios minutos) + se cobran por uso, confirma primero con el usuario.
  • Los nombres de modelo/campos de cada proveedor varían según la versión, todos se pueden sobrescribir con --model o variables de entorno; si hay errores, consulta la documentación oficial más reciente del modelo.
  • --audio auto solo mapea campos conocidos según el perfil de capacidad; la declaración de capacidad no es garantía de calidad, después de la descarga aún se debe auditar con ffprobe/ASR/inspección visual. Si la puerta de enlace tiene audio por defecto pero el campo de control es desconocido, no infieras ni inyectes parámetros.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Skills relacionados