Communitygithub.com

ZJU-REAL/Easel

Geração de vídeo por IA: texto para vídeo, imagem para vídeo, animação de avatar a partir de um quadro inicial. Usa provedores plugáveis (Tongyi Wanxiang, Volcano Seedance, Kuaishou Kling, compatível com OpenAI) para gerar vídeos de forma assíncrona, com chave de API fornecida pelo usuário.

O que é Easel?

O ZJU-REAL/Easel é uma skill de geração de vídeo por IA que permite criar vídeos a partir de texto, imagem ou animar um avatar a partir de um único quadro inicial (first-frame drive). Suporta múltiplos provedores plugáveis, como Tongyi Wanxiang (DashScope), Volcano Engine Seedance, Kuaishou Kling e endpoints compatíveis com OpenAI Videos, todos de forma assíncrona com submissão, polling e download. O usuário deve configurar sua própria chave de API no arquivo `.env`. A skill lida com prompts detalhados, proporções de tela, duração e áudio nativo (quando suportado), e pode ser integrada a pipelines de pós-processamento como legendas, dublagem e edição. Ideal para desenvolvedores que precisam de geração de vídeo programática e flexível, com suporte a perfis de estilo e verificação de capacidades do modelo.

Funciona com~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/ai-video-gen

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Geração de Vídeo por IA

Geração de texto para vídeo, imagem para vídeo e animação de avatar a partir de um quadro inicial. Encapsula shared/scripts/ai_video.py com provedores plugáveis, submissão assíncrona → polling → download. O usuário fornece a própria chave de API (configurada em .env).

Pré-requisito: Configurar chave de API

Regra de ouro para verificação de caminho: Primeiro, navegue com cd até a raiz do projeto Easel indicada no final de AGENTS.md, confirme que o diretório atual contém .env e skills/shared/scripts/, e então execute o registro, check ou comandos de geração. Não use ./shared/scripts/... do workspace, nem julgue que não está configurado porque env / printenv não mostra as variáveis.

Escolha um provedor e preencha a chave correspondente no .env, depois execute check para validação offline:

python skills/shared/scripts/ai_video.py check --provider dashscope
provedorserviçoconfigurar em .env
dashscopeAlibaba Tongyi Wanxiang WanDASHSCOPE_API_KEY (opcional DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL; compatível com nome antigo DASHSCOPE_MODEL)
arkVolcano Engine SeedanceARK_API_KEY (opcional ARK_MODEL/ARK_BASE_URL)
klingKuaishou KlingKLING_ACCESS_KEY + KLING_SECRET_KEY (autenticação JWT)
openai-compatibleEndpoint genérico /videosVIDEO_API_KEY + VIDEO_BASE_URL (opcional VIDEO_MODEL)
xhs-maasMaaS interno Xiaohongshu (happyhorse texto/imagem para vídeo)XHS_MAAS_API_KEY (opcional XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). Assíncrono estilo DashScope + cabeçalho api-key, conexão direta interna
agnesAgnes (agnes-video-2.5-flash)AGNES_API_KEY (opcional AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). Compatível com criação OpenAI Videos + polling de endpoint customizado; áudio nativo por padrão (o prompt descreve o som); acesso externo via proxy

Também é possível definir VIDEO_PROVIDER para evitar usar --provider toda vez.

Antes de executar, rode model_registry.py configured --group video --env-file .env: se apenas um estiver disponível, selecione-o explicitamente; se múltiplos estiverem disponíveis e o usuário não especificou, liste os provedores/modelos e pergunte qual usar desta vez, não escolha por padrão.

Entrada

Regra obrigatória de confirmação de proporção: Quando o usuário ou tarefa upstream não especificar claramente se é horizontal/vertical (ou 16:9/9:16/proporção específica), pergunte e aguarde confirmação antes de qualquer chamada de geração ou pagamento; não infira silenciosamente a partir da plataforma, perfil ou valores padrão do script. Se já estiver claro, não repita a pergunta.

  • Texto para vídeo: descrição da cena/enquadramento/estilo (prompt)
  • Imagem para vídeo: uma imagem de entrada (caminho local ou URL) + descrição opcional de movimento
  • Opcional: duração --duration, proporção --ratio (16:9 / 9:16 / 1:1), modelo --model, áudio nativo --audio auto|on|off

Saída

Arquivo de vídeo gerado; deve usar -o para especificar o destino em outputs/nome_do_tema/. Tarefas assíncronas fazem polling automaticamente até a conclusão e então baixam.

Etapas de execução

  1. Confirmar configuração e capacidades: Primeiro execute check, depois execute capabilities --provider <p> --model <m>. Séries curtas não devem inferir se o modelo suporta áudio nativo apenas pelo nome da marca; novos modelos usam VIDEO_CAPABILITIES_JSON para registrar capacidades e campos de requisição, sem necessidade de modificar o fluxo de chamada.
    • probe-dialogue (para séries curtas): Envia 1 geração real + ASR para testar se o modelo pode dizer fielmente, palavra por palavra o diálogo especificado, determina dialogue_faithful e armazena em cache — séries curtas decidem com base nisso se usam diálogo nativo ou "geração sem fala + dublagem posterior". Uso: probe-dialogue --provider <p> --model <m>.
  2. Escrever o prompt: Vídeos por IA são sensíveis ao prompt; siga as diretrizes de prompting para vídeo IA para enquadramento, movimento, estilo e duração. Para vídeos curtos verticais, use --ratio 9:16.
  3. Texto para vídeo:
    python skills/shared/scripts/ai_video.py text2video --provider dashscope \
      --prompt "Pôr do sol na praia, câmera lenta, tons quentes, estética cinematográfica" --ratio 9:16 --duration 5 \
      --audio auto \
      -o outputs/nome_do_tema/clip.mp4
    
  4. Imagem para vídeo / animar imagem / avatar a partir de quadro inicial:
    python skills/shared/scripts/ai_video.py image2video --provider kling \
      --image outputs/nome_do_tema/cover.png --prompt "Pessoa sorrindo e acenando, cabelo balançando levemente" \
      -o outputs/nome_do_tema/clip.mp4
    
  5. Pós-processamento: Os clipes gerados podem ser passados para video_ops.py (montagem/legendas/BGM/rotação horizontal-vertical), auto-subtitle (legendas), tts-voiceover (dublagem) para compor o vídeo final, ou diretamente para o pipeline completo auto-short-video.

Reconhecimento de perfil

  • Com perfil: Obter tendência de estilo visual de style.md e injetar no prompt; platforms.md é usado apenas para sugerir proporção, não substitui a confirmação do usuário.
  • Sem perfil: Primeiro confirmar horizontal/vertical, depois gerar com a proporção confirmada.

Atenção

  • As APIs de geração de vídeo são assíncronas e demoradas (dezenas de segundos a minutos) + cobradas por uso, confirme com o usuário antes.
  • Os nomes de modelos/campos de cada provedor variam entre versões; todos podem ser sobrescritos com --model ou env. Em caso de erro, consulte a documentação oficial mais recente para ajustes.
  • --audio auto apenas mapeia campos conhecidos conforme o perfil de capacidade; declaração de capacidade não garante qualidade; após o download, ainda é necessário ffprobe/ASR/auditoria visual. Se o gateway tiver áudio por padrão mas o campo de controle for desconhecido, não injete parâmetros por suposição.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Habilidades Relacionadas