Communitygithub.com

ZJU-REAL/Easel

Génération de vidéos par IA : texte vers vidéo, image vers vidéo, animation de première image pour avatar numérique. Utilise des fournisseurs enfichables (Wan, Seedance, Kling, OpenAI compatible) pour générer des vidéos de manière asynchrone. L'utilisateur fournit sa propre clé API.

Qu'est-ce que Easel ?

Ce skill permet de générer des vidéos à l'aide de l'intelligence artificielle, en prenant en charge les modes texte-vers-vidéo, image-vers-vidéo et animation de première image pour avatar numérique. Il encapsule le script `shared/scripts/ai_video.py` et s'appuie sur une architecture à fournisseurs enfichables (dashscope, ark, kling, openai-compatible, xhs-maas, agnes). Le processus de génération est asynchrone : soumission, puis interrogation jusqu'à obtention du résultat, et enfin téléchargement. L'utilisateur doit fournir ses propres clés API dans le fichier `.env` (par exemple `DASHSCOPE_API_KEY`, `ARK_API_KEY`, `KLING_ACCESS_KEY`, etc.). Le skill propose également des fonctions avancées comme `capabilities` pour lister les capacités d'un modèle, `probe-dialogue` pour tester la fidélité de la parole dans les dialogues (utile pour les séries courtes), et supporte les options `--duration`, `--ratio`, `--model` et `--audio`. Il est conçu pour s'intégrer dans des flux de production plus larges (montage, sous-titrage, voix off) et respecte les profils utilisateur via les fichiers `style.md` et `platforms.md`. Une attention particulière est portée à la confirmation du format d'image (paysage/portrait) avant tout appel coûteux.

Compatible avec~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/ai-video-gen

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Génération de vidéos par IA

Texte vers vidéo / Image vers vidéo / Animation de première image pour avatar numérique. Encapsule shared/scripts/ai_video.py, fournisseurs enfichables, soumission asynchrone → interrogation → téléchargement. L'utilisateur fournit sa propre clé API (configuration dans .env).

Prérequis : Configuration de la clé API

Règle absolue pour la vérification du chemin de configuration : D'abord cd vers la racine du projet Easel donnée à la fin du fichier AGENTS.md, confirmer que le répertoire courant contient .env et skills/shared/scripts/, puis exécuter le registre, la vérification (check) ou les commandes de génération. Ne pas utiliser ./shared/scripts/... de l'espace de travail, ni se baser sur l'absence de variables dans env / printenv pour conclure à une non-configuration.

Choisir d'abord un fournisseur et renseigner la clé correspondante dans .env, puis exécuter check pour une validation hors ligne :

python skills/shared/scripts/ai_video.py check --provider dashscope
FournisseurServiceConfiguration requise dans .env
dashscopeAlibaba Tongyi WanDASHSCOPE_API_KEY (optionnel DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL ; compatible avec l'ancien DASHSCOPE_MODEL)
arkVolcano Engine SeedanceARK_API_KEY (optionnel ARK_MODEL/ARK_BASE_URL)
klingKuaishou KlingKLING_ACCESS_KEY + KLING_SECRET_KEY (authentification JWT)
openai-compatibleEndpoint générique /videosVIDEO_API_KEY + VIDEO_BASE_URL (optionnel VIDEO_MODEL)
xhs-maasMaaS réseau interne Xiaohongshu (happyhorse texte/image vers vidéo)XHS_MAAS_API_KEY (optionnel XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). Style asynchrone DashScope + en-tête api-key, connexion directe au réseau interne
agnesAgnes (agnes-video-2.5-flash)AGNES_API_KEY (optionnel AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). Compatible OpenAI Videos pour la création + endpoint d'interrogation personnalisé ; audio natif par défaut (son décrit dans le prompt) ; accès via proxy pour le réseau externe

On peut aussi définir VIDEO_PROVIDER pour éviter de spécifier --provider à chaque fois.

Avant d'exécuter, lancer model_registry.py configured --group video --env-file .env : s'il n'y a qu'un seul fournisseur disponible, le sélectionner explicitement ; s'il y en a plusieurs et que l'utilisateur n'a pas précisé lequel, lister les fournisseurs/modèles et demander lequel utiliser pour cette fois, ne pas choisir par défaut de manière arbitraire.

Entrée

Règle impérative de confirmation du format d'image : Lorsque l'utilisateur ou la tâche en amont n'a pas précisé le format horizontale/vertical (ou 16:9/9:16/ratio spécifique), il est obligatoire de demander et d'attendre la confirmation avant tout appel de génération ou de facturation. Ne pas déduire silencieusement à partir de la plateforme, du profil ou des valeurs par défaut du script. Si déjà précisé, ne pas redemander.

  • Texte vers vidéo : description de la scène/du cadrage/du style (prompt)
  • Image vers vidéo : une image d'entrée (chemin local ou URL) + description facultative du mouvement
  • Options facultatives : durée --duration, format --ratio (16:9 / 9:16 / 1:1), modèle --model, audio natif --audio auto|on|off

Sortie

Fichier vidéo généré ; doit utiliser -o pour spécifier le chemin dans outputs/nom_du_sujet/. Les tâches asynchrones sont automatiquement interrogées jusqu'à leur achèvement avant le téléchargement.

Étapes d'exécution

  1. Confirmer la configuration et les capacités : D'abord exécuter check, puis exécuter capabilities --provider <p> --model <m>. Pour les séries courtes, ne pas deviner si le modèle prend en charge l'audio natif en se basant sur le nom de la marque ; les nouveaux modèles doivent utiliser VIDEO_CAPABILITIES_JSON pour enregistrer les capacités et les champs de requête, sans modifier le flux d'appel.
    • probe-dialogue (pour les séries courtes) : Envoyer réellement 1 génération + ASR, pour tester si le modèle peut fidèlement reproduire mot pour mot un dialogue spécifié, déterminer dialogue_faithful et mettre en cache — les séries courtes décident ensuite d'utiliser le dialogue natif ou la "génération sans dialogue + postsynchronisation". Utilisation : probe-dialogue --provider <p> --model <m>.
  2. Rédiger le prompt : Les prompts sont critiques pour les vidéos IA. Suivre les règles de rédaction des prompts pour vidéo IA pour décrire le cadrage, le mouvement de caméra, le style et la durée. Pour les vidéos courtes verticales, utiliser --ratio 9:16.
  3. Texte vers vidéo :
    python skills/shared/scripts/ai_video.py text2video --provider dashscope \
      --prompt "Coucher de soleil en bord de mer, plan lent, tons chauds, ambiance cinématographique" --ratio 9:16 --duration 5 \
      --audio auto \
      -o outputs/nom_du_sujet/clip.mp4
    
  4. Image vers vidéo / Animation d'image / Première image d'avatar numérique :
    python skills/shared/scripts/ai_video.py image2video --provider kling \
      --image outputs/nom_du_sujet/cover.png --prompt "La personne sourit et fait signe de la main, les cheveux bougent légèrement" \
      -o outputs/nom_du_sujet/clip.mp4
    
  5. Post-traitement : Les clips générés peuvent être transmis à video_ops.py (assemblage/ajout de sous-titres/ajout de BGM/rotation paysage/portrait), auto-subtitle (sous-titres), tts-voiceover (voix off) pour former un produit fini, ou directement dans le flux de bout en bout auto-short-video.

Prise en compte du profil

  • Avec profil : Extraire les tendances de style visuel du fichier style.md et les injecter dans le prompt ; le fichier platforms.md est utilisé uniquement pour donner des suggestions de format, mais ne peut pas remplacer la confirmation de l'utilisateur.
  • Sans profil : D'abord confirmer le format horizontal/vertical, puis générer selon le format confirmé.

Remarques

  • Les API de génération vidéo sont toutes asynchrones et prennent beaucoup de temps (dizaines de secondes à plusieurs minutes) + facturation à l'usage, confirmer d'abord avec l'utilisateur.
  • Les noms de modèles/champs de chaque fournisseur varient selon les versions ; on peut utiliser --model ou les variables d'environnement pour les surcharger. En cas d'erreur, se référer à la documentation officielle la plus récente.
  • --audio auto ne fait que mapper les champs connus selon le profil de capacités ; la déclaration de capacité ne garantit pas la qualité. Après téléchargement, effectuer impérativement une vérification avec ffprobe/ASR/audit visuel. Lorsque la passerelle a du son par défaut mais que le champ de commutation est inconnu, ne pas deviner et injecter de paramètre.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Skills associés