Communitygithub.com

ZJU-REAL/Easel

KI-Videogenerierung: Text-zu-Video, Bild-zu-Video, digitale Mensch-Erstbild-Ansteuerung. Nutzt austauschbare Provider (Tongyi Wanxiang Wan / Volcano Seedance / Kuaishou Kling / OpenAI-kompatibel) zur asynchronen Videogenerierung mit eigenem API-Key des Benutzers.

Was ist Easel?

Easel ist eine KI-gestützte Videogenerierungskompetenz, die es ermöglicht, aus Texteingaben, Bildern oder dem ersten Frame eines digitalen Menschen Videos zu erstellen. Es unterstützt mehrere austauschbare Provider wie Alibaba Tongyi Wanxiang (Wan), Volcano Engine Seedance, Kuaishou Kling sowie OpenAI-kompatible Schnittstellen. Der Benutzer muss seinen eigenen API-Key in der `.env`-Datei konfigurieren. Der Workflow ist asynchron: Nach dem Einreichen einer Aufgabe wird der Status abgefragt, bis das Video fertig ist, und dann heruntergeladen. Die Kompetenz automatisiert die promptbasierte Videogenerierung, die Prüfung der Provider-Funktionen (z. B. ob das Modell Originalaudio unterstützt) und die Auswahl der optimalen Parameter wie Seitenverhältnis, Dauer und Audiokonfiguration. Ein besonderes Merkmal ist die `probe-dialogue`-Funktion für Kurzfilme, die testet, ob ein Modell einen bestimmten Dialog wortgetreu aussprechen kann, um dann die Entscheidung zwischen nativer Sprachausgabe und späterer Synchronisation zu treffen. Die generierten Videoclips können nachgelagert mit anderen Skills wie `video_ops.py` (Schnitt, Untertitel, BGM) oder `auto-short-video` (End-to-End-Kurzfilm) weiterverarbeitet werden.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/ai-video-gen

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

KI-Videogenerierung

Text-zu-Video / Bild-zu-Video / Digitale-Mensch-Erstbild-Ansteuerung. Kapselt shared/scripts/ai_video.py, austauschbare Provider, asynchrones Einreichen → Abfragen → Herunterladen. Der Benutzer stellt seinen API-Key selbst bereit (in .env konfigurieren).

Voraussetzung: API-Key konfigurieren

Eiserne Regel für den Konfigurationspfad: Zuerst in das Projektverzeichnis wechseln (das am Ende von AGENTS.md angegeben ist) und sicherstellen, dass .env und skills/shared/scripts/ vorhanden sind. Dann das Registry-Skript, check oder die Generierungsbefehle ausführen. Nicht auf ./shared/scripts/... des Workspaces ausweichen, und nicht mit env / printenv argumentieren, dass keine Variablen gesetzt seien.

Zunächst den Provider auswählen und den entsprechenden Schlüssel in .env eintragen, dann offline mit check validieren:

python skills/shared/scripts/ai_video.py check --provider dashscope
ProviderDienstErforderliche .env-Einträge
dashscopeAlibaba Tongyi Wanxiang WanDASHSCOPE_API_KEY (optional DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL; kompatibel mit altem Namen DASHSCOPE_MODEL)
arkVolcano Engine SeedanceARK_API_KEY (optional ARK_MODEL/ARK_BASE_URL)
klingKuaishou KlingKLING_ACCESS_KEY + KLING_SECRET_KEY (JWT-Authentifizierung)
openai-compatibleAllgemeiner /videos-EndpunktVIDEO_API_KEY + VIDEO_BASE_URL (optional VIDEO_MODEL)
xhs-maasXiaohongshu internes MaaS (happyhorse Text-/Bild-zu-Video)XHS_MAAS_API_KEY (optional XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). DashScope-artig asynchron + api-key-Header, internes Netz direkt
agnesAgnes (agnes-video-2.5-flash)AGNES_API_KEY (optional AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). OpenAI Videos kompatibel: Erstellung + benutzerdefinierter Endpunkt für Abfragen; Standardmäßig mit nativem Audio (Prompt beschreibt den Klang); externes Netz über Proxy

Es kann auch VIDEO_PROVIDER gesetzt werden, um die Angabe von --provider jedes Mal zu vermeiden.

Vor der Ausführung zuerst model_registry.py configured --group video --env-file .env laufen lassen: Wenn nur ein Provider verfügbar ist, diesen explizit wählen; bei mehreren verfügbaren und der Benutzer hat keinen bestimmten gewünscht, die Provider/Modelle auflisten und den Benutzer fragen, welcher diesmal verwendet werden soll, nicht stillschweigend nach Standardwert wählen.

Eingabe

Unverzichtbare Seitenverhältnis-Bestätigung: Wenn der Benutzer oder die übergeordnete Aufgabe nicht explizit Querformat/Hochformat (oder 16:9/9:16/ein bestimmtes Verhältnis) angegeben haben, muss vor jedem Generierungs- oder Bezahlaufruf nachgefragt und eine Bestätigung abgewartet werden; nicht stillschweigend aus der Plattform, dem Profil oder Skript-Standardwerten ableiten. Ist es bereits geklärt, nicht erneut fragen.

  • Text-zu-Video: Beschreibung der Szene/Kameraführung/Style (Prompt)
  • Bild-zu-Video: Ein Eingabebild (lokaler Pfad oder URL) + optionale Bewegungsbeschreibung
  • Optional: Dauer --duration, Seitenverhältnis --ratio (16:9 / 9:16 / 1:1), Modell --model, natives Audio --audio auto|on|off

Ausgabe

Generierte Videodateien; müssen mit -o in outputs/ThemaName/ angegeben werden. Asynchrone Aufgaben werden automatisch bis zur Fertigstellung abgefragt und dann heruntergeladen.

Ausführungsschritte

  1. Konfiguration und Fähigkeiten prüfen: Zuerst check ausführen, dann capabilities --provider <p> --model <m>. Kurzfilme dürfen nicht aufgrund des Markennamens raten, ob ein Modell natives Audio unterstützt; neue Modelle verwenden VIDEO_CAPABILITIES_JSON, um Fähigkeiten und Anforderungsfelder zu registrieren, ohne den Aufrufablauf zu ändern.
    • probe-dialogue (für Kurzfilme): Wirklich 1 Generierung + ASR durchführen, um zu testen, ob das Modell einen bestimmten Dialog wortgetreu wiedergeben kann; dialogue_faithful ermitteln und cachen – Kurzfilme entscheiden daraufhin, ob nativer Dialog oder „Dialoglos generieren + nachträgliche Synchronisation“ verwendet wird. Verwendung: probe-dialogue --provider <p> --model <m>.
  2. Prompt schreiben: KI-Video ist promptempfindlich; Befolgen Sie die KI-Video-Prompting-Richtlinien für Kamera, Kameraführung, Stil und Dauer. Für vertikale Kurzvideos --ratio 9:16 verwenden.
  3. Text-zu-Video:
    python skills/shared/scripts/ai_video.py text2video --provider dashscope \
      --prompt "Sonnenuntergang am Meer, langsamer Zoom, warme Farbtöne, filmisch" --ratio 9:16 --duration 5 \
      --audio auto \
      -o outputs/ThemaName/clip.mp4
    
  4. Bild-zu-Video / Bild animieren / Digitaler-Mensch-Erstbild:
    python skills/shared/scripts/ai_video.py image2video --provider kling \
      --image outputs/ThemaName/cover.png --prompt "Person lächelt und winkt, Haar weht leicht" \
      -o outputs/ThemaName/clip.mp4
    
  5. Nachbearbeitung: Generierte Clips können an video_ops.py (Schnitt/Untertitel/BGM/Hoch-Quer-Format-Umwandlung), auto-subtitle (Untertitel), tts-voiceover (Synchronisation) übergeben werden, um zu einem fertigen Video zusammengesetzt zu werden, oder direkt in den End-to-End-Workflow auto-short-video gehen.

Profil-Erkennung

  • Mit Profil: Aus style.md die visuelle Stil-Präferenz entnehmen und in den Prompt einfließen lassen; platforms.md wird nur für Seitenverhältnis-Empfehlungen verwendet, kann nicht die Bestätigung des Benutzers ersetzen.
  • Ohne Profil: Zuerst Hoch-/Querformat bestätigen lassen, dann im bestätigten Verhältnis generieren.

Hinweise

  • Die Video-Generierungs-APIs sind alle asynchron und zeitaufwändig (Dutzende Sekunden bis mehrere Minuten) + nutzungsabhängig abgerechnet, vorher mit dem Benutzer abstimmen.
  • Modellnamen/-Felder der verschiedenen Provider variieren je nach Version; können alle mit --model oder Umgebungsvariablen überschrieben werden; bei Fehlern die offizielle aktuellste Dokumentation des Providers konsultieren.
  • --audio auto ordnet nur bekannte Felder gemäß dem Capability-Profil zu; eine Capability-Erklärung ist keine Qualitätsgarantie; nach dem Download muss dennoch mit ffprobe/ASR/visueller Prüfung auditiert werden. Wenn das Gateway standardmäßig Audio hat, aber das Ein-/Ausschalt-Feld unbekannt ist, keine Parameter raten und einfügen.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Verwandte Skills