Communitygithub.com

ZJU-REAL/Easel

AI 影片生成:文字轉影片 / 圖片轉影片 / 數位人首幀驅動。透過可插拔提供者(通義萬相 Wan / 火山 Seedance / 快手可靈 / OpenAI 相容)非同步生成影片,使用者自備 API 金鑰。

Easel 是什麼?

Easel 是一個專為 AI 代理設計的專業技能,讓開發者能直接從命令列或腳本呼叫多種頂尖的 AI 影片生成服務。它支援文字轉影片、圖片轉影片以及數位人頭像驅動,並採用模組化提供者架構,整合了阿里通義萬相、火山引擎 Seedance、快手可靈及 OpenAI 相容端點。使用者只需在 `.env` 檔案中設定自己的 API 金鑰,即可透過統一的 Python 腳本 (`ai_video.py`) 執行非同步任務提交、輪詢狀態並下載最終影片。此技能特別強調嚴格的配置檢查與畫幅確認流程,確保在付費生成前,使用者已明確指定所有必要參數,避免資源浪費。此外,它還包含先進的探查對話功能,用於測試模型是否能忠實產生特定台詞,這對於需要原生對白的短劇製作尤為重要。Easel 可與其他影片處理技能(如剪輯、字幕、配音)無縫串接,形成完整的自動化影片生產管線。

相容平台~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/ai-video-gen

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

AI 影片生成

文字轉影片 / 圖片轉影片 / 數位人首幀驅動。封裝 shared/scripts/ai_video.py,多提供者可插拔、非同步提交→輪詢→下載。使用者自備 API 金鑰(在 .env 設定)。

前置:設定 API 金鑰

設定檢查路徑鐵則:先 cd 到 AGENTS.md 結尾給出的 Easel 專案根目錄,確認當前目錄有 .env 和 skills/shared/scripts/,再執行註冊表、check 或生成命令。不得改用工作區的 ./shared/scripts/...,也不得以 env / printenv 沒顯示變數為由判斷未設定。

先選提供者並在 .env 填入對應金鑰,然後 check 離線校驗:

python skills/shared/scripts/ai_video.py check --provider dashscope
provider服務需在 .env 設定
dashscope阿里通義萬相 WanDASHSCOPE_API_KEY(可選 DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL;相容舊名 DASHSCOPE_MODEL)
ark火山引擎 SeedanceARK_API_KEY(可選 ARK_MODEL/ARK_BASE_URL)
kling快手可靈KLING_ACCESS_KEY + KLING_SECRET_KEY(JWT 鑑權)
openai-compatible通用 /videos 端點VIDEO_API_KEY + VIDEO_BASE_URL(可選 VIDEO_MODEL)
xhs-maas小紅書內網 MaaS(happyhorse 文/圖生影片)XHS_MAAS_API_KEY(可選 XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL)。DashScope 風格非同步 + api-key 標頭,內網直連
agnesAgnes(agnes-video-2.5-flash)AGNES_API_KEY(可選 AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE)。OpenAI Videos 相容建立 + 自訂端點輪詢;預設帶原生音訊(prompt 描述聲音);外網走代理

也可設定 VIDEO_PROVIDER 免去每次 --provider。

執行前先跑 model_registry.py configured --group video --env-file .env:只有一個可用就明確選它;多個可用且使用者沒點名時,列出 provider/模型詢問本次使用哪個,不按預設值擅自選擇。

輸入

畫幅確認硬門:使用者或上游任務未明確橫版/豎版(或 16:9/9:16/具體比例)時,任何生成/付費呼叫前必須追問並等確認;不得從平台、Profile 或腳本預設值靜默推斷。已明確則不重複問。

  • 文生影片:畫面/鏡頭/風格描述(prompt)
  • 圖生影片:一張輸入圖(本地路徑或 URL)+ 可選運動描述
  • 可選:時長 --duration、畫幅 --ratio(16:9 / 9:16 / 1:1)、模型 --model、原生音訊 --audio auto|on|off

輸出

生成的影片檔案;必須用 -o 指定到 outputs/主題名/。非同步任務自動輪詢到完成再下載。

執行步驟

  1. 確認設定與能力:先執行 check,再執行 capabilities --provider <p> --model <m>。短劇不得根據品牌名猜測模型是否支援原生音訊;新模型用 VIDEO_CAPABILITIES_JSON 登記能力和請求欄位,無需修改呼叫流程。
    • probe-dialogue(短劇用):真發 1 次生成 + ASR,測試該模型能否逐字忠實說出指定台詞,判 dialogue_faithful 並快取——短劇據此決定用原生對白,還是「無台詞生成 + 後期配音」。用法 probe-dialogue --provider <p> --model <m>。
  2. 寫好 prompt:AI 影片對 prompt 敏感,按 AI 影片提示詞規範 寫鏡頭、運鏡、風格與時長。豎版短影片用 --ratio 9:16。
  3. 文生影片:
    python skills/shared/scripts/ai_video.py text2video --provider dashscope \
      --prompt "海邊日落,慢鏡頭推進,暖色調,電影感" --ratio 9:16 --duration 5 \
      --audio auto \
      -o outputs/主題名/clip.mp4
    
  4. 圖生影片 / 讓圖動起來 / 數位人首幀:
    python skills/shared/scripts/ai_video.py image2video --provider kling \
      --image outputs/主題名/cover.png --prompt "人物微笑揮手,頭髮輕微飄動" \
      -o outputs/主題名/clip.mp4
    
  5. 後續加工:生成的片段可交給 video_ops.py(拼接/加字幕/加 BGM/橫豎轉)、auto-subtitle(字幕)、tts-voiceover(配音)串成成片,或直接進 auto-short-video 端到端流程。

Profile 感知

  • 有 Profile:從 style.md 取視覺風格傾向注入 prompt;platforms.md 只用於給出畫幅建議,不能替代使用者確認。
  • 無 Profile:先確認橫版/豎版,再按已確認比例生成。

注意

  • 影片生成 API 均為非同步且耗時較長(數十秒到數分鐘)+ 按量計費,先與使用者確認。
  • 各 provider 的 model 名/欄位各版本有差異,均可用 --model 或 env 覆蓋;如報錯對照官方最新文件調整。
  • --audio auto 只按 capability profile 映射已知欄位;能力聲明不等於品質保證,下載後仍須 ffprobe/ASR/視覺審計。閘道預設有聲但開關欄位未知時,不猜測注入參數。

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

相關技能