Communitygithub.com

ZJU-REAL/Easel

AI 영상 생성: 텍스트-투-비디오 / 이미지-투-비디오 / 디지털 휴먼 첫 프레임 구동. 플러그형 프로바이더(통의완상 Wan / 화산 Seedance / 쾌수컬링 / OpenAI 호환)를 통해 비동기로 영상을 생성하며, 사용자가 API 키를 직접 준비합니다.

Easel란 무엇인가요?

Easel은 AI 기반 영상 생성 스킬로, 텍스트-투-비디오(T2V), 이미지-투-비디오(I2V), 디지털 휴먼 첫 프레임 구동을 지원합니다. 플러그형 프로바이더 아키텍처를 통해 DashScope(통의완상 Wan), Volcengine Ark(Seedance), Kling, OpenAI 호환 엔드포인트 등 다양한 서비스를 유연하게 전환할 수 있습니다. 생성 과정은 완전 비동기로 진행되며, 작업 제출 후 자동 폴링과 다운로드가 이루어져 효율성을 높입니다. 사용자는 .env 파일에 API 키를 직접 구성하고, check 명령어로 오프라인 검증을 수행할 수 있습니다. 비디오의 종횡비, 길이, 오디오 여부 등 다양한 매개변수를 지원하며, 생성된 클립은 비디오 편집, 자막, TTS 음성 해설 등과 같은 후속 처리 워크플로우와 원활하게 통합됩니다.

지원 대상~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/ai-video-gen

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

AI 영상 생성

텍스트-투-비디오 / 이미지-투-비디오 / 디지털 휴먼 첫 프레임 구동. shared/scripts/ai_video.py를 캡슐화하며, 플러그형 프로바이더, 비동기 제출→폴링→다운로드 방식. 사용자가 API 키를 직접 준비 (.env에 설정).

사전 준비: API 키 설정

설정 확인 경로 철칙: 먼저 cd로 AGENTS.md 끝에 명시된 Easel 프로젝트 루트로 이동하고, 현재 디렉토리에 .env와 skills/shared/scripts/가 있는지 확인한 후 레지스트리, check 또는 생성 명령을 실행합니다. 워크스페이스의 ./shared/scripts/...를 사용하거나 env/printenv에 변수가 표시되지 않는다는 이유로 설정되지 않았다고 판단하지 마십시오.

먼저 프로바이더를 선택하고 .env에 해당 키를 입력한 후, check로 오프라인 검증을 수행합니다:

python skills/shared/scripts/ai_video.py check --provider dashscope
프로바이더서비스.env에 설정해야 할 항목
dashscope알리바바 통의완상 WanDASHSCOPE_API_KEY (선택 사항: DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL; 이전 이름 DASHSCOPE_MODEL 호환)
ark볼크엔진 SeedanceARK_API_KEY (선택 사항: ARK_MODEL/ARK_BASE_URL)
kling쾌수 컬링KLING_ACCESS_KEY + KLING_SECRET_KEY (JWT 인증)
openai-compatible범용 /videos 엔드포인트VIDEO_API_KEY + VIDEO_BASE_URL (선택 사항: VIDEO_MODEL)
xhs-maas샤오홍슈 내부망 MaaS (happyhorse 텍스트/이미지-투-비디오)XHS_MAAS_API_KEY (선택 사항: XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL). DashScope 스타일 비동기 + api-key 헤더, 내부망 직접 연결
agnesAgnes (agnes-video-2.5-flash)AGNES_API_KEY (선택 사항: AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE). OpenAI Videos 호환 생성 + 커스텀 엔드포인트 폴링; 기본적으로 네이티브 오디오 포함 (프롬프트에서 사운드 설명); 외부망은 프록시 사용

또한 VIDEO_PROVIDER를 설정하면 매번 --provider를 입력하지 않아도 됩니다.

실행 전에 model_registry.py configured --group video --env-file .env를 먼저 실행하세요: 사용 가능한 프로바이더가 하나뿐이면 명시적으로 선택하고, 여러 개 있고 사용자가 특정 프로바이더를 지정하지 않은 경우, 기본값으로 임의로 선택하지 말고 프로바이더/모델 목록을 보여주고 이번에 사용할 것을 물어보세요.

입력

화면 비율 확인 필수: 사용자나 상위 작업이 가로/세로(또는 16:9/9:16/특정 비율)를 명확히 지정하지 않은 경우, 생성 또는 유료 호출 전에 반드시 질문하고 확인을 기다려야 합니다. 플랫폼, 프로필 또는 스크립트 기본값에서 묵시적으로 추론하지 마십시오. 이미 명확히 지정된 경우에는 반복해서 묻지 않습니다.

  • 텍스트-투-비디오: 장면/카메라 움직임/스타일 설명(프롬프트)
  • 이미지-투-비디오: 입력 이미지 하나(로컬 경로 또는 URL) + 선택적 움직임 설명
  • 선택 사항: 길이 --duration, 화면 비율 --ratio (16:9 / 9:16 / 1:1), 모델 --model, 네이티브 오디오 --audio auto|on|off

출력

생성된 비디오 파일; 반드시 -o를 사용하여 outputs/주제명/ 경로를 지정해야 합니다. 비동기 작업은 완료 시까지 자동으로 폴링한 후 다운로드합니다.

실행 단계

  1. 설정 및 기능 확인: 먼저 check를 실행한 후, capabilities --provider <p> --model <m>을 실행합니다. 단편 애니메이션의 경우 브랜드 이름만으로 모델이 네이티브 오디오를 지원하는지 추측하지 마십시오. 새 모델은 VIDEO_CAPABILITIES_JSON에 기능과 요청 필드를 등록하며, 호출 흐름을 수정할 필요가 없습니다.
    • probe-dialogue (단편 애니메이션용): 실제로 생성 1회 + ASR을 수행하여 해당 모델이 지정된 대사를 단어 단위로 충실하게 말할 수 있는지 테스트하고, dialogue_faithful을 판별하여 캐시합니다. 단편 애니메이션은 이를 기반으로 네이티브 대화를 사용할지, "대사 없는 생성 + 후반 더빙"을 사용할지 결정합니다. 사용법: probe-dialogue --provider <p> --model <m>.
  2. 프롬프트 작성: AI 비디오는 프롬프트에 민감하므로, AI 비디오 프롬프트 가이드라인에 따라 구도, 카메라 움직임, 스타일 및 길이를 작성합니다. 세로형 숏폼 비디오는 --ratio 9:16을 사용합니다.
  3. 텍스트-투-비디오:
    python skills/shared/scripts/ai_video.py text2video --provider dashscope \
      --prompt "해변 일몰, 느린 클로즈업, 따뜻한 톤, 영화 같은 느낌" --ratio 9:16 --duration 5 \
      --audio auto \
      -o outputs/주제명/clip.mp4
    
  4. 이미지-투-비디오 / 이미지 움직이기 / 디지털 휴먼 첫 프레임:
    python skills/shared/scripts/ai_video.py image2video --provider kling \
      --image outputs/주제명/cover.png --prompt "인물이 미소 지으며 손을 흔들고, 머리카락이 살짝 흔들림" \
      -o outputs/주제명/clip.mp4
    
  5. 후속 가공: 생성된 클립은 video_ops.py (이어붙이기/자막 추가/BGM 추가/가로세로 변환), auto-subtitle (자막), tts-voiceover (더빙)에 전달하여 최종 영상으로 조합하거나, auto-short-video 종단 간 워크플로우에 직접 투입할 수 있습니다.

프로필 인식

  • 프로필 있음: style.md에서 시각적 스타일 선호도를 가져와 프롬프트에 주입; platforms.md는 화면 비율 제안에만 사용되며, 사용자 확인을 대체할 수 없습니다.
  • 프로필 없음: 먼저 가로/세로를 확인한 후, 확인된 비율에 따라 생성합니다.

주의 사항

  • 비디오 생성 API는 모두 비동기이며 시간이 많이 소요되고 (수십 초에서 수 분) 사용량에 따라 과금되므로, 먼저 사용자와 확인하세요.
  • 각 프로바이더의 모델명/필드는 버전에 따라 다를 수 있으며, --model 또는 환경 변수로 재정의할 수 있습니다. 오류 발생 시 공식 최신 문서를 참조하여 조정하세요.
  • --audio auto는 기능 프로필에 따라 알려진 필드만 매핑합니다. 기능 선언이 품질을 보장하지는 않으므로, 다운로드 후에도 ffprobe/ASR/시각 감사를 수행해야 합니다. 게이트웨이에 기본적으로 오디오가 있지만 on/off 필드를 모르는 경우, 매개변수를 추측하여 주입하지 마십시오.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

音乐卡点视频 / 踩点视频:检测背景音乐的节拍,让图片或片段在节拍点上切换,配推进/白闪特效,做出燃系'卡点'短视频。当用户说 卡点视频、踩点视频、音乐卡点、节奏卡点、按音乐切换、鼓点视频、踩节奏、beat 卡点、图片卡点、卡点混剪 时使用。基于 shared/scripts/beatsync.py(librosa 节拍检测)。与 slideshow-video 区别:slideshow 每图固定时长、柔和转场,本 SKILL 切换点由音乐节拍决定、硬切踩点带特效。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

관련 스킬