Communitygithub.com

ZJU-REAL/Easel

Erstelle mitreißende Beat-Sync-Videos: Erkenne den Takt der Hintergrundmusik und wechsle Bilder oder Clips genau auf den Beat mit Effekten wie Zoom und White Flash.

Was ist Easel?

Diese Fertigkeit ermöglicht es einem KI-Agenten, aus einer Reihe von Bildern oder kurzen Videoclips und einem Musikstück automatisch ‚Beat-Sync‘-Videos (auch als ‚Kadenz-Videos‘ bekannt) zu erstellen. Der Kern der Fertigkeit ist ein gemeinsam genutztes Python-Skript (`beatsync.py`), das die Bibliothek librosa verwendet, um die Schlagmomente der Musik präzise zu erkennen. Die Bilder wechseln dann hart auf diese Schläge, begleitet von wählbaren Effekten wie Zoom (Heranzoomen) oder White Flash (weißes Aufblitzen), um einen energiegeladenen, schnellen und dynamischen Videostil zu erzeugen. Anders als ein einfaches Dia-Shows-Video, das Bilder in festen Abständen mit sanften Übergängen zeigt, erzwingt diese Fertigkeit, dass jeder Schnitt mit einem Musikschlag zusammenfällt, was einen starken visuell-rhythmischen Effekt erzeugt. Der Agent kann die Schlagdichte (z. B. alle 2 Schläge) und die Dauer des Endvideos steuern, wobei fehlendes Bildmaterial automatisch in einer Schleife wiederholt wird. Die endgültige Ausgabe ist eine MP4-Datei, die im Projektverzeichnis gespeichert wird, wobei der Agent auch das Seitenverhältnis (Quer-/Hochformat) mit dem Benutzer klären muss.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/beat-sync-video

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Musik-Beat-Sync-Video (Beat-Mashup)

Erkenne mit librosa die Schläge der Hintergrundmusik, schneide das Bildmaterial hart auf die Schläge und füge Schlageffekte hinzu, um ein energiegeladenes Beat-Sync-Kurzvideo zu erstellen. Das Skript skills/shared/scripts/beatsync.py wird für alles verwendet: Zähle Schläge nicht von Hand und füge keine Filter manuell hinzu – das Skript erledigt Beat-Erkennung, Intervallaufteilung, Material-Looping und Audio-Video-Synchronisation.

Für eine sanfte Diashow mit fester Bilddauer siehe slideshow-video; für ein Thema → AI-Bildunterschrift-Sprachausgabe-Film siehe auto-short-video.

Eingabe

FeldErforderlichBeschreibung
HintergrundmusikJaDie Musikdatei, die den Takt vorgibt (je stärker der Rhythmus, desto besser; wenn nicht angegeben, nachfragen)
MaterialJaEin Satz Bilder und/oder kurze Clips (in Reihenfolge, werden in einer Schleife verwendet) oder ein Verzeichnis
SeitenverhältnisJaWenn der Benutzer oder die übergeordnete Aufgabe nicht explizit Quer- oder Hochformat (oder eine bestimmte Auflösung) angibt, muss vor der Erstellung nachgefragt werden und auf Bestätigung gewartet werden; darf nicht stillschweigend auf Basis von Plattform, Profil oder Standardwert bestimmt werden; bei eindeutiger Angabe nicht erneut nachfragen
WechselfrequenzNeinAlle wie viele Schläge wechseln (Standard: alle 2 Schläge)
EffektNeinzoom (Standard, Heranzoomen) / flash (weißes Aufblitzen) / none

Ausgabe (outputs/ThemeName/)

  • Beat-Sync-Film (*.mp4)
  • Bericht: Anzahl der Beat-Segmente, Gesamtlänge, erkanntes BPM, Effekt

Ausführungsschritte

Skriptpfad (relativ zum Projektstamm): skills/shared/scripts/beatsync.py (build -h / beats -h).

1. (Optional) Schläge zuerst ansehen

python skills/shared/scripts/beatsync.py beats --music <Musik>
# Gibt Tempo (BPM) und Schlagzeitpunkte aus, um zu entscheiden, welcher --every-Wert sinnvoll ist

2. Beat-Sync-Video generieren

python skills/shared/scripts/beatsync.py build \
  -i 1.jpg 2.jpg 3.jpg 4.jpg --music <Musik> \
  -o outputs/ThemeName/show.mp4 \
  --size 1080x1920 --every 2 --effect zoom
  • Material = Bilder oder kurze Clips, kann weniger als die Anzahl der Beat-Segmente sein (automatische Wiederverwendung in einer Schleife).
  • --every 1: Bei jedem Schlag wechseln (Schnellschnitt, benötigt mehr Material); --every 4: Bei jedem Takt wechseln (ruhiger).
  • --effect flash: Weißes Aufblitzen zu Beginn eines Segments für mehr Energie; --effect none: Sauberer, harter Schnitt.
  • --max-duration 15: Begrenze die Filmlänge (z. B. für ein 15-Sekunden-TikTok).
  • Auch --images-dir <Verzeichnis> möglich, um Material stapelweise einzufügen (nach Dateinamen sortiert).

Profil-Erkennung

  • Mit Profil: platforms.md dient nur zur Seitenverhältnis-Empfehlung, Bestätigung des Benutzers erforderlich; Beat-Stil (schnell/ruhig) und Effekt passen zur Konto-Ästhetik (Trend-/Sportkonten neigen zu schnellem flash, Lifestyle-/Heilungskonten neigen zu ruhigem zoom).
  • Ohne Profil: Zuerst Quer-/Hochformat klären; Standard: alle 2 Schläge, zoom-Effekt.

Regeln

  1. Je klarer der Musikrhythmus, desto präziser die Beat-Erkennung; bei fehlendem deutlichem Takt fällt das Skript automatisch auf gleichmäßige Intervalle zurück und vermerkt dies im Bericht.
  2. Beat-Schnitte sind harte Schnitte (keine Überblendungen), sonst geht der Beat-Effekt verloren – das ist beabsichtigt.
  3. Bei zu wenig Material wird automatisch wiederholt; bei ausreichend Material wird --every 1~2 empfohlen, damit jedes Segment ein neues Bild erhält.
  4. Die Filmlänge entspricht standardmäßig der Musiklänge; mit --max-duration auf Plattform-Länge begrenzen.
  5. Ausgabe immer in outputs/ThemeName/.

Referenz

Die Beat-Erkennung verwendet librosas beat_track (Onset-Stärke + dynamische Programmierung zum Finden von Schlägen); das harte Schneiden von Bildern auf Schläge ist die Standardmethode für Beat-Mashups. Die Verarbeitung von Schlag → Intervall → segmentweises Rendern → Audio-Video-Synchronisation wird in ein deterministisches Skript gekapselt, um manuelles Zählen und Nicht-Ausrichten zu vermeiden.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

Verwandte Skills