Communitygithub.com

ZJU-REAL/Easel

音楽のビートを検出して、画像やクリップをビートポイントで切り替え、ズームやホワイトフラッシュなどのエフェクトを追加することで、盛り上がる「カンテン動画(ビートシンク動画)」を自動生成します。

Easel とは?

このスキルは、`librosa` を用いて音楽のビートを検出し、画像や短い動画クリップをビートに合わせて切り替える「カンテン動画(ビートシンク動画)」を自動生成します。ユーザーが指定した音楽と素材(画像・動画)から、音に合わせたハードカットとエフェクト(ズーム、ホワイトフラッシュなど)で構成される、テンポの良い短尺動画を作成します。`skills/shared/scripts/beatsync.py` という共通のスクリプトを呼び出し、ビート検出、区間分割、素材のループ、音画同期を自動で行うため、手動でビートを数えたりフィルターを手動で設定する必要はありません。対応プラットフォームは特に限定されませんが、出力解像度の指定は必須であり、横長か縦長かをユーザーに確認します。このスキルは、特に音楽のビートが明確な曲で効果を発揮し、`--every` オプションでビートあたりの切り替え頻度、`--effect` オプションでエフェクトを調整できます。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ZJU-REAL/Easel/tree/HEAD/skills/openclaw/beat-sync-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

音楽カンテン動画(ビートシンクミックス)

librosa で音楽のビートを検出し、映像をビートポイントでハードカット。ビートに合わせたエフェクトを加え、盛り上がる「カンテン」系ショート動画を作成します。 すべて skills/shared/scripts/beatsync.py を使用します。ビートを手動で数えたり、フィルターを手動で組み合わせる必要はありません。 スクリプトがビート検出、区間分割、素材のループ、音画同期を自動で実行します。

各画像を固定長で表示し、ソフトなトランジションを使った動画は slideshow-video を参照してください。テーマからAIが画像・音声を生成して動画を作成する場合は auto-short-video を参照してください。

入力

フィールド必須説明
背景音楽はいカンテンの基準となる音楽ファイル(リズムが強いほど効果的。指定がない場合は質問する)
素材はい画像やショートクリップのリスト(順に使用、ループあり)、またはディレクトリ
画面サイズはいユーザーまたは上位タスクが横長・縦長(または具体的な解像度)を明確にしていない場合、作成前に必ず確認を取ってから進める。プラットフォームやプロファイル、デフォルト値で黙って推測しない。既に明確になっている場合は再度尋ねない
切り替え頻度いいえ何ビートごとに切り替えるか(デフォルトは2ビートごと)
エフェクトいいえzoom ズーム(デフォルト) / flash ホワイトフラッシュ / none なし

出力(outputs/テーマ名/)

  • カンテン完成動画(*.mp4)
  • レポート:カンテンセグメント数、総再生時間、検出されたBPM、エフェクト

実行手順

スクリプトのパス(プロジェクトルートからの相対パス):skills/shared/scripts/beatsync.py(build -h / beats -h)。

1.(オプション)まずビートを確認する

python skills/shared/scripts/beatsync.py beats --music <音楽>
# テンポ(BPM)とビートのタイムポイントを表示。--every に設定する値の判断に使用する

2. カンテン動画を生成する

python skills/shared/scripts/beatsync.py build \
  -i 1.jpg 2.jpg 3.jpg 4.jpg --music <音楽> \
  -o outputs/テーマ名/show.mp4 \
  --size 1080x1920 --every 2 --effect zoom
  • 素材 = 画像またはショートクリップ。カンテンセグメント数より少なくてもよい(自動ループで再利用)。
  • --every 1 はすべてのビートで切り替え(動きが速く、多くの素材が必要)。--every 4 は小節ごとに切り替え(落ち着いた印象)。
  • --effect flash はセグメント先頭にホワイトフラッシュを加え、より「燃える」印象に。--effect none はシンプルなハードカット。
  • --max-duration 15 で動画の長さを制限(例:15秒のTikTok用)。
  • 代わりに --images-dir <ディレクトリ> で素材を一括指定することも可能(ファイル名でソート)。

プロファイル認識

  • プロファイルあり:platforms.md は画面サイズの提案にのみ使用し、必ずユーザーの確認を取ること。カンテンのスタイル(高速/落ち着き)とエフェクトはアカウントの雰囲気に合わせる (トレンド/スポーツ系アカウントは高速でflash、ライフスタイル/癒し系アカウントはzoomで落ち着き)。
  • プロファイルなし:まず横長/縦長を確認。デフォルトは2ビートごと、zoomエフェクト。

ルール

  1. 音楽のリズムがはっきりしているほどカンテンが正確になる。明確なビートがない場合、スクリプトは自動的に等間隔切り替えにフォールバックし、レポートでその旨を説明する。
  2. カンテンはハードカット(トランジションなし)を使用。そうしないとビート感がぼやける——これは意図的な設計。
  3. 素材が足りない場合は自動ループ。素材が十分にある場合は、--every 1~2 を推奨し、各セグメントで新しい映像を表示する。
  4. 完成動画はデフォルトで音楽と同じ長さ。--max-duration でプラットフォームの制限に合わせる。
  5. 成果物はすべて outputs/テーマ名/ に格納する。

参考ソース

ビート検出には librosa の beat_track(オンセット強度+動的計画法でビートを求める)を使用。映像をビートポイントでハードカットするのは、カンテンミックスの標準的な手法。ビート→区間→セグメント単位のレンダリング→音画同期を、確定的なスクリプトにカプセル化することで、手動でのビート数えやずれを防ぐ。

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

ZJU-REAL/Easel

AI 视频生成:文生视频 / 图生视频 / 数字人首帧驱动。通过可插拔 provider(通义万相 Wan / 火山 Seedance / 快手可灵 / OpenAI 兼容)异步生成视频,用户自备 API key。当用户说 AI 视频生成、文生视频、图生视频、AI 生成视频、AI 短视频、让图片动起来、数字人视频、生成一段视频 时使用。与 video-strategy(选型/策略)、video-editing(剪辑处理)、clipify(切片)区别:本 SKILL 是从 0 用 AI 生成新视频。

ZJU-REAL/Easel

通用音频处理:音频剪辑/裁剪、格式转码(mp3/wav/m4a/aac)、音量归一化、从视频提取音轨、多段拼接、淡入淡出、变速(保音高)。当用户说“剪音频”“裁一段”“转成 mp3”“调音量/响度”“提取音轨/扒音频”“拼接音频”“淡入淡出”“加速/减速音频”“变速不变调”时使用。与 audio-denoise 的区别:audio-denoise 专做降噪,audio-editing 做除降噪外的通用音频操作(也内置 denoise 作为兜底)。

ZJU-REAL/Easel

一句话主题 → 成品短视频:自动串联 文案→配图/AI视频→配音→字幕→BGM→合成,把 Easel 制作层零件编排成一条'一键出片'流水线。**单条视频、口播/资讯向,画面默认逐句配图 + Ken Burns 缓动,需要动态时才逐段图生视频**。当用户说 一键生成视频、自动做短视频、主题生成视频、帮我做条视频、口播视频一条龙、自动出片、短视频一键生成 时使用。**有剧情/角色/对白/反转/多集的短剧改用 short-drama(每镜强制图生视频、不用静态图冒充);只写脚本用 video-script;只生成单个片段用 ai-video-gen。**

ZJU-REAL/Easel

自动字幕 / 语音转字幕:把音频或视频里的语音识别成字幕文件(SRT/ASS/TXT/JSON),可选把字幕烧录进视频。当用户说自动字幕、语音转字幕、视频加字幕、上字幕、转录、听写、字幕文件、生成字幕、烧字幕时使用。

ZJU-REAL/Easel

Easel clipify: long English talk → punchline cuts → optional 16:9→9:16 face-pan/split → opus word-by-word ASS burn. Ships scripts + assets/preview.png. Part of 1.6k★ Easel suite.

ZJU-REAL/Easel

>- 通用图像处理加工:改尺寸/缩放、裁剪、补边适配平台尺寸、格式转换(png/jpg/webp)、 压缩到目标大小、加文字或图片水印、圆角、多图拼接、生成缩略图、读图片信息。 基于 image_ops.py 确定性处理。 使用时机:用户说"改尺寸"、"缩放图片"、"裁剪"、"压缩图片"、"加水印"、"转格式"、 "圆角"、"拼图/多图联排"、"缩略图"、"适配小红书/朋友圈尺寸"、"把图 pad 成 1:1"。 和 card-*(卡片类)的区别:card-* 是"HTML 设计→渲染出图", image-editing 只加工已有图片,不负责视觉设计。

ZJU-REAL/Easel

多角色对话配音:按 cast 和逐行对白为不同角色分配音色与情绪,合成多声线音轨和带角色名字幕。 当用户说“多角色/双人/剧本/对话配音、多人对白、不同角色不同声音、有声剧配音”时使用。 单一公共音色用 tts-voiceover;克隆本人音色用 voice-clone;整部短剧制作由 short-drama 编排。

ZJU-REAL/Easel

Easel video-highlights: CN/livestream highlight extract + stable static vertical reframe (sibling to clipify).

ZJU-REAL/Easel

>- 视频制作策略与工具选型:AI 视频生成模型对比、视频脚本结构设计、制作流程规划,覆盖产品演示/解说/社媒短视频场景。 当用户说"视频怎么做""视频选型""用什么工具做视频""视频制作流程""视频策略""视频系列规划"时使用。 和 video-script 的区别:video-strategy 做内容规划与工具选型,video-script 写具体某条视频的脚本。

関連スキル