Communitygithub.com

exiao/skills

从视频中找出最搞笑的时刻,将其剪辑为独立片段,可选择将 16:9 转为 9:16(人脸跟踪或分屏),并添加逐字字幕。

skills 是什么?

Clipify 是一个用于自动生成短视频高光片段的 AI 技能,专为希望快速从长视频中提取搞笑、反应或反转时刻并制作社交媒体 Ready 的短视频的用户设计。该技能支持 ffmpeg 和 Whisper 进行音频转录和视频处理,能够智能分析音频波形和运动能量来检测笑点(如爆点、停顿、自嘲等)。输出格式灵活,支持 16:9、9:16(含人脸跟踪平移或分屏模式)以及 1:1 画幅。字幕方面提供三种风格:Opus 风格(大字号、黄色高亮当前词)、Karaoke 风格(4 词一组、绿色高亮)和 Minimal 风格(简洁 Helvetica 字体)。整个流程自动化程度高,用户只需提供视频路径,技能便会依次执行音频提取、Whisper 转录、笑点候选推荐、用户确认、裁剪、画幅转换、字幕烧录以及最终文件输出。该技能在 macOS 上利用 VideoToolbox 硬件加速,在 Linux 上也可运行(无硬件加速)。依赖项包括 ffmpeg(需带 libass 和 libx264)、openai-whisper 和 Python 3。如果 ffmpeg 缺少 libass,可使用 drawtext 作为降级方案。

兼容平台~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/exiao/skills/tree/HEAD/video/clipify

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

Clipify

从视频中找出最搞笑的时刻,将其剪辑为独立片段,可选择将 16:9 转为 9:16(人脸跟踪或分屏),并添加 Opus 风格的逐字字幕。

源仓库:~/projects/clipify(克隆自 github.com/louisedesadeleer/clipify)

输入

  • 视频文件路径(用户需提供;否则请询问)
  • 可选:输出画面格式(9:16、16:9、1:1)
  • 可选:字幕风格偏好

工具

  • Whisper:whisper --model tiny.en --word_timestamps True --output_format json(快速;非英语使用 --model base)
  • **ffmpeg:**macOS 上添加 -hwaccel videotoolbox 进行解码,-preset ultrafast 进行渲染。最终输出:-c:v libx264 -crf 20
  • 脚本:~/projects/clipify/scripts/
    • analyze.py — 根据两个 ROI 运动文件生成说话者时间线
    • build_pan.py — 使用硬切裁剪的 ffmpeg x 表达式
    • build_ass.py — 从 Whisper JSON 生成 Opus 风格的 ASS 字幕
    • audio_align.py — 查找子片段在较长源音频中的偏移量

工作目录:/tmp/clipify/(开始时创建)


工作流程

第一步 — 找到最搞笑的部分

mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en

读取 JSON,挑选 3-5 个候选片段。搞笑信号:笑点/反应、反转、尴尬停顿、自嘲、音频峰值。

每个候选:[开始时间,结束时间,为什么搞笑,建议标题]。时长建议 10-25 秒。列出列表,让用户选择。

第二步 — 裁剪

ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4

第三步 — 输出格式

询问:“9:16(TikTok/Reels)、16:9(YouTube)还是 1:1(Insta 信息流)?”

第四步 — 如果 16:9 → 9:16:平移或分屏

4a — 人脸间平移

  1. 采样一帧,肉眼观察人脸 ROI(嘴+下巴区域,作为 x,y,w,h)
  2. 通过 ffmpeg tblend+signalstats 提取每个 ROI 中的每帧运动能量
  3. 构建说话者时间线:python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json
  4. 为垂直条带选择平移 x 坐标(1920 源素材裁剪宽度设为 608)
  5. 生成 x 表达式并渲染:python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X

4b — 分屏

两个上下堆叠的块(每个 1080x960),当前说话者位于上方。根据 segments.json 构建 enable 表达式。

第五步 — 字幕

三种风格:opus(大字、黄色高亮当前词)、karaoke(4 词一组、绿色高亮)、minimal(简洁 Helvetica 字体)。

whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"

第六步 — 交付

  • 保存到 <源目录>/clipify_out/
  • 打印:名称、时长、搞笑原因、输出路径
  • 打开第一个输出供检查
  • 提供迭代选项

常见陷阱

  • 不要过度调整 ROI(最多 2 次迭代)
  • 检查片段中的场景切换(select='gt(scene,0.3)')
  • 4K 源素材:先降采样到 1080p,或将所有坐标翻倍
  • 对裁剪后的片段(而非完整源)运行 Whisper 以获取字幕时间戳
  • 如果源素材带有硬嵌字幕,使用 audio_align.py 找到干净的母版

依赖要求

  • ffmpeg 带 libx264 和 libass(用于字幕嵌入)。检查:ffmpeg -filters 2>&1 | grep subtitles。默认 Homebrew ffmpeg 公式不含 libass。请使用 homebrew-ffmpeg 源:brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg。如果 brew 提示 CLT 版本过旧,先运行 softwareupdate --install "Command Line Tools for Xcode <version>"(通过 softwareupdate --list 查看确切的标签)。
  • whisper(openai-whisper):brew install openai-whisper 或 pip install openai-whisper
  • Python 3 + numpy
  • 推荐使用 macOS(VideoToolbox),Linux 上也可运行(去掉 hwaccel 标志)

无 libass 时的备选方案

如果 ffmpeg 缺少 subtitles/ass 滤镜,可使用 drawtext 作为简单字幕的降级方案(一次一个词,不太美观但功能可用)。或者重新安装带 libass 的 ffmpeg。

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

相关技能