Clipify
从视频中找出最搞笑的时刻,将其剪辑为独立片段,可选择将 16:9 转为 9:16(人脸跟踪或分屏),并添加 Opus 风格的逐字字幕。
源仓库:~/projects/clipify(克隆自 github.com/louisedesadeleer/clipify)
输入
- 视频文件路径(用户需提供;否则请询问)
- 可选:输出画面格式(9:16、16:9、1:1)
- 可选:字幕风格偏好
工具
- Whisper:
whisper --model tiny.en --word_timestamps True --output_format json(快速;非英语使用--model base) - **ffmpeg:**macOS 上添加
-hwaccel videotoolbox进行解码,-preset ultrafast进行渲染。最终输出:-c:v libx264 -crf 20 - 脚本:
~/projects/clipify/scripts/analyze.py— 根据两个 ROI 运动文件生成说话者时间线build_pan.py— 使用硬切裁剪的 ffmpeg x 表达式build_ass.py— 从 Whisper JSON 生成 Opus 风格的 ASS 字幕audio_align.py— 查找子片段在较长源音频中的偏移量
工作目录:/tmp/clipify/(开始时创建)
工作流程
第一步 — 找到最搞笑的部分
mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
读取 JSON,挑选 3-5 个候选片段。搞笑信号:笑点/反应、反转、尴尬停顿、自嘲、音频峰值。
每个候选:[开始时间,结束时间,为什么搞笑,建议标题]。时长建议 10-25 秒。列出列表,让用户选择。
第二步 — 裁剪
ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4
第三步 — 输出格式
询问:“9:16(TikTok/Reels)、16:9(YouTube)还是 1:1(Insta 信息流)?”
第四步 — 如果 16:9 → 9:16:平移或分屏
4a — 人脸间平移
- 采样一帧,肉眼观察人脸 ROI(嘴+下巴区域,作为 x,y,w,h)
- 通过 ffmpeg tblend+signalstats 提取每个 ROI 中的每帧运动能量
- 构建说话者时间线:
python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json - 为垂直条带选择平移 x 坐标(1920 源素材裁剪宽度设为 608)
- 生成 x 表达式并渲染:
python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X
4b — 分屏
两个上下堆叠的块(每个 1080x960),当前说话者位于上方。根据 segments.json 构建 enable 表达式。
第五步 — 字幕
三种风格:opus(大字、黄色高亮当前词)、karaoke(4 词一组、绿色高亮)、minimal(简洁 Helvetica 字体)。
whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"
第六步 — 交付
- 保存到
<源目录>/clipify_out/ - 打印:名称、时长、搞笑原因、输出路径
- 打开第一个输出供检查
- 提供迭代选项
常见陷阱
- 不要过度调整 ROI(最多 2 次迭代)
- 检查片段中的场景切换(
select='gt(scene,0.3)') - 4K 源素材:先降采样到 1080p,或将所有坐标翻倍
- 对裁剪后的片段(而非完整源)运行 Whisper 以获取字幕时间戳
- 如果源素材带有硬嵌字幕,使用
audio_align.py找到干净的母版
依赖要求
- ffmpeg 带 libx264 和 libass(用于字幕嵌入)。检查:
ffmpeg -filters 2>&1 | grep subtitles。默认 Homebrew ffmpeg 公式不含 libass。请使用 homebrew-ffmpeg 源:brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg。如果 brew 提示 CLT 版本过旧,先运行softwareupdate --install "Command Line Tools for Xcode <version>"(通过softwareupdate --list查看确切的标签)。 - whisper(openai-whisper):
brew install openai-whisper或pip install openai-whisper - Python 3 + numpy
- 推荐使用 macOS(VideoToolbox),Linux 上也可运行(去掉 hwaccel 标志)
无 libass 时的备选方案
如果 ffmpeg 缺少 subtitles/ass 滤镜,可使用 drawtext 作为简单字幕的降级方案(一次一个词,不太美观但功能可用)。或者重新安装带 libass 的 ffmpeg。