Communitygithub.com

long2short

将长横屏视频(Vlog、旅行视频、采访、播客、演讲)转换为可直接发布的9:16竖屏短视频片段,适用于TikTok、Instagram Reels和YouTube Shorts。该技能会挑选最精彩的时刻(包括无声的视觉片段),利用Apple Vision跟踪技术围绕主体重新构图,添加与单词同步的动画字幕、钩子标题、信息贴纸和音效,并渲染1080x1920的MP4视频。

long2short 是什么?

long2short是一个专为AI代理(如Claude Code、Cursor、Codex)设计的技能,用于将长横屏视频自动转换为一组竖屏短视频片段,适配TikTok、Instagram Reels和YouTube Shorts。它通过Apple Vision目标跟踪、动词语音字幕对齐和智能场景选择,生成高质量、可直接发布的短视频。该技能支持本地运行,依赖于macOS系统的Apple Vision框架和特定工具链(如ffmpeg、whisper-cli、Node.js等)。其工作流程包括视频初始化、片段选取、渲染输出等步骤,并提供了详细的配置和故障排除指南。然而,该技能在macOS上要求较高,且字幕对齐目前仅适用于拉丁字母语言。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/sebsch1337/long2short/tree/HEAD/skills/long2short

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

long2short 是做什么的?

你是编辑:由你选择时刻、撰写钩子和贴纸,并判断裁剪。脚本负责繁重的工作(转录、场景检测、跟踪、剪辑、渲染),并在本地运行。一切通过一个命令行工具完成:

python3 <skill>/scripts/l2s.py [-p PROJECT] <command> ...

<skill> 是该技能所在的文件夹。一个项目文件夹(默认为 <video 文件夹>/long2short)包含 project.json、代理文件、转录文本、场景列表以及每个片段对应的文件夹(clips/clipNN/)。完成的片段输出到 project.json → out(默认为 <video 文件夹>/clips)。

要求:macOS(用于跟踪的Apple Vision和用于快速ProRes的VideoToolbox)、ffmpeg、Node(npx HyperFrames)、Xcode命令行工具(swiftc)、whisper-cli + ggml模型(或python whisper)。字幕时间调整(强制对齐)适用于拉丁字母语言;数字在 force_align.py 中为德语拼写出来——为其他语言扩展 spell() 函数。本技能仅包含说明和代码,不包含其他内容。首次在机器上运行时执行 l2s.py setup——它会将所有内容下载到 ~/.cache/long2short:一个私有Python环境(用于强制对齐的torch/torchaudio)、CC0音效、字幕字体(Montserrat,OFL)以及(如果未安装)whisper.cpp模型;它还会编译Apple Vision辅助工具。然后运行 l2s.py doctor。每当 doctor 报告缺少某些内容时,重新运行 setup。如果缺少某些内容,向用户显示确切的安装命令。

1. 准备视频(每个视频一次)

l2s.py init "/path/video.mp4" --lang de

创建代理文件、16 kHz音频、单词转录(带时间码的 transcript.txt)、scenes.json 和联系表(sheets/,每场景一帧,带时间码)。长视频需要几分钟——在后台运行并告知用户。

将重复出现的转录错误(名称、品牌)添加到 project.json → glossary 中({"Air bee and bee": "Airbnb"});当单词映射到片段时,这些错误会自动修复。

2. 选择时刻(根据你的判断)

在选择之前阅读 references/editorial.md。简而言之:读完整个 transcript.txt,查看每一张联系表(这样你才能找到没有语音的强力时刻——一台机器在工作、一只动物、一个重大揭秘),然后为用户写一个简要清单:编号、工作标题/钩子、来源范围、长度、为什么有效。默认长度为60–90秒(TikTok的Creator Rewards仅对超过一分钟的视频付费),除非用户有其他要求。当用户要求审查选择时,等待用户批准后再批量渲染;否则继续。

每个片段必须独立完整。 观众是第一次看到这个人和这个主题:前3秒(钩子文字+开场白)必须说出我们在哪里以及这是关于什么的(例如“在里斯本……”),并且片段不能依赖视频的其他部分(“在这次旅行之后”、“正如我所说”、“第二个”)。从这类短语之后开始,或者直接去掉它们。

3. 构建每个片段

l2s.py -p P plan  NN "A-B[,C-D]" [--teaser VS VE AS] [--seed T:CX:CY]
l2s.py -p P words NN                # 打印带有索引的单词——在 words_raw.json 中修正文本
l2s.py -p P align NN [MM ...]       # 强制对齐:精确的单词时间(模型为所有片段加载一次)
#   编写 clips/clipNN/hf_config.json(参见 references/config.md)
l2s.py -p P finish NN "NN_short-title"   # 剪辑 -> 图形 -> 渲染 -> 合成
  • 范围 是绝对的源秒数。在句子边界处剪辑;使用 words.json 中的单词时间。片段按顺序拼接;--teaser(2–3秒的回报镜头首先显示,音频来自 AS)可以制作强有力的冷开场。
  • 裁剪审查消耗token——仅在被告知时查看。 plan 会打印 no anomalies 或一个异常列表。只有这时才打开 clips/clipNN/spec.review.jpg(黄色框=9:16窗口,红点=被跟踪主体,青色网格步长0.1)。
  • 对象(无人机、机器人、汽车)不会自动找到:对于报告为“no person”的片段,从网格中读取对象位置,并使用 --seed T:CX:CY(源时间,x坐标,y坐标,范围0-1)重新运行 plan。它会捕捉到该对象并进行跟踪。
  • 在对齐前修正文本。 在 words_raw.json 中修正听错的单词;如果某段无法听懂,将其从字幕中删除(在 hf_config 中设置 drop),而不是猜测。
  • 一次性对多个片段运行 align 以节省时间。

4. 交付

报告一个简短的表格:片段、长度、文件路径、钩子以及一个带话题标签的可直接发布的标题。当用户表示他们将自行审查时,不要逐帧重新检查渲染效果。中间文件较大(每个片段约2 GB,位于 clips/clipNN/);在用户批准结果后,提供删除这些文件的选项。

固定样式(已批准——未经要求不得更改)

  • 字幕:Montserrat Black,大写,白色带黑色轮廓,1-3个单词,当前单词为黄色 #FFD400,带短暂弹出效果,关键词在黄色药丸上;在画面下方三分之一处水平和垂直居中;在单词出现前0.12秒显示。
  • 钩子文字:顶部黑色药丸,强调词为黄色,持续前约3秒。信息贴纸:顶部黄色药丸+表情符号,自动调整到画面宽度。
  • 音效:每段约5-7个微妙的音效(弹出、嗖声、撞击声、金属碰撞声;CC0,由setup下载),无音乐(音乐稍后在应用中添加)。响度-14 LUFS,真峰值-1 dBTP。
  • 裁剪:一个9:16窗口,平滑跟踪。没有变焦推入和没有信箱/模糊“适应”布局——这两种方式都经过尝试并被否决(拉远看起来像是压缩)。

当某些内容看起来不对时,阅读 references/troubleshooting.md——其中列出了已发现的根本原因(场景边缘泄漏、抖动、字幕延迟……)以及脚本如何处理它们。

相关技能