Communitygithub.com

srt2reel

将音频文件及其SRT字幕自动生成为带动画场景、时间轴字幕和音效的故事视频,支持竖屏短视频和横屏长视频格式。

srt2reel 是什么?

srt2reel 是一个专为 AI 代理(如 Claude Code、Cursor、Codex 等)设计的技能,用于从用户提供的旁白音频文件(MP3、WAV、M4A)和对应的 SRT 字幕文件自动生成完整的动画故事视频。它特别适合将任何语言的语音内容转换为具有简单矢量角色、时间轴高亮关键词字幕、场景标签和柔和音效的 30 fps 视频。该技能支持两种输出格式:竖屏 1080×1920(适用于 Reels、Shorts、TikTok)和横屏 1920×1080(适用于 YouTube 等最长约 15 分钟的视频)。它的核心工作流程包括检查依赖环境、初始化项目并根据音频和字幕自动生成时间线、将字幕内容规划为多个场景、编写场景定义文件和剧情 JSON、检查字幕准确性、渲染预览帧供用户检查,最后生成最终视频。srt2reel 不会编写故事脚本或生成语音,严格依赖用户提供的音频和 SRT 文件,并确保生成的视频内容忠实于原始字幕。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/speedsharmaai/srt2reel/tree/main/skills/srt2reel

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

srt2reel 是做什么的?

将语音文件及其 SRT 字幕转换为 30 fps 的故事视频:包含简单矢量角色的动画场景、显示 SRT 原文的歌词卡片、命名每个场景的标签以及柔和的音效。支持两种格式:portrait(1080×1920,用于短视频)和 landscape(1920×1080,用于长视频)。

该技能负责制作视频。它从不编写故事。如果用户只提供一个主题或想法,请告诉他们本技能需要语音文件及其 SRT 字幕,并请求同时提供两者。

请用用户书写给你的语言与用户交谈,使用简短明了的句子。用户可能不具技术背景。

文件位置

技能文件夹路径为 ${CLAUDE_SKILL_DIR}。如果该路径显示为文字占位符,则指包含此 SKILL.md 的文件夹。以下简称为 SKILL。

  • SKILL/scripts/ 包含五个命令。请按原样运行,不要重写它们。
  • SKILL/template/ 是由 init.ts 复制的视频项目模板。
  • SKILL/references/ 包含在步骤指向时需要阅读的详细说明。
  • SKILL/assets/kit.jpg 展示所有现成的场景素材(kit-wide.jpg 为横屏版本)。

每个视频都将有自己的项目文件夹,以下简称为 PROJECT。请使用 ~/reels/<简短名称>。

输入

  1. 语音文件(MP3、WAV 或 M4A)。
  2. 包含说出的准确文字的 SRT 文件。如果缺少,请向用户索要。不要自行转录音频:语音转文字会出错,SRT 文件是唯一准确来源。
  3. 可选:页面或频道名称(显示为小水印)、颜色主题(paper、mint、sky)、角色或场景创意、用户自己的图片。

根据用户要求选择格式。适用于 Reels、Shorts 或 TikTok 的短视频为 portrait。适用于 YouTube 频道、课程或超过三分钟的视频为 landscape。如果不明确,请询问用户。

步骤

请按顺序执行这些步骤。每个命令将打印其执行结果以及下一步操作。

1. 检查机器

node SKILL/scripts/doctor.ts

如果打印 FAIL,请直接告知用户缺少什么并停止。不要尝试绕过缺少的 ffmpeg 或 Node。warn 行表示问题不大。

2. 创建项目

node SKILL/scripts/init.ts PROJECT --voice <voice file> --srt <srt file> [--format landscape] [--lang <tag>] [--page "<name>"] [--theme <name>]

此命令将复制模板、安装依赖、测量语音时长、找到真实停顿,并写入 PROJECT/src/story.json,其中每条 SRT 提示对应一个字幕卡片,已根据语音时间对齐并调整换行。还会为语言安装合适的字体。

读取其完整输出。它将列出每个字幕及其时间,以及每个足够长以切换场景的停顿。如果它警告 SRT 和语音时长不匹配,请在继续前询问用户。

语言通过 SRT 的脚本猜测。当猜测可能错误时,请传递 --lang:非英语的拉丁字母语言(es、fr、id、vi)、繁体中文(zh-TW)、乌尔都语或波斯语(ur、fa)、马拉地语或尼泊尔语(mr、ne)。详见 references/languages.md。

3. 规划场景

将字幕内容作为一个故事阅读,并将其分割为多个场景。当地点、时间、说话者或想法改变时开始一个新场景,每个场景持续约 4 到 7 秒。一个 25 秒的故事应有 5 到 7 个场景;一个 60 秒的故事应有 9 到 14 个。每个字幕作为一个场景会过于密集。每个切换点必须位于列出的停顿位置,而不是在句子中间。

为每个场景决定:地点、人物、他们的动作,以及一个能展示字幕内容的视觉元素(道具、数字、仪表、印章),这样就不只是一个人在说话。在故事的低潮点使用暗色调场景。在故事的最后教训或结果处结束。

时长超过约两分钟的视频场景数量过多,无法逐一编写。请参考 references/long-videos.md 处理这些情况。

4. 编写两个故事文件

只有这两个文件在不同视频之间会变化。src/lib/ 下的所有内容请勿修改。

  • PROJECT/src/story.json:包含场景列表、时间、标签、字幕中的关键词、谁何时说话以及音效。格式和规则:references/story.md。
  • PROJECT/src/scenes.tsx:每个场景对应一个小组件,以及命名它们的 SCENES 对象。如何绘制场景、完整的素材库以及布局区域:references/scenes.md。首先查看 SKILL/assets/kit.jpg,然后从 PROJECT/src/lib/examples.tsx(横屏时为 examples-wide.tsx)复制。

字幕文字是固定的。你可以添加 {大括号} 包裹关键词、更改换行、合并或拆分两个字幕以及调整时间。但不得添加、删除或更改任何单词。步骤 5 的检查将拒绝任何差异。

你自己添加的屏幕文字(标签、说明文字、气泡对话)必须使用 SRT 的语言。保持一两个单词即可,用来命名旁白已经说过的内容:地点、店铺招牌、反应。不要添加新的事实或句子。

5. 检查,并重复直到无误

node SKILL/scripts/check.ts PROJECT

此命令将比较字幕文字与 SRT、检查时间、场景、高亮和字体,并编译场景代码。修复所有 ERROR 后重新运行。阅读每个 warn 并修复那些真正存在的问题。

6. 查看帧,并重复直到满意

node SKILL/scripts/stills.ts PROJECT

此命令在每个场景切换后不久以及每个字幕中间渲染一帧,并将它们拼贴成联系表。打开其列出的每个联系表并查看。每个单元格都标有时间、场景和字幕编号。

请检查并修复:

  • 任何覆盖或接触顶部标签或底部歌词卡片的内容
  • 文字溢出卡片,或字母显示为空框
  • 场景未能展示其字幕内容
  • 角色外观在不同场景之间变化
  • 空白或几乎空白的场景

添加 --grid 可在每帧上绘制内容框和标尺;用它来查看哪些元素越界了以及需要移动到哪里。要在修复后重新查看某些特定时刻:node SKILL/scripts/stills.ts PROJECT --at 12.5,30。每次运行将覆盖之前的联系表。

在查看联系表之前,绝不渲染完整视频。

7. 渲染

渲染时间在快速机器上大约相当于视频时长,在慢速机器上则需数倍时间,因此请在后台运行并轮询:

node SKILL/scripts/render.ts PROJECT --detach
node SKILL/scripts/render.ts PROJECT --status

--status 将打印 rendering,然后 finishing,最后 done 或 failed。每隔 20 到 30 秒检查一次,在它达到 done 或 failed 之前不要结束本轮操作。如果无法在检查之间暂停,请让命令等待你:node SKILL/scripts/render.ts PROJECT --status --wait 100 将在渲染结束后立即返回,或最多等待 100 秒;重新运行直到它返回。

如果交给用户的文件有大小限制(claude.ai 聊天限制为 30 MB),请添加 --max-mb 28。

渲染过程会均衡音量,然后检查最终文件:帧尺寸、帧率、编解码器、时长。--status 将打印结果以及 final_check.jpg 的路径,该图片是从最终文件中提取的四帧,时间点由它列出。请查看该图片。

8. 交付

将 PROJECT/out/final.mp4 交给用户。添加一行说明什么不太完美,以及一个建议的下一步操作。如果一切正常,用一行说明即可。

视频内容规则

  • 只显示 SRT 所说的内容。不要添加自己的主张、事实或承诺。
  • 不得包含政治、仇恨或对真实人物的羞辱。不得将医疗或财务建议作为事实呈现。敏感话题需谨慎处理。
  • 不得抄袭其他创作者的角色、场景或设计。为这个故事绘制自己的内容。
  • 切勿向用户承诺观看量、到达率或收入。
  • 任何内容不得以超过每秒三次的频率闪烁。

用户应了解的事项

在适当的时候,用用户的语言告知以下内容:

  • 视频使用 Remotion 构建,它免费提供给个人和不超过三人的公司。规模更大的公司需要 Remotion 许可证:https://www.remotion.dev/docs/license
  • 平台可能会对发布大量几乎相同的模板视频的频道采取行动,并可能要求对克隆或现实感的合成语音进行标注。详见 references/platforms.md。

遇到错误时

请参考 references/troubleshooting.md。如果机器根本无法渲染视频(浏览器无法启动、缺少 ffmpeg、首次安装缺少网络),请直接说明并停止,而不是生成其他内容。

相关技能