Communitygithub.com

10llo/reelkit

当人才的录音到达用于reelkit集目时使用——使用Whisper在本地转录音频,将字幕校正为脚本内容,重新调整场景时间,与用户一起审核更改并应用。

reelkit 是什么?

该技能用于处理人才录制的剪辑片段,将其同步到ReelKit集目中的右下角槽位。它通过Whisper在本地进行转录,将字幕与脚本对齐,调整场景剪切时间,并生成一份包含所有差异的审查报告。支持大型语言模型(如`large-v3-turbo`)或更轻量级的模型(如`small`),如果WebGPU不可用,则会退回到基于脚本的临时字幕。用户可以在应用之前审核建议的更改、编辑字幕JSON文件或处理过跑问题。该技能适用于命令行环境,并依赖于npm脚本进行操作,最终生成与集目同步的视频文件。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/10llo/reelkit/tree/HEAD/skills/caption-sync

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

字幕同步

人才的剪辑放入右下角槽位;其语音驱动字幕和场景切换。在用户批准审核之前,集目中的任何内容都不会更改。

所有命令从工作区根目录运行。

1. Whisper 就绪?

npm run reelkit -- whisper check --model=<model>   # 你将使用的模型;默认为 large-v3-turbo

如果模型尚未下载,sync prepare 会下载它(large-v3-turbo 为 1.6 GB)——先告知用户,或者提供 --model=small(586 MB,精度稍低)。如果 WebGPU 不可用,同步仍会附加剪辑,但字幕会基于脚本计时("临时方案")。

2. 准备(仅写入提案)

npm run reelkit -- sync prepare episodes/<folder> <path/to/clip> [--model=large-v3-turbo]

它会将剪辑复制为 talent.proposed.<ext>,进行转录,将单词与脚本对齐,并写入以下文件:

  • sync-report.md — 审查报告(西班牙语):剪辑详情、开头静音修剪、场景剪切前后对比、每个有差异的单词(修正为脚本拼写,⚠ Revisar 标记严重偏离的单词并显示听到的内容,⚠ No se escuchó 标记跳过的单词,即兴发言保留原样)、警告以及语音是否超出结尾。
  • captions.proposed.json — 视频将使用的字幕(可编辑:修改某个单词的 "text" 以修复它)。
  • sync-proposal.json — 修剪、场景起点、文件信息。

对齐决策方式:脚本拼写与 Whisper 时序结合——匹配或近似匹配的单词(数字与口语形式匹配:"12" ↔ "doce");严重偏离的单词显示听到的内容并被标记;Whisper 未听到的单词从字幕中移除;人才说出的额外单词则保留。

3. 与用户一起审核

阅读 sync-report.md 并向用户展示一个简短表格:场景剪切(前后对比)、每个标记的单词(场景、脚本、听到的内容、状态、时间)以及(如果有)超出结尾的行。请用户批准,或说明要修改哪些单词(编辑 captions.proposed.json,然后显示更改)。

  • 语音超出结尾(⚠ La voz sigue … s):最后几个单词将被裁剪。建议重新录制更短的版本。只有在用户明确同意的情况下,才能使用 --accept-overrun 应用。
  • 整个场景未听到:视觉内容可能与所说内容不匹配——询问是重新录制还是继续。
  • 匹配度低("¿Es el clip correcto?"):确认这是正确的剪辑和集目。

4. 应用(经批准后)

npm run reelkit -- sync apply episodes/<folder> [--accept-overrun]

它将暂存的剪辑重命名为 talent.<ext>,写入 captions.json,将 clip、sceneStarts、captionsSrc 和 stage: "synced" 保存到 episode.json 中,并移除它替换的旧剪辑。

5. 检查

npm run check -- episodes/<folder>
npx remotion still Episode out/<folder>-sync.png --public-dir episodes/<folder> --frame=<N>

查看句子中间的一个静帧:剪辑填充槽位,字幕显示正在说出的单词。提供 Studio:npm run studio -- episodes/<folder>。下一步:/reelkit:export。

相关技能