Communitygithub.com

Nuva-Lab/vibecut

通过将剧本文本与音频对齐,生成卡拉OK风格的字幕级时间戳,使用Qwen3-ForcedAligner + jieba实现中文分词。适用于用户说出“对齐字幕”、“卡拉OK时间戳”、“单字时间戳”、“字幕对齐”、“同步文本与音频”等场景。

vibecut 是什么?

该技能用于将现有剧本文本与音频对齐,生成卡拉OK风格的字幕。它利用Qwen3-ForcedAligner-0.6B(约30毫秒精度)进行字符级时间戳对齐,并结合jieba中文分词库将字符分组为自然词语。最终输出包含词语级时间戳的短语序列,可直接用于Remotion的卡拉OK渲染。支持中文、英文、粤语、法语等11种语言。它以命令行工具和Python API形式提供,并可与`make-video`脚本集成,在提供声优文件和剧本时自动触发字幕对齐。该技能包含完善的错误恢复机制,包括处理音频文件缺失、模型下载失败和jieba未安装等情况。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Nuva-Lab/vibecut/tree/HEAD/skills/align-captions

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

对齐字幕

将现有剧本文本与音频对齐,生成卡拉OK风格的字幕。使用Qwen3-ForcedAligner-0.6B(约30毫秒精度)和jieba中文分词库(将字符分组为自然词语)。

流程

脚本 + 音频
    ↓
Qwen3-ForcedAligner(字符级时间戳)
    ↓
Jieba分词(字符 → 中文词语)
    ↓
基于位置的短语匹配(词语 → 短语)
    ↓
输出:包含嵌入词语时间戳的短语

用法

# 将脚本与音频对齐(输出短语级结果,包含词语时间戳)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."

# 保存到文件
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json

# 仅词语级(无短语分组)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level

输出格式

专为Remotion卡拉OK渲染设计:

{
  "segments": [
    {
      "text": "当全世界...",
      "startMs": 240, "endMs": 2080,
      "words": [
        {"text": "当", "startMs": 240, "endMs": 400},
        {"text": "全世界", "startMs": 400, "endMs": 880}
      ]
    }
  ],
  "word_segments": [...],
  "language": "Chinese",
  "model": "Qwen3-ForcedAligner-0.6B"
}

编程用法

from align import align_captions

# 获取包含嵌入词语时间戳的短语
result = align_captions(
    "voiceover.wav",
    script="当全世界都在追AI的时候...",
    language="Chinese"
)

# 每个短语都有一个用于卡拉OK高亮的 'words' 数组
for phrase in result["segments"]:
    print(f"{phrase['text']}: {len(phrase['words'])} 个词语")

与 make-video 集成

make_video.py 脚本在以下情况下会自动使用对齐字幕功能:

  1. 存在声优文件
  2. 在 project.json 中提供了剧本
  3. caption_mode 设置为 "auto" 或 "asr"

输出将传递给Remotion的 RollingCaption 组件进行卡拉OK渲染。

错误恢复

  • 音频文件未找到:在调用之前请验证路径是否存在。脚本会抛出 FileNotFoundError —— 请检查 project.json 中正确的声优路径。
  • 模型下载失败:Qwen3-ForcedAligner(约1GB)在首次运行时下载。如果下载失败(网络/磁盘问题),请重试或手动下载到HuggingFace缓存(~/.cache/huggingface/)。
  • jieba未安装:运行 pip install jieba。如果没有jieba,中文文本会回退到字符级时间戳(无词语分组)。

备注

  • 支持11种语言:中文、英文、粤语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

相关技能