Communitygithub.com

Nuva-Lab/vibecut

根據腳本文字與音訊生成卡拉OK風格的逐字時間戳記,使用 Qwen3-ForcedAligner + jieba 進行中文分詞。適用於「對齊字幕」、「卡拉OK時間戳記」、「逐字時間戳記」、「字幕對齊」、「將文字與音訊同步」等使用情境。

vibecut 是什麼?

這是一個精準的字幕對齊工具,專門為開發者與 AI 代理設計,可將現有腳本文字與音訊同步,生成卡拉OK風格的逐字時間戳記。它結合了 Qwen3-ForcedAligner-0.6B(約 30 毫秒精度)和 jieba 中文分詞,將字元級時間戳記組合成自然詞語,最後透過位置匹配形成片語。支援的命令行與程式化 API 使其易於整合到影片製作流程(如 Remotion 的 RollingCaption 元件)。此外,它支援 11 種語言(包括中文、英文、粵語、日文、韓文等),並提供完善的錯誤恢復機制(如模型下載失敗時可手動快取)。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Nuva-Lab/vibecut/tree/HEAD/skills/align-captions

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

字幕對齊

將現有腳本文字對齊音訊,產生卡拉OK風格字幕。使用 Qwen3-ForcedAligner-0.6B(約 30 毫秒精度)和 jieba 進行中文分詞(將字元組合成自然詞語)。

流程

腳本 + 音訊
    ↓
Qwen3-ForcedAligner(字元級時間戳記)
    ↓
Jieba 分詞(字元 → 中文詞語)
    ↓
基於位置的片語匹配(詞語 → 片語)
    ↓
輸出:帶有嵌入字時間戳記的片語

使用方式

# 將腳本對齊到音訊(片語級輸出,附帶字時間戳記)
python skills/align-captions/align.py voiceover.wav --script "當全世界都在追AI的時候..."

# 儲存到檔案
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json

# 僅輸出逐字級(無片語分組)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level

輸出格式

專為 Remotion 卡拉OK渲染設計:

{
  "segments": [
    {
      "text": "當全世界...",
      "startMs": 240, "endMs": 2080,
      "words": [
        {"text": "當", "startMs": 240, "endMs": 400},
        {"text": "全世界", "startMs": 400, "endMs": 880}
      ]
    }
  ],
  "word_segments": [...],
  "language": "Chinese",
  "model": "Qwen3-ForcedAligner-0.6B"
}

程式化使用

from align import align_captions

# 取得帶有嵌入式字時間戳記的片語
result = align_captions(
    "voiceover.wav",
    script="當全世界都在追AI的時候...",
    language="Chinese"
)

# 每個片語都有一個 'words' 陣列,用於卡拉OK高亮
for phrase in result["segments"]:
    print(f"{phrase['text']}: {len(phrase['words'])} words")

與 make-video 整合

當以下條件成立時,make_video.py 指令碼會自動使用字幕對齊:

  1. 存在旁白音訊檔案
  2. 在 project.json 中提供了腳本
  3. caption_mode 設定為 "auto" 或 "asr"

輸出結果會傳遞給 Remotion 的 RollingCaption 元件進行卡拉OK渲染。

錯誤恢復

  • 找不到音訊檔案:呼叫前請先確認路徑存在。指令碼會拋出 FileNotFoundError — 請檢查 project.json 中的旁白音訊路徑是否正確。
  • 模型下載失敗:Qwen3-ForcedAligner(約 1GB)會在首次執行時下載。如果下載失敗(網路或磁碟問題),請重試,或手動下載到 HuggingFace 快取目錄 (~/.cache/huggingface/)。
  • jieba 未安裝:執行 pip install jieba。若未安裝,中文文字會退回到字元級時間戳記(無分詞分組)。

備註

  • 支援 11 種語言:中文、英文、粵語、法文、德文、義大利文、日文、韓文、葡萄牙文、俄文、西班牙文

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

相關技能