Communitygithub.com

10llo/reelkit — 字幕同步

當 talent 的錄影送達 reelkit 集數時使用 — 在本機以 Whisper 轉寫、將字幕校正為腳本、重新調整場景時間、與使用者審閱變更後套用。

reelkit — 字幕同步 是什麼?

這個技能會自動處理 talent 錄製的片段,將其與腳本同步。它使用本機的 Whisper 模型進行轉寫,並將轉寫結果與腳本對齊,產生校正後的逐字字幕。技能會產生一份詳細的審閱報告(西班牙文),標示出每個差異、警告,以及語音是否超出畫面結尾。使用者可以編輯 `captions.proposed.json` 來修正任何詞語,然後在套用最終變更前先審閱一個摘要表格。支援的語音模型包含較大但更準確的 `large-v3-turbo`,以及較小但準確度較低的 `small` 模型;如果 WebGPU 不可用,系統仍會附加片段,但字幕會暫時以腳本時間為基礎。整個流程包含四個步驟:檢查 Whisper 是否就緒、準備(僅產生提案)、審閱、以及套用(在使用者核准後)。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/10llo/reelkit/tree/HEAD/skills/caption-sync

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

字幕同步

Talent 的片段會放入右下角的欄位;其語音驅動字幕及場景剪輯。在使用者核准審閱之前,集數不會有任何變更。

所有指令皆從工作區根目錄執行。

1. Whisper 準備好了嗎?

npm run reelkit -- whisper check --model=<model>   # 你將使用的模型;預設為 large-v3-turbo

如果模型尚未下載,sync prepare 會下載它(large-v3-turbo 為 1.6 GB)— 請先告知使用者,或提供 --model=small(586 MB,準確度較低)。如果 WebGPU 不可用,sync 仍會附加片段,但字幕會暫時以腳本時間為基礎(「暫定」)。

2. 準備(僅寫入提案)

npm run reelkit -- sync prepare episodes/<folder> <path/to/clip> [--model=large-v3-turbo]

它會將片段複製為 talent.proposed.<ext>,進行轉寫,將詞語與腳本對齊,然後寫入:

  • sync-report.md — 審閱報告(西班牙文):片段詳細資訊、開頭靜音修剪、場景剪輯(前 → 後)、每個有差異的詞語(校正為腳本的拼字,⚠ Revisar 表示大幅替代,顯示聽到的內容,⚠ No se escuchó 表示跳過的詞語,即興保留原樣)、警告,以及語音是否超出結尾。
  • captions.proposed.json — 影片將使用的字幕(可編輯:修改某個詞的 "text" 來修正)。
  • sync-proposal.json — 修剪、場景開始時間、檔案。

對齊的判斷方式:腳本的拼字搭配 Whisper 的時間戳記(用於相符或接近相符的詞語;數字會與其口語形式配對:「12」↔「doce」);大幅替代會顯示聽到的內容並標記;Whisper 沒聽到的詞語會從字幕中省略;talent 額外說的詞語會保留。

3. 與使用者一起審閱

閱讀 sync-report.md,並向使用者顯示一個簡短表格:場景剪輯(前 → 後)、每個被標記的詞語(場景、腳本、聽到的內容、狀態、時間),以及是否有超時行。要求使用者核准,或指出要修改哪些詞語(編輯 captions.proposed.json,然後顯示變更)。

  • 語音超出結尾(⚠ La voz sigue … s):最後幾個詞語會被剪掉。建議重新錄製較短的版本。只有在使用者明確同意下,才能使用 --accept-overrun 套用。
  • 整個場景未被聽到:視覺可能與語音不符 — 詢問是要重新錄製還是繼續。
  • 匹配度低(「¿Es el clip correcto?」):確認這是正確的片段和集數。

4. 套用(核准後)

npm run reelkit -- sync apply episodes/<folder> [--accept-overrun]

它會將暫存的片段重新命名為 talent.<ext>,寫入 captions.json,將 clip、sceneStarts、captionsSrc 和 stage: "synced" 儲存至 episode.json,並移除它所取代的舊片段。

5. 檢查

npm run check -- episodes/<folder>
npx remotion still Episode out/<folder>-sync.png --public-dir episodes/<folder> --frame=<N>

檢視句子中間的靜止畫面:片段會填滿欄位,而字幕會顯示正在說話的詞語。提供 Studio:npm run studio -- episodes/<folder>。下一步:/reelkit:export。

相關技能