Communitygithub.com

Nuva-Lab/vibecut

スクリプトテキストを音声にアライメントして、カラオケ形式の単語レベルタイムスタンプを生成します。Qwen3-ForcedAligner + jieba(中国語単語分割)を使用します。

vibecut とは?

このスキルは、既存のスクリプトテキストを音声ファイルにアライメントし、カラオケ形式のキャプションに必要な単語レベルのタイムスタンプを生成するツールです。Qwen3-ForcedAligner-0.6Bモデル(約30msの精度)を使用して文字レベルのタイムスタンプを取得し、jiebaライブラリで中国語の単語分割を実行して自然な単語グループを形成します。出力はRemotionの`RollingCaption`コンポーネントで直接利用可能なJSON形式で、フレーズ内に単語ごとのタイムスタンプが埋め込まれています。コマンドラインインターフェースとPython APIの両方を提供し、エラーハンドリング(ファイル欠落、モデルダウンロード失敗、依存関係不足)を含む堅牢な実装です。対応言語は中国語、英語、広東語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語の11言語です。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Nuva-Lab/vibecut/tree/HEAD/skills/align-captions

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

align-captions

既存のスクリプトテキストを音声にアライメントして、カラオケ形式のキャプションを生成します。Qwen3-ForcedAligner-0.6B(約30msの精度)と、中国語の単語分割(文字を自然な単語にグループ化)にjiebaを使用します。

パイプライン

スクリプト + 音声
    ↓
Qwen3-ForcedAligner(文字レベルタイムスタンプ)
    ↓
jieba単語分割(文字 → 中国語単語)
    ↓
位置ベースのフレーズマッチング(単語 → フレーズ)
    ↓
出力:単語タイムスタンプが埋め込まれたフレーズ

使用方法

# スクリプトを音声にアライメント(単語タイムスタンプ付きフレーズレベル出力)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."

# ファイルに保存
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json

# 単語レベル出力のみ(フレーズグループ化なし)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level

出力形式

Remotionのカラオケレンダリング用に設計されています:

{
  "segments": [
    {
      "text": "当全世界...",
      "startMs": 240, "endMs": 2080,
      "words": [
        {"text": "当", "startMs": 240, "endMs": 400},
        {"text": "全世界", "startMs": 400, "endMs": 880}
      ]
    }
  ],
  "word_segments": [...],
  "language": "Chinese",
  "model": "Qwen3-ForcedAligner-0.6B"
}

プログラムでの使用法

from align import align_captions

# 単語タイムスタンプが埋め込まれたフレーズを取得
result = align_captions(
    "voiceover.wav",
    script="当全世界都在追AI的时候...",
    language="Chinese"
)

# 各フレーズにカラオケハイライト用の'words'配列が含まれます
for phrase in result["segments"]:
    print(f"{phrase['text']}: {len(phrase['words'])} words")

make-videoとの統合

make_video.py は以下の条件が満たされた場合、自動的にalign-captionsを使用します:

  1. 音声ファイルが存在する
  2. project.json にスクリプトが指定されている
  3. caption_mode が "auto" または "asr" に設定されている

出力はRemotionのRollingCaptionコンポーネントに渡され、カラオケレンダリングが行われます。

エラー回復

  • 音声ファイルが見つからない場合: 呼び出し前にパスの存在を確認してください。スクリプトはFileNotFoundErrorを発生させます——project.jsonで正しい音声パスを確認してください。
  • モデルのダウンロードに失敗した場合: Qwen3-ForcedAligner(約1GB)は初回実行時にダウンロードされます。失敗した場合(ネットワーク/ディスク問題)、再試行するか、手動でHuggingFaceキャッシュ(~/.cache/huggingface/)にダウンロードしてください。
  • jiebaがインストールされていない場合: pip install jieba を実行してください。これがない場合、中国語テキストは文字レベルのタイムスタンプにフォールバックします(単語グループ化なし)。

注意事項

  • 対応言語は11言語:中国語、英語、広東語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

関連スキル