Communitygithub.com

Nuva-Lab/vibecut

Erzeuge karaokeartige Wortzeitstempel durch Abgleich von Skripttext mit Audio mithilfe von Qwen3-ForcedAligner und jieba für die chinesische Wortsegmentierung.

Was ist vibecut?

Diese Fähigkeit synchronisiert vorhandenen Skripttext mit Audio, um karaokeartige Untertitel zu erstellen. Sie nutzt das Qwen3-ForcedAligner-0.6B-Modell mit einer Präzision von etwa 30 Millisekunden und jieba für die Segmentierung chinesischer Zeichen in natürliche Wörter. Der Prozess durchläuft mehrere Stufen: Zuerst werden Zeichenzeitstempel generiert, dann erfolgt die Wortsegmentierung mit jieba, gefolgt von einer positionsbasierten Phrasenabgleichung. Das Ergebnis sind Phrasen mit eingebetteten Wortzeitstempeln, die ideal für Karaoke-Rendering in Remotion sind. Die Fähigkeit unterstützt elf Sprachen, darunter Chinesisch, Englisch, Deutsch und viele mehr. Sie ist in das make-video-System integriert, das automatisch die Untertitelausrichtung erkennt, wenn eine Sprachaufnahme und ein Skript vorhanden sind.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Nuva-Lab/vibecut/tree/HEAD/skills/align-captions

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

align-captions

Vorhandenen Skripttext mit Audio für Karaoke-ähnliche Untertitel abgleichen. Verwendet Qwen3-ForcedAligner-0.6B (~30 ms Präzision) und jieba für die chinesische Wortsegmentierung (gruppiert Zeichen in natürliche Wörter).

Pipeline

Skript + Audio
    ↓
Qwen3-ForcedAligner (Zeichen-genaue Zeitstempel)
    ↓
Jieba-Wortsegmentierung (Zeichen → chinesische Wörter)
    ↓
Positionsbasierte Phrasenerkennung (Wörter → Phrasen)
    ↓
Ausgabe: Phrasen mit eingebetteten Wort-Zeitstempeln

Verwendung

# Skript mit Audio abgleichen (Phrasen-Ausgabe mit Wort-Zeitstempeln)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."

# In Datei speichern
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json

# Nur auf Wortebene (keine Phrasengruppierung)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level

Ausgabeformat

Für die Karaoke-Wiedergabe mit Remotion entwickelt:

{
  "segments": [
    {
      "text": "当全世界...",
      "startMs": 240, "endMs": 2080,
      "words": [
        {"text": "当", "startMs": 240, "endMs": 400},
        {"text": "全世界", "startMs": 400, "endMs": 880}
      ]
    }
  ],
  "word_segments": [...],
  "language": "Chinese",
  "model": "Qwen3-ForcedAligner-0.6B"
}

Programmgesteuerte Nutzung

from align import align_captions

# Phrasen mit eingebetteten Wort-Zeitstempeln abrufen
result = align_captions(
    "voiceover.wav",
    script="当全世界都在追AI的时候...",
    language="Chinese"
)

# Jede Phrase enthält ein 'words'-Array für Karaoke-Highlighting
for phrase in result["segments"]:
    print(f"{phrase['text']}: {len(phrase['words'])} Wörter")

Integration mit make-video

Das Skript make_video.py verwendet align-captions automatisch, wenn:

  1. Eine Voiceover-Datei vorhanden ist
  2. Ein Skript in project.json bereitgestellt wird
  3. caption_mode auf "auto" oder "asr" gesetzt ist

Die Ausgabe wird an die Komponente RollingCaption von Remotion für die Karaoke-Wiedergabe übergeben.

Fehlerbehebung

  • Audiodatei nicht gefunden: Überprüfen Sie den Pfad vor dem Aufruf. Das Skript wirft einen FileNotFoundError – prüfen Sie project.json auf den korrekten Voiceover-Pfad.
  • Modell-Download fehlgeschlagen: Qwen3-ForcedAligner (~1 GB) wird beim ersten Start heruntergeladen. Falls dies fehlschlägt (Netzwerk/Festplatte), versuchen Sie es erneut oder laden Sie das Modell manuell in den HuggingFace-Cache herunter (~/.cache/huggingface/).
  • jieba nicht installiert: Führen Sie pip install jieba aus. Ohne jieba wird chinesischer Text auf Zeichenebene zurückgesetzt (keine Wortgruppierung).

Hinweise

  • Unterstützt 11 Sprachen: Chinesisch, Englisch, Kantonesisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch, Spanisch

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Verwandte Skills