Communitygithub.com

Nuva-Lab/vibecut

Génère des horodatages au niveau du mot pour le karaoké en alignant un script texte sur de l'audio à l'aide de Qwen3-ForcedAligner et jieba pour la segmentation des mots chinois.

Qu'est-ce que vibecut ?

Cette compétence permet d'aligner un script texte préexistant sur un fichier audio afin de produire des horodatages précis au niveau du mot, idéaux pour des sous-titres de type karaoké. Elle utilise le modèle Qwen3-ForcedAligner-0.6B, capable d'atteindre une précision d'environ 30 ms, et intègre jieba pour la segmentation des mots en chinois (regroupement des caractères en mots naturels). Le pipeline traite d'abord l'audio pour obtenir des horodatages au niveau du caractère, puis les regroupe en mots chinois via jieba, et enfin en phrases avec des horodatages intégrés. La sortie est au format JSON structuré, compatible avec le composant RollingCaption de Remotion pour un rendu karaoké. La compétence prend en charge 11 langues, dont le chinois, l'anglais, le français, l'allemand, le japonais et l'espagnol, et propose un mode de récupération d'erreur pour les problèmes de fichier audio, de téléchargement de modèle ou d'absence de jieba.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Nuva-Lab/vibecut/tree/HEAD/skills/align-captions

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

align-captions

Aligner un script texte existant sur un fichier audio pour générer des sous-titres de type karaoké. Utilise Qwen3-ForcedAligner-0.6B (~30 ms de précision) et jieba pour la segmentation des mots chinois (regroupe les caractères en mots naturels).

Pipeline

Script + Audio
    ↓
Qwen3-ForcedAligner (horodatages au niveau du caractère)
    ↓
Segmentation des mots par jieba (caractères → mots chinois)
    ↓
Correspondance de phrases basée sur la position (mots → phrases)
    ↓
Sortie : phrases avec horodatages des mots intégrés

Utilisation

# Aligner un script sur un fichier audio (sortie au niveau phrase avec horodatages des mots)
python skills/align-captions/align.py voiceover.wav --script "Quand tout le monde court après l'IA..."

# Enregistrer dans un fichier
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json

# Uniquement au niveau mot (sans regroupement en phrases)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level

Format de sortie

Conçu pour le rendu karaoké avec Remotion :

{
  "segments": [
    {
      "text": "Quand tout le monde...",
      "startMs": 240, "endMs": 2080,
      "words": [
        {"text": "Quand", "startMs": 240, "endMs": 400},
        {"text": "tout", "startMs": 400, "endMs": 880}
      ]
    }
  ],
  "word_segments": [...],
  "language": "French",
  "model": "Qwen3-ForcedAligner-0.6B"
}

Utilisation programmatique

from align import align_captions

# Obtenir les phrases avec horodatages des mots
result = align_captions(
    "voiceover.wav",
    script="Quand tout le monde court après l'IA...",
    language="French"
)

# Chaque phrase possède un tableau 'words' pour la mise en évidence karaoké
for phrase in result["segments"]:
    print(f"{phrase['text']}: {len(phrase['words'])} mots")

Intégration avec make-video

Le script make_video.py utilise automatiquement align-captions lorsque :

  1. Un fichier voix off existe
  2. Un script est fourni dans project.json
  3. caption_mode est défini sur "auto" ou "asr"

La sortie est transmise au composant RollingCaption de Remotion pour un rendu karaoké.

Récupération d'erreur

  • Fichier audio introuvable : Vérifiez que le chemin existe avant d'appeler. Le script lèvera une exception FileNotFoundError – vérifiez le chemin de la voix off dans project.json.
  • Échec du téléchargement du modèle : Qwen3-ForcedAligner (~1 Go) se télécharge au premier lancement. En cas d'échec (réseau/disque), réessayez ou téléchargez manuellement vers le cache HuggingFace (~/.cache/huggingface/).
  • jieba non installé : Exécutez pip install jieba. Sans cela, le texte chinois utilise les horodatages au niveau du caractère (sans regroupement en mots).

Remarques

  • Prend en charge 11 langues : chinois, anglais, cantonais, français, allemand, italien, japonais, coréen, portugais, russe, espagnol

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Skills associés