align-captions
Aligner un script texte existant sur un fichier audio pour générer des sous-titres de type karaoké. Utilise Qwen3-ForcedAligner-0.6B (~30 ms de précision) et jieba pour la segmentation des mots chinois (regroupe les caractères en mots naturels).
Pipeline
Script + Audio
↓
Qwen3-ForcedAligner (horodatages au niveau du caractère)
↓
Segmentation des mots par jieba (caractères → mots chinois)
↓
Correspondance de phrases basée sur la position (mots → phrases)
↓
Sortie : phrases avec horodatages des mots intégrés
Utilisation
# Aligner un script sur un fichier audio (sortie au niveau phrase avec horodatages des mots)
python skills/align-captions/align.py voiceover.wav --script "Quand tout le monde court après l'IA..."
# Enregistrer dans un fichier
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json
# Uniquement au niveau mot (sans regroupement en phrases)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level
Format de sortie
Conçu pour le rendu karaoké avec Remotion :
{
"segments": [
{
"text": "Quand tout le monde...",
"startMs": 240, "endMs": 2080,
"words": [
{"text": "Quand", "startMs": 240, "endMs": 400},
{"text": "tout", "startMs": 400, "endMs": 880}
]
}
],
"word_segments": [...],
"language": "French",
"model": "Qwen3-ForcedAligner-0.6B"
}
Utilisation programmatique
from align import align_captions
# Obtenir les phrases avec horodatages des mots
result = align_captions(
"voiceover.wav",
script="Quand tout le monde court après l'IA...",
language="French"
)
# Chaque phrase possède un tableau 'words' pour la mise en évidence karaoké
for phrase in result["segments"]:
print(f"{phrase['text']}: {len(phrase['words'])} mots")
Intégration avec make-video
Le script make_video.py utilise automatiquement align-captions lorsque :
- Un fichier voix off existe
- Un script est fourni dans
project.json caption_modeest défini sur "auto" ou "asr"
La sortie est transmise au composant RollingCaption de Remotion pour un rendu karaoké.
Récupération d'erreur
- Fichier audio introuvable : Vérifiez que le chemin existe avant d'appeler. Le script lèvera une exception
FileNotFoundError– vérifiez le chemin de la voix off dansproject.json. - Échec du téléchargement du modèle : Qwen3-ForcedAligner (~1 Go) se télécharge au premier lancement. En cas d'échec (réseau/disque), réessayez ou téléchargez manuellement vers le cache HuggingFace (
~/.cache/huggingface/). - jieba non installé : Exécutez
pip install jieba. Sans cela, le texte chinois utilise les horodatages au niveau du caractère (sans regroupement en mots).
Remarques
- Prend en charge 11 langues : chinois, anglais, cantonais, français, allemand, italien, japonais, coréen, portugais, russe, espagnol