align-captions
Vorhandenen Skripttext mit Audio für Karaoke-ähnliche Untertitel abgleichen. Verwendet Qwen3-ForcedAligner-0.6B (~30 ms Präzision) und jieba für die chinesische Wortsegmentierung (gruppiert Zeichen in natürliche Wörter).
Pipeline
Skript + Audio
↓
Qwen3-ForcedAligner (Zeichen-genaue Zeitstempel)
↓
Jieba-Wortsegmentierung (Zeichen → chinesische Wörter)
↓
Positionsbasierte Phrasenerkennung (Wörter → Phrasen)
↓
Ausgabe: Phrasen mit eingebetteten Wort-Zeitstempeln
Verwendung
# Skript mit Audio abgleichen (Phrasen-Ausgabe mit Wort-Zeitstempeln)
python skills/align-captions/align.py voiceover.wav --script "当全世界都在追AI的时候..."
# In Datei speichern
python skills/align-captions/align.py voiceover.wav --script "..." --output captions.json
# Nur auf Wortebene (keine Phrasengruppierung)
python skills/align-captions/align.py voiceover.wav --script "..." --word-level
Ausgabeformat
Für die Karaoke-Wiedergabe mit Remotion entwickelt:
{
"segments": [
{
"text": "当全世界...",
"startMs": 240, "endMs": 2080,
"words": [
{"text": "当", "startMs": 240, "endMs": 400},
{"text": "全世界", "startMs": 400, "endMs": 880}
]
}
],
"word_segments": [...],
"language": "Chinese",
"model": "Qwen3-ForcedAligner-0.6B"
}
Programmgesteuerte Nutzung
from align import align_captions
# Phrasen mit eingebetteten Wort-Zeitstempeln abrufen
result = align_captions(
"voiceover.wav",
script="当全世界都在追AI的时候...",
language="Chinese"
)
# Jede Phrase enthält ein 'words'-Array für Karaoke-Highlighting
for phrase in result["segments"]:
print(f"{phrase['text']}: {len(phrase['words'])} Wörter")
Integration mit make-video
Das Skript make_video.py verwendet align-captions automatisch, wenn:
- Eine Voiceover-Datei vorhanden ist
- Ein Skript in project.json bereitgestellt wird
caption_modeauf "auto" oder "asr" gesetzt ist
Die Ausgabe wird an die Komponente RollingCaption von Remotion für die Karaoke-Wiedergabe übergeben.
Fehlerbehebung
- Audiodatei nicht gefunden: Überprüfen Sie den Pfad vor dem Aufruf. Das Skript wirft einen
FileNotFoundError– prüfen Sieproject.jsonauf den korrekten Voiceover-Pfad. - Modell-Download fehlgeschlagen: Qwen3-ForcedAligner (~1 GB) wird beim ersten Start heruntergeladen. Falls dies fehlschlägt (Netzwerk/Festplatte), versuchen Sie es erneut oder laden Sie das Modell manuell in den HuggingFace-Cache herunter (
~/.cache/huggingface/). - jieba nicht installiert: Führen Sie
pip install jiebaaus. Ohne jieba wird chinesischer Text auf Zeichenebene zurückgesetzt (keine Wortgruppierung).
Hinweise
- Unterstützt 11 Sprachen: Chinesisch, Englisch, Kantonesisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch, Spanisch