Bilibili / YouTube Audio zu Untertiteln
Verwendet die Conda-Umgebung codex und transkribiert in der Originalsprache. Standardmodell ist Qwen/Qwen3-ASR-1.7B + Qwen/Qwen3-ForcedAligner-0.6B, aufgerufen über das offizielle qwen-asr-Toolkit mit return_time_stamps=True. Das ASR-Modell generiert nur Text, der ForcedAligner liefert Wort-/Zeichen-Zeitstempel. SRT wird basierend auf Interpunktion, Pausen, etwa 6 Sekunden und 42 Zeichen organisiert. Die Grenzen stammen aus den tatsächlichen Alignierungsergebnissen, nicht aus gleichmäßiger Aufteilung.
--engine whisper behält den nativen Long-Form-Modus von openai/whisper-large-v3-turbo bei, wobei die Pipeline return_timestamps=True verwendet und chunk_length_s nicht gesetzt wird. Whisper experimentelle externe Segmentierung hatte in der Vergangenheit fünfmünütige Untertitel-Segmente und aufeinanderfolgende Wiederholungen produziert und sollte nicht standardmäßig aktiviert sein. Das Qwen SDK behandelt Segmente von maximal 180 Sekunden Länge nach Low-Energy-Grenzen für die Alignierung und stellt automatisch die globale Zeit wieder her. Dies ist eine andere Implementierung als die experimentelle 30-Sekunden-Pipeline-Segmentierung von Whisper.
Qwen Zeitstempel unterstützen Chinesisch, Englisch, Kantonesisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch und Spanisch; andere Sprachen erzwingen die explizite Wahl von Whisper. Es wird nicht angenommen, dass eine Sprache, die von ASR unterstützt wird, auch Alignierung unterstützt. Standardmäßige automatische Erkennung; bei bekannter Sprache --language chinese oder --language english übergeben; auch gebräuchliche Codes wie zh/en werden akzeptiert.
Ausführung und Ausgabe
Notiere zunächst den absoluten Pfad des aktuellen Benutzerprojekts. Verwende nicht das Skill-Installationsverzeichnis als Projektverzeichnis. Ersetze <skillverzeichnis> durch das Verzeichnis, in dem sich diese SKILL.md befindet, und <projektverzeichnis> durch den Projektpfad beim Aufruf; die URL wird als einzelnes, in Anführungszeichen gesetztes Argument übergeben.
conda run --no-capture-output -n codex python "<skillverzeichnis>/scripts/bilibili_audio_subtitles.py" \
'https://www.bilibili.com/video/BV1w88n6uE1X/' \
--project-dir '<projektverzeichnis>'
Derselbe Befehl akzeptiert auch YouTube-Links, z. B. 'https://youtu.be/jNQXAC9IVRw'. Behalte den ursprünglichen Skill-Namen und Skriptnamen bei; bereits vorhandene Aufrufe von $bilibili-audio-subtitles können weiterverwendet werden.
Bilibili-Audio wird mit yutto heruntergeladen und als ~/Downloads/<BV-Nummer oder av-Nummer>-p<N>.m4a gespeichert; YouTube-Audio wird mit yt-dlp heruntergeladen und als ~/Downloads/youtube-<Video-ID>.m4a gespeichert. Das Projektverzeichnis gibt jedes Mal nur eine SRT-Datei mit Zeitstempeln und Untertiteltext aus; nur diese empfohlene Untertiteldatei wird ausgeliefert. Keine VTT-, TXT-, JSON- oder Modellvergleichsdateien werden zusätzlich erstellt. Notwendige Qualitätswarnungen werden mit kurzen Erklärungen zur Überprüfung versehen, ohne zusätzliche Ausgabedateien zu generieren. Die rohen Modelltexte/Chunks und reproduzierbare Diagnosen werden in einer separaten JSON-Datei unter ~/.cache/bilibili-audio-subtitles/runs/ gespeichert; das Ausführungslog enthält den Pfad. Dies sind interne Diagnosedaten, keine zusätzlichen Untertitel-Ausgabedateien.
Vorhandene Audiodateien werden wiederverwendet. Wenn bereits eine gleichnamige SRT-Datei existiert, verwendet das neue Ergebnis automatisch einen separaten Dateinamen, der Modus, Skriptversion und Ausführungsnummer enthält, sodass die alte Version erhalten bleibt. Bestehende SRT-Dateien werden nicht überschrieben oder gelöscht. Nach einem erneuten Versuch wird dem Benutzer explizit die empfohlene SRT-Version mitgeteilt, nicht nur eine Liste aller Pfade.
Häufig verwendete Optionen:
--audio '/absoluter/Pfad/audio.m4a': Lokale Audiodatei transkribieren, keine URL übergeben.--language chinese: Bei bekannter Sprache explizit angeben; Standard ist automatische Erkennung.--engine qwen|whisper: Standardmäßig Qwen; Whisper für Vergleiche, Priorität auf Geschwindigkeit oder für Sprachen ohne Qwen-Alignierungsunterstützung.--project-dir/--download-dir: Überschreibt das Projekt-Ausgabeverzeichnis oder das Downloads-Verzeichnis.--device auto|cpu|cuda:0: Standardmäßig CUDA bevorzugen; Treiber nicht automatisch ändern.--download-only: Nur herunterladen, später mit--audiofortfahren.--output-name 'Dateiname': Benutzerdefinierter SRT-Dateiname ohne Pfad oder Erweiterung.--diagnostics-dir '/absoluter/Pfad': Überschreibt das interne Verzeichnis für rohe Ergebnisse und Diagnosen.--auth-file '/absoluter/Pfad': Nur für vom Benutzer bereitgestellte Bilibili/yutto-Authentifizierungsdateien.--cookies-file '/absoluter/Pfad': Nur für vom Benutzer bereitgestellte YouTube-Netscape-Cookie-Dateien; Browser werden nicht gescannt.--max-cue-seconds 12: Schwellenwert für Warnungen bei überlangen Untertiteln; Standard 12 Sekunden.--limit-seconds 30: Vom Benutzer angeforderter Ausschnitt oder Rauchtest; Dateiname wird mit sample markiert, Bericht stellt klar, dass es keine vollständige Transkription ist.--threads 8/--batch-size 1: Steuert Threads und Inferenz-Batch-Größe.--engine whisper --chunk-length-seconds 30: Nur bei klarem Grund und unter Angabe des experimentellen Risikos aktivieren; Qwen akzeptiert diesen Parameter nicht.
Unterstützt Bilibili-Standard-Links /video/BV…, /video/av… und direkte BV/av-Nummern. Behalte die durch ?p=N angegebene Teilnummer bei, entferne Tracking-Parameter. Standardmäßig wird nur ein Teil verarbeitet; bei mehreren Teilen wird jeder Teil einzeln aufgerufen. Bilibili-Kurzlinks werden zuerst in Standardlinks aufgelöst.
YouTube unterstützt youtube.com/watch?v=…, youtu.be/…, shorts/…, live/… und embed/… (inklusive www, m, music Subdomains). Vereinheitlichung zu einem einzelnen Video-Standardlink, Entfernen von Tracking-, Startzeit- und Playlist-Parametern; explizite Verwendung von --no-playlist. Links, die nur eine Playlist enthalten, werden direkt abgelehnt. Download wählt bestaudio, extrahiert via FFmpeg in M4A, lädt keine Plattform-Untertitel, Cover oder Videos als Ausgabedateien. Browser werden nicht gescannt, Cookies nicht ausgegeben, keine eigenständige Ausweitung auf ganze Sammlungen.
Bei Download-Fehlern zuerst Update prüfen
Diese Regel gilt für beide Plattformen. Wenn der Download tatsächlich fehlschlägt oder der Downloader Erfolg meldet, aber keine gültige Audiodatei vorhanden ist, prüft das Skript zuerst auf kompatible stabile Versionen des entsprechenden Download-Pakets: Bilibili prüft yutto, YouTube prüft yt-dlp. Verwende pip index versions <paket> --json des aktuellen codex-Python, um die lokale mit der Paketindex-Version zu vergleichen; respektiere vorhandene pip-Mirror-Konfigurationen.
Wenn eine neuere Version existiert, aktualisiert das Skript nur dieses Download-Paket und seine notwendigen Abhängigkeiten in dieser Umgebung und wiederholt den Download einmal. yt-dlp verwendet yt-dlp[default], um die Kompatibilität mit YouTube EJS-Abhängigkeiten zu gewährleisten. Wenn keine neuere Version vorhanden ist, die Abfrage fehlschlägt, das Upgrade fehlschlägt oder der zweite Download ebenfalls fehlschlägt, werden der ursprüngliche Fehler und das Update-Ereignis gespeichert und gestoppt; keine Endlosschleife von Wiederholungen oder automatisches Umschalten auf nightly/master. Nach der Paket-Update-Prüfung wird basierend auf dem tatsächlichen Fehler Netzwerk, Login, Video-Verfügbarkeit, regionale Beschränkungen und JS-Laufzeitumgebung überprüft.
Updates erfordern Netzwerk und Schreibberechtigungen in der Umgebung. Bei eingeschränkten Berechtigungen wird die für diesen Vorgang notwendige Berechtigung angefordert; das System-Python wird nicht gewechselt, Transkriptionsmodelle oder PyTorch werden nicht wegen Download-Problemen aktualisiert. Ein fehlgeschlagener Update-Check bedeutet nicht, dass die neueste Version bereits installiert ist. Vorhandene beschädigte Audiodateien müssen explizit gemeldet und aufbewahrt werden; sie werden nicht einfach überschrieben. Bei fehlgeschlagenen Wiederholungen neu erstellte ungültige Audiodateien behalten ebenfalls einen eigenen Namen.
Strukturprüfung und Qualitätsprüfung
Beide Prüfungen müssen getrennt gemeldet werden:
- Strukturprüfung: Gesamte Audiodauer dekodiert und passend, nicht leere Untertitel, Zeitstempel endlich, geordnet, gültige Start- und Endzeiten und nicht länger als die transkribierte Dauer. Bei Fehlschlag werden die ursprünglichen Diagnosedaten aufbewahrt; es wird keine SRT erstellt.
- Qualitätsprüfung: Untertitel länger als 12 Sekunden, einzelner Eintrag länger als 120 Zeichen, Textdichte über 25 Zeichen pro Sekunde, mindestens 8 Sekunden aber unter 0,5 Zeichen pro Sekunde, einzelner Eintrag mit mindestens 5 aufeinanderfolgenden wiederholten Wörtern, mindestens 3 aufeinanderfolgende Einträge mit identischem Text. Auch wenn Zeitstempel korrigiert werden müssen, wird eine Überprüfung markiert. Schwellenwerte und Warnungsdetails werden in die Diagnose geschrieben.
Exit-Code 0 bedeutet, die Struktur wurde bestanden und es wurden keine offensichtlichen Qualitätsauffälligkeiten gefunden; Exit-Code 2 bedeutet, SRT wurde erstellt, aber erfordert Überprüfung; Exit-Code 1 bedeutet Ausführungs- oder Strukturfehler. Exit-Code 2 nicht als erfolgreiche Prüfung ausgeben. Die Qualitätsregeln sind heuristische Hinweise, kein Beweis für die inhaltliche Korrektheit der Sprache; Fehlalarme müssen anhand der Audiodatei überprüft werden. Um Warnungen zu vermeiden, werden keine Schwellenwerte eigenmächtig erhöht, Text gelöscht, Untertitel nach fester Zeitlänge neu geschnitten oder endlos wiederholt.
Bei Qualitätsauffälligkeiten werden Warnungs-Zeitfenster und Diagnosepfad ausgegeben. Wenn die Auffälligkeiten von einer expliziten Whisper-externen Segmentierung stammen, kann ein erneuter Versuch mit --engine whisper im nativen Modus durchgeführt werden; beide Ausgaben bleiben erhalten. Wenn immer noch Auffälligkeiten bestehen, wird eine Überprüfung empfohlen; Modell wird nicht automatisch gewechselt oder endlos wiederholt. Begriffskorrekturen werden separat behandelt, es werden keine globalen Ersetzungen von Wörtern wie "Auftragsfluss" oder "Maus" auf Basis von Vermutungen vorgenommen. Selbst ohne Warnungen wird das Ergebnis nur als maschinell erstellter Rohtext bezeichnet, nicht als satzweise korrigierter Untertitel.
Das Diagnose-JSON enthält die rohen Texte/Chunks, normalisierte Segmente, Strukturstatus, Qualitätsstatus und Warnungen, Korrekturrekorde, empfohlenen Status, Skriptversion, Transkriptionsmodus, Erzeugungsparameter, Model GenerationConfig und Revision, Bibliotheksversionen, Gerät, Dauer und Inferenzzeit. Es enthält auch die Quellplattform, Download-Paketversionen, Update-Prüfungen und Wiederholungsereignisse. Qwen speichert zusätzlich den rohen ASR-String vor der SDK-Nachbearbeitung, vollständige Alignierungseinheiten, erkannte Sprache, Anzahl der Nulldauer-Einheiten, Alignierungsmodellrevision und Segmentierungskonfiguration. Wiederholungen und nahe an der maximalen Länge im Rohen Output lösen ebenfalls eine Überprüfung aus; SDK-Wiederholungsfilterung darf keine Anomalien verdecken. Nulldauer-Zeitstempel nach der Quantisierung werden in benachbarte Untertitel integriert, wobei der Text erhalten bleibt; gefälschte Wortdauern werden nicht erzeugt. Wenn ein ganzer Abschnitt keine gültige Dauer hat oder Text nicht übereinstimmt, werden die ursprünglichen Ergebnisse gespeichert und der Vorgang fehlschlägt. Auch bei fehlgeschlagenem Download oder Transkription werden separate Diagnosen gespeichert, um Reproduktion und Vergleich zu ermöglichen.
Umgebung
Prüfe Python in der codex-Umgebung, die entsprechenden Download-Pakete für die Plattform, torch, transformers, accelerate, numpy, qwen-asr sowie ffmpeg und ffprobe im PATH. Installiere fehlende Abhängigkeiten nur in diese Umgebung:
conda run --no-capture-output -n codex python -m pip install yutto 'yt-dlp[default]' 'qwen-asr==0.0.6' numpy
Das Qwen-Toolkit fixiert Transformers 4.57.6 und accelerate 1.12.0, um ein Upgrade auf Transformers 5 oder die Installation von vLLM für diese Aufgabe zu vermeiden. Behalte vorhandenes, funktionierendes CUDA-PyTorch bei. Lokal validierte Umgebung: Python 3.12, qwen-asr 0.0.6, yutto 2.3.1, Transformers 4.57.6, PyTorch 2.14.1+cu130; Qwen verwendet unter CUDA bfloat16 und SDPA; FlashAttention wird nicht benötigt. Falls die lokale GPU-Umgebung neu aufgebaut werden muss:
conda run --no-capture-output -n codex python -m pip install 'torch==2.14.1+cu130' --index-url https://download.pytorch.org/whl/cu130
Wenn die Shell conda nicht findet, ermittle den absoluten Pfad. Lokal verfügbar: /home/leev/miniforge3/bin/conda oder /home/leev/miniforge3/envs/codex/bin/python. Wenn die GPU-Erkennung in einer eingeschränkten Sandbox fehlschlägt, wiederhole die Erkennung zunächst in einer Umgebung mit Zugriff auf NVIDIA-Geräte; gehe nicht direkt von einem Treiberschaden aus oder installiere die CPU-Version. Nur auf echtem Nicht-GPU-Systemen wird die passende CPU-PyTorch-Version verwendet.
YouTube benötigt zusätzlich die standardmäßigen EJS-Unterstützungsabhängigkeiten von yt-dlp und eine unterstützte JS-Laufzeitumgebung. Das Skript sucht nach Deno, Node, Bun oder QuickJS im PATH und übergibt diese explizit an yt-dlp; lokal wurde Node 24 mit yt-dlp 2026.08.19 validiert. Wenn keine Laufzeitumgebung gefunden wird oder die Version inkompatibel ist, wird dies explizit gemeldet; es werden nicht aufgrund von Download-Fehlern wiederholt andere Pakete installiert.
Der erste Durchlauf lädt das Modell in den Hugging Face Standard-Cache herunter und respektiert HF_HOME / HF_HUB_CACHE. Bei instabilem Netzwerk kann HF_HUB_OFFLINE=1 gesetzt werden. Bilibili verwendet nur yutto für den Download, deaktiviert Video, Danmaku, Plattform-Untertitel, Cover und Kapitelinformationen; YouTube verwendet nur yt-dlp für den Audio-Download. Fehler beim Download werden zuerst nach der Update-Regel behandelt, dann wird der tatsächliche Fehler gemeldet; bei fehlgeschlagener Transkription bleibt die Audiodatei erhalten. Bei eingeschränkten Berechtigungen werden die für diesen Vorgang notwendigen Verzeichnis- und GPU-Ausführungsberechtigungen angefordert.
Regressionsvalidierung
Beispiel:BV1w88n6uE1X. Führe mit derselben Audiodatei eine vollständige Standard-Qwen-Transkription durch; wenn ein Vergleich erforderlich ist, verwende --engine whisper, behalte beide Diagnose-Durchläufe und führe folgendes aus:
python -m unittest discover -s '<skillverzeichnis>/scripts' -p 'test_*.py'
python '<skillverzeichnis>/scripts/check_regression.py' \
--candidate '<neue-cache-diagnose-json>' --baseline '<alte-json>'
Wichtige Zeitfenster sind 00:43.240–05:46.060 und 08:10–08:33. Gemessene Qwen-Ergebnisse: 282 Segmente, längstes 5,76 Sekunden; nativer Whisper: 438 Segmente, längstes 5,18 Sekunden; beide Fenster haben keine überlangen oder wiederholten Warnungen. Die feste Segmentanzahl sollte nicht als Durchgangskriterium für andere Umgebungen verwendet werden. Das alte Ergebnis mit 117 Segmenten, 302,82 Sekunden Untertiteln und 23 aufeinanderfolgenden "好" sollte von der neuen Qualitätsprüfung als überprüfungsbedürftig markiert werden. Ein bestandener Regressionstest beweist nur, dass die bekannten Segmentierungs- und Wiederholungsprobleme nicht wieder aufgetreten sind; Semantik und Terminologie müssen weiterhin anhand der Audiodatei überprüft werden.
YouTube-Regression umfasst watch/Kurzlink/Shorts-Routing, nur Audio eines einzelnen Videos herunterladen, bei Fehlern zuerst Updates prüfen, maximal einen Wiederholungsversuch nach Upgrade, Stopp bei keinem Update oder fehlgeschlagenem Check. Getestet: jNQXAC9IVRw mit einer 19-Sekunden-Audiodatei erfolgreich heruntergeladen; Qwen erzeugte 7 SRT-Segmente (Whisper 4); nicht verfügbare Testvideos haben auch Update-Checks und Fehlerdiagnose-Pfade validiert.
Modellauswahl, gemessene Laufzeiten und Einschränkungen sind in references/model-evaluation.md zu finden; lies diese Datei bei Modellvergleichen oder Neubewertungen. Der aktuelle Standard legt einen Schwerpunkt auf die Erkennungsqualität chinesischer Begriffe und kann nicht behaupten, in allen Sprachen und Audiodateien Whisper zu übertreffen.
Implementierungsgrundlagen: yutto Offizielles Projekt, yt-dlp Offizielles Projekt, Qwen3-ASR Offizielles Projekt, Whisper Modellbeschreibung.