Fähigkeit: Video-Transkription und Untertitel
Zweck
Sprache in einem Video ohne Cloud-Dienst in Text umwandeln: Herunterladen mit yt-dlp, lokale Transkription mit faster-whisper, Erstellung einer SRT-Datei und optionales Einbrennen der Untertitel mit ffmpeg, sodass sie in jedem Player sichtbar sind.
Schritte
1. Werkzeuge prüfen
which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null
uvx yt-dlp und uv run --with faster-whisper vermeiden die Installation von Abhängigkeiten.
Nur der ffmpeg subtitles-Filter benötigt einen echten ffmpeg-Build mit libass
(ffmpeg -filters | grep subtitles); das gebündelte Binary von
imageio-ffmpeg könnte es nicht enthalten.
2. Herunterladen
uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'
3. Transkribieren zu SRT
# srt.py — ausführen mit: uv run --with faster-whisper python srt.py
from faster_whisper import WhisperModel
def ts(t):
h, r = divmod(t, 3600); m, s = divmod(r, 60)
return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"
model = WhisperModel("large-v3", device="cpu", compute_type="int8") # device="cuda" falls eine GPU vorhanden ist
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
for i, s in enumerate(segments, 1):
f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")
Modellauswahl:
smallist schnell, aber versteht mehrstimmiges Audio, Witze und Fachjargon schlecht. Gut für einen ersten Eindruck, nicht für Untertitel.large-v3ist das Modell für die Auslieferung. Es ist ein ~3 GB großer erster Download nach~/.cache/huggingface/hub/; bei einer langsamen Verbindung kann das allein 30+ Minuten dauern. Informiere den Benutzer und frage vor dem Start nach;mediumist halb so groß.- Führe lange Transkriptionen im Hintergrund aus und berichte ehrlich über den Fortschritt:
prüfe, ob der
.incomplete-Blob im HF-Cache noch wächst (Herunterladen) oder der Prozess hohe CPU-Last aufweist (Transkribieren).
4. Korrektur falsch verstandener Zeilen
Whisper versteht Namen und Fachbegriffe immer noch falsch. Transkribiere nur den fehlerhaften Abschnitt neu mit Vokabelhinweisen, anstatt die gesamte Datei erneut auszuführen:
ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
initial_prompt="Kurze Liste erwarteter Wörter: Produktnamen, Fachjargon, Emoji-Namen.")
Dann bearbeite diese SRT-Einträge von Hand (behalte die Zeitstempel bei). Das Ziehen eines Einzelbildes
(ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg) hilft, wenn Bildschirmtext
das Audio verdeutlicht. Teile dem Benutzer mit, welche Zeilen noch unsicher sind,
anstatt eine Vermutung als Tatsache zu präsentieren.
5. Untertitel einbrennen
ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
-vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
-c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4
Die SRT-Datei neben der Ausgabe aufbewahren, damit eine einzelne Zeile korrigiert und in unter einer
Minute neu gerendert werden kann. Für weiche (umschaltbare) Untertitel stattdessen mit
ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4 muxen.
Ergebnisse
Originalvideo, untertiteltes Video, .srt und das reine Transkript. Erwähne
die Größe des gecachten Modells, damit der Benutzer es löschen kann.
Häufige Fehler
- Auslieferung von
small-Modell-Ergebnissen als Untertitel. - Starten eines Multi-GB-Modell-Downloads ohne vorherige Rückfrage.
- Erneutes Ausführen der vollständigen Transkription, um drei Zeilen zu korrigieren.
- Verwendung eines ffmpeg ohne libass, was zu "No such filter: subtitles" führt.