Communitygithub.com

Video-Transkription und Untertitel

Transkribiere ein Video ohne Untertitel (X/Twitter, YouTube, jede yt-dlp-URL oder lokale Datei) mit lokalem Whisper, erstelle eine SRT-Datei und brenne die Untertitel in ein neues MP4 ein. Verwende diese Fähigkeit, wenn nach 'Transkript erstellen', 'Sprecher extrahieren', 'Untertitel hinzufügen', 'Video untertiteln' oder 'Dieses Video hat keine Untertitel' gefragt wird.

Was ist Video-Transkription und Untertitel?

Diese Fähigkeit extrahiert Sprache aus einem Video und erstellt ohne Cloud-Dienst eine SRT-Untertiteldatei sowie ein Video mit eingebrannten Untertiteln. Sie nutzt `yt-dlp` zum Herunterladen, `faster-whisper` für die lokale Transkription auf der CPU oder GPU und `ffmpeg` zum Einbrennen der Untertitel. Die Fähigkeit unterstützt URLs von X/Twitter, YouTube, YouTube-DL-kompatiblen Quellen und lokale Videodateien. Sie ist nützlich für Entwickler und KI-Agenten, die barrierefreie oder mehrsprachige Videoinhalte benötigen, insbesondere wenn Cloud-Dienste vermieden werden sollen. Die Implementierung erfolgt über Python-Skripte für die Transkription und Befehlszeilenwerkzeuge für Download und Videoverarbeitung.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/gengwg/skills/tree/HEAD/video-transcribe-and-caption

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Fähigkeit: Video-Transkription und Untertitel

Zweck

Sprache in einem Video ohne Cloud-Dienst in Text umwandeln: Herunterladen mit yt-dlp, lokale Transkription mit faster-whisper, Erstellung einer SRT-Datei und optionales Einbrennen der Untertitel mit ffmpeg, sodass sie in jedem Player sichtbar sind.

Schritte

1. Werkzeuge prüfen

which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null

uvx yt-dlp und uv run --with faster-whisper vermeiden die Installation von Abhängigkeiten. Nur der ffmpeg subtitles-Filter benötigt einen echten ffmpeg-Build mit libass (ffmpeg -filters | grep subtitles); das gebündelte Binary von imageio-ffmpeg könnte es nicht enthalten.

2. Herunterladen

uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'

3. Transkribieren zu SRT

# srt.py — ausführen mit: uv run --with faster-whisper python srt.py
from faster_whisper import WhisperModel

def ts(t):
    h, r = divmod(t, 3600); m, s = divmod(r, 60)
    return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"

model = WhisperModel("large-v3", device="cpu", compute_type="int8")  # device="cuda" falls eine GPU vorhanden ist
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
    for i, s in enumerate(segments, 1):
        f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")

Modellauswahl:

  • small ist schnell, aber versteht mehrstimmiges Audio, Witze und Fachjargon schlecht. Gut für einen ersten Eindruck, nicht für Untertitel.
  • large-v3 ist das Modell für die Auslieferung. Es ist ein ~3 GB großer erster Download nach ~/.cache/huggingface/hub/; bei einer langsamen Verbindung kann das allein 30+ Minuten dauern. Informiere den Benutzer und frage vor dem Start nach; medium ist halb so groß.
  • Führe lange Transkriptionen im Hintergrund aus und berichte ehrlich über den Fortschritt: prüfe, ob der .incomplete-Blob im HF-Cache noch wächst (Herunterladen) oder der Prozess hohe CPU-Last aufweist (Transkribieren).

4. Korrektur falsch verstandener Zeilen

Whisper versteht Namen und Fachbegriffe immer noch falsch. Transkribiere nur den fehlerhaften Abschnitt neu mit Vokabelhinweisen, anstatt die gesamte Datei erneut auszuführen:

ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
    initial_prompt="Kurze Liste erwarteter Wörter: Produktnamen, Fachjargon, Emoji-Namen.")

Dann bearbeite diese SRT-Einträge von Hand (behalte die Zeitstempel bei). Das Ziehen eines Einzelbildes (ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg) hilft, wenn Bildschirmtext das Audio verdeutlicht. Teile dem Benutzer mit, welche Zeilen noch unsicher sind, anstatt eine Vermutung als Tatsache zu präsentieren.

5. Untertitel einbrennen

ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
  -vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
  -c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4

Die SRT-Datei neben der Ausgabe aufbewahren, damit eine einzelne Zeile korrigiert und in unter einer Minute neu gerendert werden kann. Für weiche (umschaltbare) Untertitel stattdessen mit ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4 muxen.

Ergebnisse

Originalvideo, untertiteltes Video, .srt und das reine Transkript. Erwähne die Größe des gecachten Modells, damit der Benutzer es löschen kann.

Häufige Fehler

  • Auslieferung von small-Modell-Ergebnissen als Untertitel.
  • Starten eines Multi-GB-Modell-Downloads ohne vorherige Rückfrage.
  • Erneutes Ausführen der vollständigen Transkription, um drei Zeilen zu korrigieren.
  • Verwendung eines ffmpeg ohne libass, was zu "No such filter: subtitles" führt.

Verwandte Skills