Video-Prozessor
Anleitung
Diese Fähigkeit bietet Videoverarbeitungswerkzeuge, darunter Audioextraktion, Formatkonvertierung und Audiotranskription mit FFmpeg und OpenAIs Whisper-Modell.
Voraussetzungen
Erforderliche Werkzeuge (müssen in Ihrer Umgebung installiert sein):
-
FFmpeg: Multimedia-Framework für Video-/Audiobearbeitung
# macOS brew install ffmpeg # Ubuntu/Debian apt-get install ffmpeg # Installation überprüfen ffmpeg -version -
OpenAI Whisper: Sprach-zu-Text-Transkriptionsmodell
# Mit pip installieren pip install -U openai-whisper # Installation überprüfen whisper --help
Python-Pakete (im Skript per PEP 723 enthalten):
- click (CLI-Framework)
- ffmpeg-python (Python-Wrapper für FFmpeg)
Arbeitsablauf
Verwenden Sie das Skript scripts/video_processor.py für alle Videoverarbeitungsaufgaben. Das Skript bietet eine einfache CLI mit den folgenden Befehlen:
1. Audio aus Video extrahieren
Die Audiospur aus einer Videodatei extrahieren:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio input.mp4 output.wav
Optionen:
--format: Ausgabeformat (Standard: wav). Unterstützt: wav, mp3, aac, flac- Die Ausgabe eignet sich für die Transkription oder die eigenständige Audioverwendung
2. Video in MP4 konvertieren
Jede Videodatei in das MP4-Format konvertieren:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 input.avi output.mp4
Optionen:
--codec: Video-Codec (Standard: libx264). Übliche Optionen: libx264, libx265, h264--preset: Kodierungsgeschwindigkeits-/Qualitätsvoreinstellung (Standard: medium). Optionen: ultrafast, fast, medium, slow, veryslow
3. Video in WebM konvertieren
Jede Videodatei in das WebM-Format (weboptimiert) konvertieren:
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm input.mp4 output.webm
Optionen:
--codec: Video-Codec (Standard: libvpx-vp9). Optionen: libvpx, libvpx-vp9- WebM ist für die Wiedergabe im Web und Streaming optimiert
4. Audio mit Whisper transkribieren
Audio- oder Videodateien mit OpenAIs Whisper-Modell in Text umwandeln:
# Videodatei transkribieren (Audio wird automatisch extrahiert)
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe input.mp4 transcript.txt
# Audiodatei direkt transkribieren
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe audio.wav transcript.txt
Optionen:
--model: Whisper-Modellgröße (Standard: base). Optionen:tiny: Am schnellsten, geringste Genauigkeit (~1 GB RAM)base: Schnell, gute Genauigkeit (~1 GB RAM) [STANDARD]small: Ausgewogen (~2 GB RAM)medium: Hohe Genauigkeit (~5 GB RAM)large: Beste Genauigkeit, langsamste (~10 GB RAM)
--language: Sprachcode (Standard: automatische Erkennung). Beispiele: en, es, fr, de, zh--format: Ausgabeformat (Standard: txt). Optionen: txt, srt, vtt, json
Transkriptionsablauf:
- Wenn die Eingabe ein Video ist, extrahiert FFmpeg das Audio in eine temporäre WAV-Datei
- Whisper verarbeitet die Audiodatei
- Die Transkription wird im angeforderten Format gespeichert
- Temporäre Dateien werden automatisch bereinigt
5. Kombinierter Arbeitsablauf (Beispiel)
Ein Video durchgängig verarbeiten:
# 1. Audio für die Analyse extrahieren
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav
# 2. In SRT-Untertitel transkribieren
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 lecture.srt --format srt --model small
# 3. In Web-Format konvertieren
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm lecture.mp4 lecture.webm
Wichtige technische Details
Integration von FFmpeg und Whisper:
- FFmpeg transkribiert selbst kein Audio – es bereitet Audio für die externe Transkription vor
- Der Arbeitsablauf ist: Audio extrahieren (FFmpeg) → Transkribieren (Whisper) → Optional: Wieder mit Video zusammenführen
- FFmpeg kann Audio für die Echtzeitverarbeitung direkt an Whisper weiterleiten (fortgeschrittener Anwendungsfall)
Audioformat für die Transkription:
- Whisper arbeitet am besten mit den Formaten WAV oder MP3
- Abtastrate: 16 kHz ist optimal (das Skript übernimmt die Konvertierung automatisch)
- Das Skript extrahiert Audio mit optimalen Einstellungen für Whisper
Ausgabeformate:
- txt: Reine Text-Transkription
- srt: SubRip-Untertitelformat (enthält Zeitstempel)
- vtt: WebVTT-Untertitelformat (Webstandard)
- json: Detailliertes JSON mit Zeitstempeln auf Wortebene
Fehlerbehandlung
Das Skript enthält eine umfassende Fehlerbehandlung:
- Überprüft, ob Eingabedateien existieren
- Stellt sicher, dass FFmpeg und Whisper installiert sind
- Gibt klare Fehlermeldungen bei fehlenden Abhängigkeiten aus
- Bereinigt temporäre Dateien bei Fehlern
Leistungstipps
- Verwenden Sie die Modelle
tinyoderbasefür schnelle Entwürfe - Verwenden Sie
smallodermediumfür Transkriptionen in der Produktion - Verwenden Sie
largenur, wenn maximale Genauigkeit erforderlich ist - Ziehen Sie bei langen Videos in Betracht, zuerst das Audio zu extrahieren und dann in Segmenten zu transkribieren
- Die Konvertierung in WebM mit VP9 dauert länger, erzeugt aber kleinere Dateien
Beispiele
Beispiel 1: Schnelle Konvertierung von Video in MP4
Benutzeranfrage:
Ich habe eine AVI-Datei von meiner alten Kamera. Kannst du sie in MP4 konvertieren?
Sie würden:
- Den Befehl to-mp4 mit Standardeinstellungen verwenden:
uv run .claude/skills/video-processor/scripts/video_processor.py to-mp4 old_video.avi output.mp4 - Bestätigen, dass die Konvertierung erfolgreich abgeschlossen wurde
- Den Benutzer über den Speicherort der Ausgabedatei informieren
Beispiel 2: Audio extrahieren und transkribieren
Benutzeranfrage:
Ich habe ein Vorlesungsvideo aufgenommen und brauche eine Abschrift. Kannst du das Audio extrahieren und transkribieren?
Sie würden:
- Zuerst das Audio extrahieren:
uv run .claude/skills/video-processor/scripts/video_processor.py extract-audio lecture.mp4 lecture.wav - Dann mit dem base-Modell (guter Kompromiss aus Geschwindigkeit und Genauigkeit) transkribieren:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe lecture.mp4 transcript.txt --model base - Die Datei transcript.txt mit dem Benutzer teilen
Beispiel 3: Weboptimiertes Video mit Untertiteln erstellen
Benutzeranfrage:
Ich muss dieses Video mit Untertiteln auf meine Website stellen. Kannst du helfen?
Sie würden:
- Für die Weboptimierung in WebM konvertieren:
uv run .claude/skills/video-processor/scripts/video_processor.py to-webm presentation.mp4 presentation.webm - Eine SRT-Untertiteldatei erstellen:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe presentation.mp4 subtitles.srt --format srt --model small - Den Benutzer darüber informieren, dass jetzt Folgendes vorliegt:
- presentation.webm (weboptimiertes Video)
- subtitles.srt (Untertiteldatei zum Einbetten)
Beispiel 4: Hochwertige Transkription mit Sprachangabe
Benutzeranfrage:
Ich habe ein spanisches Interviewvideo, für das ich eine genaue Abschrift zur Veröffentlichung benötige.
Sie würden:
- Ein größeres Modell mit angegebener Sprache für beste Genauigkeit verwenden:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.txt --model medium --language es - Optional eine SRT-Datei zur Überprüfung erstellen:
uv run .claude/skills/video-processor/scripts/video_processor.py transcribe interview.mp4 transcript.srt --format srt --model medium --language es - Die Abschrift mit dem Benutzer durchgehen und eventuelle Korrekturen vornehmen
Beispiel 5: Stapelverarbeitung mehrerer Videos
Benutzeranfrage:
Ich habe einen Ordner mit Schulungsvideos, die alle in WebM konvertiert und transkribiert werden müssen.
Sie würden:
- Alle Videodateien im Verzeichnis auflisten:
ls training_videos/*.mp4 - Für jede Videodatei die Konvertierung und Transkription ausführen:
# Für jedes Video: video1.mp4, video2.mp4, usw. uv run .claude/skills/video-processor/scripts/video_processor.py to-webm training_videos/video1.mp4 output/video1.webm uv run .claude/skills/video-processor/scripts/video_processor.py transcribe training_videos/video1.mp4 output/video1.txt --model base # Für jede Datei wiederholen - Bestätigen, dass alle Konvertierungen und Transkriptionen abgeschlossen sind
- Eine Zusammenfassung der Ausgabedateien geben
Zusammenfassung
Die Fähigkeit Video-Prozessor bietet eine einheitliche Oberfläche für gängige Videoverarbeitungsaufgaben:
- Audioextraktion: Audiospuren in verschiedenen Formaten extrahieren
- Formatkonvertierung: In MP4 (universell) oder WebM (weboptimiert) konvertieren
- Transkription: Sprach-zu-Text mit mehreren Ausgabeformaten
- Flexibel: CLI-Argumente für Modellauswahl, Sprache und Ausgabeformate
Alle Vorgänge werden über ein einziges, gut dokumentiertes Skript mit sinnvollen Standardeinstellungen und umfassender Fehlerbehandlung abgewickelt.