video-verstehen
Verstehen Sie Videoinhalte lokal mithilfe von ffmpeg für die Frame-Extraktion und Whisper für die Transkription. Vollständig offline, keine API-Schlüssel erforderlich.
Voraussetzungen
ffmpeg+ffprobe(erforderlich):brew install ffmpegopenai-whisper(optional, für Transkription):pip install openai-whisper
Befehle
# Szenenerkennung + Transkription (Standard)
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4
# Extraktion von Schlüsselbildern
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4 -m keyframe
# Extraktion in regelmäßigen Abständen
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4 -m interval
# Begrenzung der extrahierten Bilder
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4 --max-frames 10
# Verwendung eines größeren Whisper-Modells
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4 --whisper-model small
# Nur Bilder, keine Transkription
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4 --no-transcribe
# Stillen Modus (nur JSON, keine Fortschrittsanzeige)
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4 -q
# Ausgabe in Datei
python3 skills/video-verstehen/scripts/video_verstehen.py video.mp4 -o ergebnis.json
CLI-Optionen
| Flag | Beschreibung |
|---|---|
video | Eingabevideodatei (positionsabhängig, erforderlich) |
-m, --mode | Extraktionsmodus: scene (Standard), keyframe, interval |
--max-frames | Maximale Anzahl zu behaltender Bilder (Standard: 20) |
--whisper-model | Größe des Whisper-Modells: tiny, base, small, medium, large (Standard: base) |
--no-transcribe | Überspringt die Audiotranskription, extrahiert nur Bilder |
-o, --output | Schreibt Ergebnis-JSON in eine Datei anstatt auf stdout |
-q, --quiet | Unterdrückt Fortschrittsmeldungen, gibt nur JSON aus |
Extraktionsmodi
| Modus | Funktionsweise | Am besten geeignet für |
|---|---|---|
scene | Erkennt Szenenwechsel mittels ffmpeg select='gt(scene,0.3)' | Die meisten Videos, abwechslungsreiche Inhalte |
keyframe | Extrahiert I-Frames (Codec-Schlüsselbilder) | Codierte Videos mit natürlicher Schlüsselbildplatzierung |
interval | Gleichmäßig verteilte Bilder basierend auf Dauer und max-frames | Feste Abtastung, vorhersehbare Ausgabe |
Wenn der Modus scene keine Szenenwechsel erkennt, fällt er automatisch auf den Modus interval zurück.
Ausgabe
Das Skript gibt JSON auf stdout aus (oder in eine Datei mit -o). Siehe references/ausgabe-format.md für das vollständige Schema.
{
"video": "video.mp4",
"duration": 18.076,
"resolution": {"width": 1224, "height": 1080},
"mode": "scene",
"frames": [
{"path": "/abs/path/frame_0001.jpg", "timestamp": 0.0, "timestamp_formatted": "00:00"}
],
"frame_count": 12,
"transcript": [
{"start": 0.0, "end": 2.5, "text": "Hallo und willkommen..."}
],
"text": "Gesamtes Transkript...",
"note": "Verwenden Sie das Lesen-Werkzeug, um Frame-Bilder zur visuellen Analyse anzuzeigen."
}
Verwenden Sie das Lesen-Werkzeug auf den Pfaden der Frame-Bilder, um extrahierte Bilder visuell zu inspizieren.
Referenzen
references/ausgabe-format.md-- Vollständige Dokumentation des JSON-Ausgabeformats