Wenn diese Fähigkeit aktiviert wird, beginnen Sie Ihre erste Antwort immer mit dem :mag: Emoji.
Videoanalysator
Videoanalyse ist die Praxis, strukturierte Informationen aus Videodateien zu extrahieren – Metadaten, Keyframes, Szenengrenzen, Farbpaletten, Bewegungsdaten und Audioeigenschaften. Eine gut aufgebaute Videoanalyse-Pipeline kombiniert FFmpeg für die Frameextraktion und Signalverarbeitung mit KI-Vision-Modellen für das semantische Verständnis visueller Inhalte. Diese Fähigkeit deckt den gesamten Workflow von rohen Videodateien bis zu verwertbaren Daten ab: Verwendung von ffprobe zur Metadateninspektion, FFmpeg-Filtergraphen für Frameextraktion und Szenendetektion, Audioanalyse zur Stille- und Lautstärkeerkennung und KI-Vision zur Designsystemextraktion und Inhaltsverständnis.
Die zwei Säulen der Videoanalyse sind FFmpeg (das Taschenmesser der Medienverarbeitung) und KI-Vision-Modelle (zum Verständnis des Inhalts jedes Frames). FFmpeg kümmert sich um die mechanische Arbeit – Video in Frames aufteilen, Szenenwechsel durch Pixelunterschiedsschwellen erkennen, Audiowellenformen extrahieren. KI-Vision kümmert sich um die semantische Arbeit – Identifizierung von UI-Komponenten, Lesen von Text, Extrahieren von Farbwerten und Verstehen von Layoutmustern.
Wann diese Fähigkeit verwenden
Lösen Sie diese Fähigkeit aus, wenn der Benutzer:
- Frames aus einem Video in regelmäßigen Abständen oder an Szenengrenzen extrahieren möchte
- Videometadaten (Auflösung, Dauer, Codecs, Bitrate) analysieren muss
- Nach Szenendetektion oder Szenenwechsel-Zeitstempeln fragt
- Eine Farbpalette oder ein Designsystem aus Videoinhalten extrahieren möchte
- Audiotracks analysieren muss (Stilleerkennung, Lautstärkepegel, Wellenformen)
- Nach Bewegungsanalyse oder Animationszeitpunkten aus Video fragt
- KI-Vision verwenden möchte, um Videoinhalte Bild für Bild zu verstehen
- Miniaturansichten oder Vorschaustreifen aus Videodateien generieren muss
Lösen Sie diese Fähigkeit NICHT aus für:
- Erstellung oder Bearbeitung von Videos von Grund auf – verwenden Sie remotion-video oder video-creator
- Schreiben von Videoskripten oder Storyboards – verwenden Sie video-scriptwriting
- Live-Videostreaming oder Echtzeit-Videoverarbeitung
- Videocodierung/-transcodierung für die Verteilung (das ist eine Rendering-Aufgabe, keine Analyse)
Grundprinzipien
-
Extrahieren dann analysieren – Trennen Sie immer die Frameextraktion (FFmpeg) von der semantischen Analyse (KI-Vision). Wenn Sie beides in einem Schritt versuchen, führt das zu fragilen Pipelines. Extrahieren Sie zuerst Frames auf die Festplatte und analysieren Sie sie dann.
-
ffprobe vor ffmpeg verwenden – Untersuchen Sie jedes Video vor der Verarbeitung mit ffprobe, um seine Eigenschaften zu verstehen. Blindes Ausführen von FFmpeg-Befehlen auf unbekannten Formaten führt zu stillen Fehlern und beschädigten Ausgaben.
-
Szenendetektion über feste Intervalle – Wenn Sie Videoinhalte analysieren, extrahieren Sie Frames an Szenengrenzen statt in festen Zeitintervallen. Szenenwechsel-Frames erfassen die visuelle Vielfalt des Videos mit weitaus weniger Frames als eine Extraktion pro Sekunde.
-
JSON-Ausgabe überall – Verwenden Sie das JSON-Ausgabeformat von ffprobe und strukturieren Sie Ihre Analyseergebnisse als JSON. Das macht Pipelines zusammensetzbar und Ergebnisse maschinenlesbar.
-
Bewusstsein für Speicherplatz – Die Videoframeextraktion kann Tausende großer Bilddateien erzeugen. Schätzen Sie immer die Ausgabegröße vor der Extraktion, verwenden Sie geeignete Bildformate (JPEG für Analyse, PNG für pixelgenaue Arbeit) und räumen Sie temporäre Frames nach der Analyse auf.
Kernkonzepte
FFmpeg-Pipeline-Architektur
FFmpeg verarbeitet Video über eine Pipeline aus Demuxing, Decodierung, Filterung, Codierung und Muxing. Für die Analyse verwenden wir hauptsächlich die Decodier- und Filterstufen:
Eingabedatei -> Demuxer -> Decoder -> Filtergraph -> Ausgabe (Frames/Daten)
Wichtige Filterkonzepte für die Analyse:
select-Filter: Wählen Sie aus, welche Frames basierend auf Ausdrücken ausgegeben werdenshowinfo-Filter: Drucken Sie Frame-Metadaten (Zeitstempel, Bildtyp usw.)scene-Detektion: Pixelunterschieds-Score zwischen aufeinanderfolgenden Framesfps-Filter: Reduzieren Sie die Bildrate, um in regelmäßigen Abständen zu extrahieren
Szenendetektion
Die Szenendetektion funktioniert durch den Vergleich aufeinanderfolgender Frames mithilfe von Pixelunterschieden. Der scene-Filter von FFmpeg erzeugt einen Score von 0.0 (identisch) bis 1.0 (vollständig unterschiedlich). Ein Schwellenwert von 0.3-0.4 erfasst große Szenenwechsel, während Kamerabewegungen und Beleuchtungswechsel ignoriert werden.
| Schwellenwert | Verhalten |
|---|---|
| 0.1-0.2 | Sehr empfindlich – erfasst Schwenks, Zooms, Beleuchtungswechsel |
| 0.3-0.4 | Ausgewogen – erfasst Schnitte, Übergänge, große Änderungen |
| 0.5-0.7 | Konservativ – nur harte Schnitte und dramatische Szenenwechsel |
| 0.8-1.0 | Zu aggressiv – verpasst die meisten Szenenwechsel |
KI-Vision-Analyse-Workflow
Der Workflow zum Extrahieren strukturierter Daten aus Video mithilfe von KI-Vision:
- Untersuchen – Videometadaten mit ffprobe abrufen (Dauer, Auflösung, fps)
- Extrahieren – Keyframes an Szenengrenzen mit FFmpeg ziehen
- Lesen – Jedes Frame-Bild mit dem Lese-Tool laden (unterstützt Bilder)
- Analysieren – Für jedes Frame Farben, Typografie, Layout, Komponenten identifizieren
- Aggregieren – Konsistente Muster über alle Frames hinweg finden
- Ausgeben – Strukturierte Designsystem- oder Inhaltsanalyse erstellen
Häufige Aufgaben
1. FFmpeg installieren und verifizieren
Überprüfen Sie, ob FFmpeg verfügbar ist, und inspizieren Sie seine Version und Fähigkeiten.
# FFmpeg-Installation prüfen
ffmpeg -version
# ffprobe-Installation prüfen
ffprobe -version
# Unter macOS installieren
brew install ffmpeg
# Unter Ubuntu/Debian installieren
sudo apt-get update && sudo apt-get install -y ffmpeg
# Unterstützte Formate verifizieren
ffmpeg -formats 2>/dev/null | head -20
# Unterstützte Codecs verifizieren
ffmpeg -codecs 2>/dev/null | grep -i h264
2. Keyframes an Szenengrenzen extrahieren
Extrahieren Sie nur die Frames, bei denen signifikante visuelle Änderungen auftreten. Dies ist der effizienteste Weg, um Videoinhalte zu sampeln.
# Frames an Szenenwechseln extrahieren (Schwellenwert 0.3)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep showinfo
# Extraktion mit Zeitstempeln, die in eine Datei protokolliert werden
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep "pts_time" > scenes/timestamps.txt
# Szenen-Frames als JPEG extrahieren (kleinere Dateien, gut für Analyse)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
scenes/scene_%04d.jpg
3. Frames in regelmäßigen Abständen extrahieren
Wenn Sie gleichmäßig verteilte Samples benötigen, unabhängig von Inhaltsänderungen.
# Ein Frame pro Sekunde extrahieren
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1" frames/frame_%04d.png
# Ein Frame alle 5 Sekunden extrahieren
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1/5" frames/frame_%04d.png
# Nur I-Frames extrahieren (Keyframes vom Codec)
mkdir -p keyframes
ffmpeg -i input.mp4 \
-vf "select='eq(pict_type,I)'" \
-vsync vfr \
keyframes/kf_%04d.png
# Ein einzelnes Frame zu einem bestimmten Zeitstempel extrahieren
ffmpeg -i input.mp4 -ss 00:01:30 -frames:v 1 thumbnail.png
# Nur erstes Frame extrahieren
ffmpeg -i input.mp4 -frames:v 1 first_frame.png
4. Videometadaten mit ffprobe analysieren
Überprüfen Sie Videoeigenschaften vor der Verarbeitung. Verwenden Sie für maschinenlesbare Ergebnisse immer die JSON-Ausgabe.
# Vollständige Metadaten als JSON (Streams und Format)
ffprobe -v quiet \
-print_format json \
-show_format \
-show_streams \
input.mp4
# Nur Dauer abrufen
ffprobe -v error \
-show_entries format=duration \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# Auflösung abrufen
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=width,height \
-of csv=s=x:p=0 \
input.mp4
# Bildrate abrufen
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=r_frame_rate \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# Codec-Informationen abrufen
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=codec_name,codec_long_name,profile \
-of json \
input.mp4
# Gesamtzahl der Frames zählen
ffprobe -v error \
-count_frames \
-select_streams v:0 \
-show_entries stream=nb_read_frames \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
5. Szenen erkennen und Zeitstempel auflisten
Eine Liste der Szenenwechsel-Zeitstempel abrufen, ohne Frames zu extrahieren.
# Szenenwechsel-Zeitstempel auflisten
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep pts_time
# Szenen-Scores für jeden Frame extrahieren (für Analyse)
ffmpeg -i input.mp4 \
-vf "select='gte(scene,0)',metadata=print" \
-f null - \
2>&1 | grep "lavfi.scene_score"
# Anzahl der Szenenwechsel zählen
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep -c "pts_time"
6. Audiowellenform extrahieren und Stille erkennen
Analysieren Sie den Audiotrack auf Stillelücken, Lautstärkepegel und visuelle Wellenformen.
# Stilleperioden erkennen (nützlich zum Finden von Kapitelgrenzen)
ffmpeg -i input.mp4 \
-af silencedetect=noise=-30dB:d=0.5 \
-f null - \
2>&1 | grep silence
# Audiowellenform als Bild generieren
ffmpeg -i input.mp4 \
-filter_complex "showwavespic=s=1920x200:colors=blue" \
-frames:v 1 \
waveform.png
# Lautstärkepegel analysieren
ffmpeg -i input.mp4 \
-af volumedetect \
-f null - \
2>&1 | grep volume
# Audiospektrum-Visualisierung extrahieren
ffmpeg -i input.mp4 \
-filter_complex "showspectrumpic=s=1920x512:color=intensity" \
-frames:v 1 \
spectrum.png
7. KI-Vision-Analyse-Workflow
Extrahieren Sie Frames und analysieren Sie sie mit der Vision-Fähigkeit von Claude, um strukturierte Informationen aus Videoinhalten zu extrahieren.
# Schritt 1: Video untersuchen
ffprobe -v quiet -print_format json -show_format -show_streams input.mp4
# Schritt 2: Szenen-Frames extrahieren
mkdir -p analysis_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
analysis_frames/frame_%04d.jpg
Nach der Extraktion der Frames verwenden Sie das Lese-Tool, um jedes Bild zu laden. Das Lese-Tool unterstützt Bilddateien (PNG, JPG usw.) und zeigt sie visuell an. Analysieren Sie für jeden Frame:
- Farben: Dominante Hex-Farbwerte, Hintergrundfarben, Akzentfarben extrahieren
- Typografie: Schriftgrößen, -gewichte, Zeilenhöhen, Überschriftenhierarchie identifizieren
- Layout: Gittermuster, Flex-Layouts, Abstandsrhythmen, Ränder erkennen
- Komponenten: Schaltflächen, Karten, Kopfzeilen, Navigation, Formulare identifizieren
- Animationszustand: Übergänge, Hover-Zustände, Ladeindikatoren notieren
Aggregieren Sie die Ergebnisse über alle Frames hinweg, um ein konsistentes Designsystem zu erstellen.
8. Designsystem-Extraktion aus Video
Ein vollständiger Workflow zum Extrahieren eines Designsystems aus einer Produktdemo oder einem UI-Walkthrough-Video.
# Schritt 1: Videoinformationen abrufen
ffprobe -v quiet -print_format json -show_format input.mp4
# Schritt 2: Szenen-Frames extrahieren (erfasst jeden eindeutigen Bildschirm)
mkdir -p design_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.4)'" \
-vsync vfr \
-q:v 1 \
design_frames/screen_%04d.png
# Schritt 3: Auch in regelmäßigen Abständen für Abdeckung extrahieren
ffmpeg -i input.mp4 \
-vf "fps=1/3" \
-q:v 1 \
design_frames/interval_%04d.png
Nach der Frameextraktion analysieren Sie jeden Frame mit KI-Vision und erstellen:
{
"colors": {
"primary": "#2563EB",
"secondary": "#7C3AED",
"background": "#FFFFFF",
"surface": "#F3F4F6",
"text": "#111827",
"textSecondary": "#6B7280"
},
"typography": {
"headingFont": "Inter",
"bodyFont": "Inter",
"scale": ["12px", "14px", "16px", "20px", "24px", "32px", "48px"]
},
"spacing": {
"unit": "8px",
"scale": ["4px", "8px", "12px", "16px", "24px", "32px", "48px", "64px"]
},
"components": ["button", "card", "navbar", "sidebar", "input", "modal"]
}
Anti-Patterns / Häufige Fehler
| Fehler | Warum er falsch ist | Was stattdessen zu tun ist |
|---|---|---|
| Jeden Frame aus einem Video extrahieren | Erzeugt Tausende von Dateien, verschwendet Festplatten- und Analysezeit | Szenendetektion oder feste Intervalle (1 fps oder weniger) verwenden |
| ffprobe vor der Verarbeitung überspringen | Unbekannte Codecs oder beschädigte Dateien verursachen stille FFmpeg-Fehler | Immer zuerst untersuchen, um Format und Eigenschaften zu validieren |
| PNG für die Massen-Frameextraktion verwenden | PNG-Dateien sind 5-10x größer als JPEG bei minimalem Qualitätsgewinn für die Analyse | JPEG (-q:v 2) für die Analyse verwenden; PNG nur für pixelgenaue Arbeit |
| Szenenschwellenwert zu niedrig setzen (0.1) | Erfasst Kamerabewegungen, Beleuchtungswechsel – erzeugt zu viele Frames | Mit 0.3-0.4 beginnen und basierend auf den Ergebnissen anpassen |
-vsync vfr mit select-Filter ignorieren | Erzeugt doppelte Frames, die Lücken im Zeitstrahl füllen | Immer -vsync vfr verwenden, wenn der select-Filter verwendet wird |
| Frames ohne Zeitstempel analysieren | Kann Analyseergebnisse nicht mit dem Videozeitstrahl korrelieren | showinfo-Filter verwenden, um pts_time mit jedem Frame zu erfassen |
| KI-Vision auf Hunderten von Frames ausführen | Überschreitet Kontextlimits und verschwendet Tokens | Auf 10-20 repräsentative Frames pro Analysedurchgang beschränken |
| FFmpeg-Pfade fest codieren | Bricht über Betriebssysteme und Installationsmethoden | ffmpeg und ffprobe direkt verwenden und sich auf PATH verlassen |
Fallstricke
-
-vsync vfrist bei select-Filtern erforderlich – Ohne-vsync vfrfüllt FFmpeg „fehlende“ Frames zwischen ausgewählten Frames mit Duplikaten, um eine konstante Bildrate beizubehalten. Das bedeutet, dass die Extraktion von 5 Szenenwechsel-Frames 500 Ausgabedateien erzeugen könnte, von denen die meisten Duplikate sind. Kombinieren Sieselect-Filter immer mit-vsync vfr. -
Der Szenendetektionsschwellenwert variiert je nach Inhalt – Ein Schwellenwert von 0.3 funktioniert gut für Schnitte in narrativen Videos, aber animierte Inhalte oder Bildschirmaufnahmen benötigen möglicherweise 0.4-0.5, da allmähliche Übergänge niedrigere Szenen-Scores erzeugen. Überprüfen Sie immer die Frame-Anzahl nach der Extraktion und passen Sie den Schwellenwert an.
-
Die Framezählung von ffprobe ist langsam – Die Verwendung von
-count_framesmit ffprobe dekodiert das gesamte Video, um Frames genau zu zählen. Bei langen Videos kann dies Minuten dauern. Verwenden Sie stattdessennb_framesaus den Stream-Metadaten (weniger genau, aber sofort) oder schätzen Sie aus Dauer und Bildrate. -
Parameter für die Audio-Stille-Erkennung müssen angepasst werden – Der Standard-Rauschschwellenwert von
-30dBund die Mindestdauer von 0.5 Sekunden {49}...
[truncated for translation]