Was macht scenelens?
Verschaffe Claude einen intelligenteren Videoeingang. Szenenbasierte Bildauswahl, OCR pro Bild, automatisch aufgeteilte Whisper-Transkripte. Skill für Claude Code, claude.ai und Codex.
Beschreibung
Dieser Skill ermöglicht es KI-Agenten, Videos nicht als monolithischen Stream, sondern als Serie von verständlichen, kontextbasierten Szenen zu verarbeiten. Er extrahiert die wichtigsten Standbilder (Frames) einer Szene, führt auf diesen Bildern eine optische Zeichenerkennung (OCR) durch und transkribiert die Tonspur mit Whisper – wobei der Text automatisch in sinnvolle, zeitlich abgegrenzte Blöcke (Chunks) unterteilt wird.
Anwendungsfälle
- Videozusammenfassung: Fasse lange Videos oder Meetings zusammen, indem du sowohl visuelle Highlights als auch den vollständigen Wortlaut der Transkription erhältst.
- Prüfungs- und Review-Prozesse: Analysiere Demos, Tutorials oder aufgezeichnete Code-Reviews, um Fehler oder Abweichungen zu identifizieren.
- Barrierefreiheit: Erstelle Untertitel oder Transkripte für Videos ohne vorhandene Textinformationen.
- Semantische Suche: Erstelle eine durchsuchbare Textbasis aus Videoinhalten (OCR und Transkription).
Funktionsweise
Der Skill nutzt die integrierten Fähigkeiten von Claude Code (VideoTool, BashTool) und erweitert sie mit einem spezifischen Prompt, der die folgenden Schritte ausführt:
- Szenenanalyse: Der Prompt identifiziert Szenenwechsel im Video (z. B. durch Änderungen in der Bildkomposition oder im Inhaltskontext).
- Frame-Extraktion: Für jede identifizierte Szene wird ein repräsentativer Frame extrahiert.
- OCR-Auswertung: Auf jedem extrahierten Frame wird eine OCR durchgeführt, um sichtbaren Text (z. B. Folien, Code-Anzeigen, Diagramme) zu gewinnen.
- Automatische Whisper-Transkription: Die Tonspur des Videos wird automatisch mit Whisper transkribiert. Der Transkriptionstext wird automatisch in sinnvolle thematische oder zeitliche Chunks aufgeteilt.
Plattformunterstützung
- Claude Code (vollständig integriert)
- claude.ai (verfügbar als Skill, je nach Kontext)
- Codex (kompatibel)
Installation (für Claude Code)
Kopiere den Inhalt dieser Datei (SKILL.md) in deine Claude-Code-Konfiguration oder verwende den Befehl:
claude code skill install ravindranathpathi/scenelens
Verwendung
Sobald der Skill aktiviert ist, kannst du Claude mitteilen, dass du ein Video analysieren möchtest. Zum Beispiel:
„Analysiere dieses Video und gib mir eine detaillierte Zusammenfassung basierend auf den Szenen, dem Bildschirmtext und der Tonspur.“
Oder:
„Durchsuche dieses Video nach dem Begriff 'Fehler 404' in der Code-Ansicht und im Audio.“
Beispielausgabe (Struktur)
Eine typische Ausgabe von scenelens sieht wie folgt aus (gekürzt):
Erkannte Szenen:
- Szene 1: Einleitung (00:00 - 00:30)
- Frame: `frame_001.jpg`
- OCR-Text: „Begrüßung, Agenda für heute“
- Transkript-Chunk: „Hallo und willkommen zu diesem Video. Heute werden wir...“
- Szene 2: Code-Demo (00:31 - 01:45)
- Frame: `frame_002.jpg`
- OCR-Text: „import os, def main()“
- Transkript-Chunk: „Wie Sie sehen können, importieren wir zunächst das Betriebssystemmodul...“
...
Hinweise
- Der Skill benötigt keine zusätzlichen Python-Pakete, da er die in Claude Code integrierten Tools (ffmpeg, tesseract, whisper) direkt verwendet.
- Bei sehr langen Videos kann die Verarbeitung einige Minuten dauern. Fortschrittsmeldungen werden in der Konsole angezeigt.
- Die Qualität von OCR und Transkription hängt von der Videoqualität und der Audioqualität ab.
Lizenz
MIT