/watch-video – Jedes Video in der gewünschten Tiefe transkribieren und analysieren
Ersetzt und erweitert das vorherige youtube-transcript-Skill. YouTube ist jetzt nur noch eine von vielen Quellen; die Tiefe wird vom Nutzer gesteuert.
Schritt 1 – Eingabe parsen
Akzeptiert:
- YouTube: vollständige URL,
youtu.be/<id>,youtube.com/shorts/<id>, reine 11-stellige ID - Loom:
loom.com/share/<id>oderloom.com/embed/<id> - Vimeo:
vimeo.com/<id> - Riverside: Download-URL oder lokale Datei
- Zoom: lokale
.mp4-Datei einer heruntergeladenen Aufnahme - X / IG / TikTok-Video: URL – nutzt
social-fetchfür Metadaten, yt-dlp für die Datei - Lokale Datei: beliebiger Pfad zu einer
.mp4/.mov/.webm/.mkv-Datei
Quelle anhand des URL-Musters oder der Dateierweiterung erkennen. Bei Mehrdeutigkeit nachfragen.
Schritt 2 – Tiefenstufe parsen
| Aufruf | Modus | Ergebnis |
|---|---|---|
/watch-video <url> | transcript (Standard) | Sauberer Text, Metadaten, optionale Kapitel |
/watch-video <url> transcript | transcript | Wie Standard |
/watch-video <url> visual | visual | Transkript + Einzelbilder in Intervallen + Claude Vision-Durchlauf zur Identifizierung von Schlüsselmomenten |
/watch-video <url> multimodal | multimodal | Natives Video an Gemini (falls $GEMINI_API_KEY gesetzt), sonst dichter Claude Vision-Durchlauf Bild für Bild |
Wenn die Tiefe nicht angegeben ist und das Video länger als 10 Minuten ist, vor dem Standardwert nachfragen (visual/multimodal kosten bei langen Videos echtes Geld).
Schritt 3 – Metadaten abrufen
Für URL-Quellen yt-dlp verwenden:
yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
--print "%(chapters)j" --skip-download "<url>"
Erfassen: Titel, Uploader/Kanal, Dauer, Upload-Datum, Beschreibung (erster Absatz), Kapitel (JSON oder null).
Für lokale Dateien ffprobe verwenden:
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"
Schritt 4 – Arbeitsverzeichnis erstellen
~/Documents/videos/<Quelle>-<Slug>-<Datum>/
Wobei:
Quelle:youtube/loom/vimeo/riverside/zoom/localSlug: Kebab-Case des Titels (erste 4–6 Wörter, max. 50 Zeichen)Datum:YYYY-MM-DD
Schritt 5 – Transkript erstellen
Backend-Auswahl (in dieser Reihenfolge):
-
Plattformeigenes Transkript falls vorhanden und vollständig:
- YouTube:
yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt - Loom: Abruf über Seiten-Metadaten von
https://www.loom.com/share/<id>oder Loom-API, falls$LOOM_API_KEYgesetzt - Riverside: Integrierte Transkripte auf der Freigabeseite der Aufnahme verfügbar
- Wenn ein plattformeigenes Transkript mit Zeitstempeln existiert, verwenden. Whisper überspringen.
- YouTube:
-
Lokales MLX-Whisper (Standard-Fallback – schnell auf Mac M-Serie):
# Einmalig installieren: pip install mlx-whisper python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \ > "<workdir>/transcript-raw.json"Oder über die CLI:
mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir> -
whisper.cpp (weiterer Fallback, falls MLX nicht verfügbar)
Die Videodatei zuerst herunterladen, wenn es sich um eine URL handelt (yt-dlp; Loom/Vimeo/YT alle unterstützt):
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"
720p ist für Transkription und Bildanalyse völlig ausreichend (kleinerer Download, schnellere Verarbeitung).
Transkript bereinigen (nur bei YouTube-Auto-Untertiteln erforderlich, die fortlaufende Bildunterschriften haben; Whisper-Ausgabe ist bereits sauber):
# YouTube VTT-Bereinigung – fortlaufende Bildunterschriften entdoppeln, Tags entfernen, Absätze bei Cue-Lücken >2s
awk '
/^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
/-->/ { in_cue = 1; last = ""; next }
/^$/ { if (last) print last; in_cue = 0; last = ""; next }
in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"
Finale Version als <workdir>/transcript.txt speichern.
Schritt 6 – Bei transcript-Modus: hier stoppen
Ausgabe:
transcript.txtmetadata.json- Einzeilige Zusammenfassung im Chat: Titel, Quelle, Dauer, Wortanzahl
- Pfad zum Arbeitsverzeichnis
- (Optional) Schritt 9 – Angebot, in Second-Brain zu übernehmen
Schritt 7 – Bei visual-Modus: Bilder extrahieren + Vision-Durchlauf
Bildextraktion (ffmpeg)
Takt nach Quell-Heuristik:
| Quelltyp | Bildtakt |
|---|---|
| Bildschirmfreigabe / Loom / Demo | 1 Bild pro 5s (UI ändert sich schnell) |
| Sprecher / Podcast | 1 Bild pro 30s (langsame Änderung) |
| Folienpräsentation | 1 Bild pro 10s + ein Bild bei jedem erkannten Szenenwechsel |
| Standard bei Unsicherheit | 1 Bild pro 15s |
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y
Für Szenenwechselerkennung (insbesondere bei Folien):
ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"
Vision-Durchlauf
Jedes Bild mit dem Transkriptabschnitt für dasselbe Zeitfenster paaren. Dann stapelweise an Claude Vision zur Synthese senden.
Stapel-Prompt pro Bild (bis zu ~10 Bilder pro Aufruf):
Hier sind N Bilder aus einem Video mit den Zeitstempeln T1..TN. Beschreibe für jedes Bild in 1–2 Sätzen, was auf dem Bildschirm zu sehen ist. Kennzeichne: (a) UI-Änderungen gegenüber dem vorherigen Bild, (b) sichtbaren Text auf dem Bildschirm, (c) Momente, die wie eine Entscheidung, Aktion oder ein bemerkenswertes Ereignis aussehen. Notiere auch den während dieses Fensters gesprochenen Transkripttext.
Ausgabe speichern als <workdir>/moments.md:
# Schlüsselmomente – <Titel>
## 00:00:15 (frame-001.png)
**Auf dem Bildschirm**: Anmeldeformular, E-Mail-Feld fokussiert
**Transkript**: „Also, du öffnest es einfach und...“
**Hinweis**: Beginn der UI-Demo
## 00:00:45 (frame-002.png)
**Auf dem Bildschirm**: Dashboard mit 4 Karten
**Transkript**: „Und hier siehst du alle deine Projekte.“
**Hinweis**: Großer Ansichtswechsel – das Dashboard erscheint zum ersten Mal
Zusammenfassung erstellen
Nachdem die Momente identifiziert wurden, das gesamte Video in <workdir>/summary.md synthetisieren:
# Zusammenfassung – <Titel>
**Quelle:** <Quell-URL / Datei>
**Dauer:** <hh:mm:ss>
**Angesehen am:** <Datum>
**Modus:** visual
## TL;DR
<2–4 Sätze>
## Schlüsselmomente
- 00:00:15 – <einzeilig>
- 00:00:45 – <einzeilig>
## Markierte Aktionen
- <Aktion> [Zeitstempel]
## Markierte Entscheidungen
- <Entscheidung> [Zeitstempel] – Routing zu /decide in Betracht ziehen
## Aufbewahrenswerte Zitate
- „...“ [Zeitstempel]
## Offene Fragen
- <aufgeworfene, aber nicht beantwortete Frage>
Schritt 8 – Bei multimodal-Modus
Backend-Auswahl
-
Natives Gemini falls
$GEMINI_API_KEYgesetzt (viel günstiger + schneller als Bild-für-Bild bei langen Videos):Standardmodell:
gemini-3.5-flash(veröffentlicht Mai 2026, ~$1,50 Input / $9 Output pro 1M Token; ~$0,15/Sek. Video; schlägt 3.1 Pro bei Coding/Agentic-Benchmarks mit 4-facher Geschwindigkeit). Überschreiben aufgemini-3.1-profür Markenaudits / risikoreiche Analysen, bei denen Details wichtig sind;gemini-2.5-flash-litefür günstige Massenverarbeitung.# Schritt 1: Video über Files API hochladen FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \ -H "X-Goog-Upload-Command: start, upload, finalize" \ -H "Content-Type: video/mp4" \ --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri') # Warten, bis die Datei AKTIV ist (Gemini verarbeitet das Video zuerst) while true; do STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state') [ "$STATE" = "ACTIVE" ] && break sleep 3 done # Schritt 2: Inhalt mit der Datei + multimodalem Analyse-Prompt generieren curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d "{ \"contents\":[{ \"parts\":[ {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}}, {\"text\":\"<multimodaler Analyse-Prompt – siehe Vorlage aus Schritt 7 + Anwendungsfall-Erweiterungen>\"} ] }] }"Dateien bleiben ~48 Stunden in der Gemini Files API erhalten – nützlich, um dasselbe Video mit verschiedenen Prompts erneut abzufragen.
-
Dichter Claude Vision-Fallback falls kein Gemini-Key:
- Bildtakt: 1 Bild pro 3s (viel dichter als im visual-Modus)
- Stapelweise durch Claude Vision mit dem multimodalen Analyse-Prompt
- Langsamer und teurer als Gemini bei langen Videos – Benutzer warnen, bevor der Vorgang bei Inhalten >10 Min. ausgeführt wird
Multimodale Ausgabe
Gleiches summary.md-Template wie Schritt 7 + ein erweiterter Abschnitt:
## Multimodale Beobachtungen
- **Körpersprache / Vortrag**: <Beobachtungen zu Sprecher-Videos>
- **Tempo**: <schnell/langsam/ungleichmäßig>
- **Visueller Stil**: <Markenaudit, Anzeigenprüfung, Designbeobachtungen>
- **Audioqualität / Atmosphäre**: <Musik, Stille, Hintergrund>
Die genauen Zusatzabschnitte hängen vom Anwendungsfall ab (Markenaudit, Anzeigenprüfung, Vortragsprüfung, Kundenanruf-Lektüre). Der Anwendungsfall wird aus der Quelle und der verbalen Rahmung durch den Benutzer beim Aufruf abgeleitet.
Schritt 9 – Optional: Übernahme in Second-Brain
Nach Abschluss eines beliebigen Modus anbieten:
„Möchtest du das in deinen Second-Brain übernehmen? Ich schreibe eine
call-<Slug>.md(odermeeting-/note-/resource-) nach${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/mit der Zusammenfassung, der Quell-URL und dem Transkript-Link.“
Typ-Präfix nach Quelle:
| Quelle | Präfix |
|---|---|
| Loom / Zoom / Riverside / Otter / Gesprächsaufzeichnung | call- |
| Meeting (eigene Notizen, kein Transkript) | meeting- |
| Vortrag / Keynote / Konferenz | note- |
| Werbung / Landingpage-Video / Marketing-Referenz / Konkurrenzvideo | resource- |
Datei-Inhalt: 1-zeilige Quelle, Zusammenfassung, Link zum vollständigen Arbeitsverzeichnis.
Schritt 10 – Bericht
Im Chat:
- Einzeilige Überschrift:
<Quelle> · <Titel> · <Dauer> · <Modus> · <Wortanzahl> Wörter - Pfad zum Arbeitsverzeichnis
- Bei
visual/multimodal: kurze Liste der Top-3-Schlüsselmomente - Bei allen Modi: alle zur Triage markierten Aktionen / Entscheidungen
- Falls in Second-Brain übernommen: auch diesen Pfad
Quellen-Referenz
| Quelle | Download | Integriertes Transkript | Hinweise |
|---|---|---|---|
| YouTube | yt-dlp | Auto-Untertitel (--write-auto-sub) | Wie das vorherige youtube-transcript-Skill |
| Loom | yt-dlp (Loom unterstützt) | Ja – Abruf über Embed-Metadaten oder Loom-API | Asynchroner Screenshare-Fokus – primärer Anwendungsfall |
| Vimeo | yt-dlp | Manchmal | Marketing/Embed-Videos |
| Riverside | Direkte URL aus Export oder lokale Datei | Ja – Riverside generiert sie | Podcast-Episoden |
| Zoom | Lokale .mp4 (heruntergeladene Aufnahmen) | Manchmal (Zoom-Audio-Transkript-Datei) | Kundenanrufe |
| X / IG / TikTok | Verweis an social-fetch für Metadaten, yt-dlp für Datei | Nein | Kurzform |
| Lokale Datei | n/a | n/a | Pfad angeben |
Komponiert mit
social-fetch– für Metadaten von X/IG/TikTok-URLs (Interaktionen, Autor, Antworten) vor der Videoverarbeitungsecond-brain– Übernahme der Zusammenfassung alsraw/call-<Slug>.md,meeting-,note-oderresource-je nach Quelltypdecide– wenn ein Video eine markierte Entscheidung enthält, zur strukturierten Erfassung an/decideweiterleitenpm– in der Zusammenfassung markierte Aktionen können an Projektboards weitergeleitet werdenslide-deck– Vortragsaufnahmen → Gliederungsextraktion → Deck-Entwurf (Schleife)jab-hook– Zitate + clip-würdige Momente aus Podcast-/Vortragsvideos speisen BIP/Promo-Postsskillify from-video– primärer Anwendungsfall für denvisual-Modus bei Prozessaufnahmen. Der Benutzer zeichnet sich selbst bei einem Workflow auf (Loom/Screen-Share), dieses Skill extrahiert Transkript + visuelle Schlüsselmomente, dann synthetisiertskillifyden Workflow in eine SKILL.md. „Einmal aufnehmen, KI konvertiert in Skill.“
Fehlerbehandlung
| Fehler | Reaktion |
|---|---|
| Video nicht verfügbar / privat / regionalsperre | Melden und anhalten |
| Keine Untertitel + Whisper nicht installiert | Benutzer informieren: pip install mlx-whisper (Mac) |
| ffmpeg fehlt (für visual/multimodal) | Benutzer informieren: brew install ffmpeg |
| Vision-Durchlauf liefert leere / unklare Ergebnisse | Bildanzahl reduzieren, wiederholen oder mit Hinweis auf reines Transkript zurückfallen |
Multimodal angefordert, aber kein $GEMINI_API_KEY und >30 Min. Video | Kosten warnen, Fallback auf visual-Modus anbieten |
yt-dlp-Binärdatei fehlt | brew install yt-dlp |
Hinweise zur Qualität
- Der Benutzer wählt die Tiefe, nicht das Skill. Transcript / Visual / Multimodal sind 3 unterschiedliche Kosten- + Latenzprofile. Bei langen Videos (>10 Min.) wird vor dem Ausgeben von Geld für visual/multimodal immer bestätigt.
- Plattform-Transkript zuerst, Whisper zweitens. YouTube-Auto-Untertitel, Loom-Transkripte, Riverside-integrierte Transkripte – alle kostenlos + sofort verfügbar, wenn sie existieren. Nur auf lokales MLX-Whisper zurückfallen, wenn nichts von der Plattform bereitgestellt wird.
- Lokales MLX-Whisper ist der schnelle Weg auf dem Mac. M-Serie-Maschinen transkribieren schneller als in Echtzeit. Cloud-Whisper ist eine entfernte zweite Wahl – kostet Geld, Netzwerkabhängigkeit, schlechtere Latenz bei typischen Dauern.
- Bildtakt nach Quelltyp. Screenshare/Demos benötigen 1 Bild pro 5s (UI ändert sich schnell); Sprecher-Podcasts benötigen 1 pro 30s (langsame Änderung). Standard 15s bei Unsicherheit. Falscher Takt = verpasste Schlüsselmomente ODER verschwendete Vision-Durchlauf-Kosten.
- 720p ist völlig ausreichend. Das Herunterladen von 1080p/4K für Transkription + Bildanalyse verschwendet Bandbreite + Speicher.
yt-dlp -f "bv*[height<=720]+ba/b[height<=720]"ist der Standard. - Szenenwechselerkennung erfasst Folienübergänge. Wenn das Video eine Folienpräsentation ist,
ffmpeg -vf "select='gt(scene,0.3)'"hinzufügen, um ein Bild bei jedem erkannten Folienwechsel zu erzwingen – zuverlässiger als reine zeitbasierte Abtastung. - Kostenwarnung bei multimodal ist nicht optional. Gemini multimodal bei einem 60-minütigen Video ist spürbar teuer. Vor der Ausführung warnen; bei Unsicherheit des Benutzers reines Transkript als Fallback anbieten.
- Zusammenfassungsformat enthält Routing-Hinweise. Die Abschnitte
## Markierte Entscheidungen+## Markierte Aktionensignalisieren Folgeaktionen mit/decideund/pm. Die stromabwärtige Komponierbarkeit liegt in der Zusammenfassungsstruktur.