Communitygithub.com

coreyhaines31/makerskills

Extrahiere und analysiere Inhalte aus Videos von YouTube, Loom, Vimeo, Riverside, Zoom, lokalen Dateien und mehr – mit drei wählbaren Tiefenstufen.

Was ist makerskills?

Dieses Skill ersetzt und erweitert das vorherige `youtube-transcript`-Skill. Es ermöglicht dir, Transkripte und Analysen aus einer Vielzahl von Videoquellen zu extrahieren: YouTube, Loom, Vimeo, Riverside, Zoom-Aufnahmen, lokale MP4-Dateien sowie Videos von X, Instagram und TikTok (alles, was yt-dlp unterstützt). Der Nutzer wählt pro Aufruf zwischen drei Tiefenstufen: **transcript** (nur Text, schnell und kostenlos), **visual** (Transkript plus ffmpeg-Bildextraktion und Claude Vision-Durchlauf für Schlüsselmomente) und **multimodal** (native Gemini-Videoverarbeitung, falls `$GEMINI_API_KEY` gesetzt, sonst dichter Claude Vision-Durchlauf). Die Transkription erfolgt standardmäßig lokal über MLX-Whisper auf dem Mac, fällt aber auf plattformeigene Transkripte zurück, wenn verfügbar (z. B. bei Loom, Riverside, YouTube). Die Ergebnisse werden in `~/Documents/videos/<Quelle>-<Slug>-<Datum>/` gespeichert; optional kann eine Zusammenfassung in den Second-Brain-Ordner (`call-/meeting-/note-`) übernommen werden. Das Skill wird durch Befehle wie `/watch-video <URL>`, „watch this video” oder „summarize this recording” ausgelöst und ist darauf ausgelegt, mit anderen Skills wie `social-fetch`, `second-brain`, `decide` und `skillify` zu interagieren.

Funktioniert mit✓Claude Code~Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add https://github.com/coreyhaines31/makerskills/tree/HEAD/skills/watch-video

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

/watch-video – Jedes Video in der gewünschten Tiefe transkribieren und analysieren

Ersetzt und erweitert das vorherige youtube-transcript-Skill. YouTube ist jetzt nur noch eine von vielen Quellen; die Tiefe wird vom Nutzer gesteuert.

Schritt 1 – Eingabe parsen

Akzeptiert:

  • YouTube: vollständige URL, youtu.be/<id>, youtube.com/shorts/<id>, reine 11-stellige ID
  • Loom: loom.com/share/<id> oder loom.com/embed/<id>
  • Vimeo: vimeo.com/<id>
  • Riverside: Download-URL oder lokale Datei
  • Zoom: lokale .mp4-Datei einer heruntergeladenen Aufnahme
  • X / IG / TikTok-Video: URL – nutzt social-fetch für Metadaten, yt-dlp für die Datei
  • Lokale Datei: beliebiger Pfad zu einer .mp4 / .mov / .webm / .mkv-Datei

Quelle anhand des URL-Musters oder der Dateierweiterung erkennen. Bei Mehrdeutigkeit nachfragen.

Schritt 2 – Tiefenstufe parsen

AufrufModusErgebnis
/watch-video <url>transcript (Standard)Sauberer Text, Metadaten, optionale Kapitel
/watch-video <url> transcripttranscriptWie Standard
/watch-video <url> visualvisualTranskript + Einzelbilder in Intervallen + Claude Vision-Durchlauf zur Identifizierung von Schlüsselmomenten
/watch-video <url> multimodalmultimodalNatives Video an Gemini (falls $GEMINI_API_KEY gesetzt), sonst dichter Claude Vision-Durchlauf Bild für Bild

Wenn die Tiefe nicht angegeben ist und das Video länger als 10 Minuten ist, vor dem Standardwert nachfragen (visual/multimodal kosten bei langen Videos echtes Geld).

Schritt 3 – Metadaten abrufen

Für URL-Quellen yt-dlp verwenden:

yt-dlp --print "%(title)s|%(uploader)s|%(duration_string)s|%(upload_date>%Y-%m-%d)s|%(description)s" \
  --print "%(chapters)j" --skip-download "<url>"

Erfassen: Titel, Uploader/Kanal, Dauer, Upload-Datum, Beschreibung (erster Absatz), Kapitel (JSON oder null).

Für lokale Dateien ffprobe verwenden:

ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "<file>"

Schritt 4 – Arbeitsverzeichnis erstellen

~/Documents/videos/<Quelle>-<Slug>-<Datum>/

Wobei:

  • Quelle: youtube / loom / vimeo / riverside / zoom / local
  • Slug: Kebab-Case des Titels (erste 4–6 Wörter, max. 50 Zeichen)
  • Datum: YYYY-MM-DD

Schritt 5 – Transkript erstellen

Backend-Auswahl (in dieser Reihenfolge):

  1. Plattformeigenes Transkript falls vorhanden und vollständig:

    • YouTube: yt-dlp --write-sub --write-auto-sub --skip-download --sub-lang en --sub-format vtt
    • Loom: Abruf über Seiten-Metadaten von https://www.loom.com/share/<id> oder Loom-API, falls $LOOM_API_KEY gesetzt
    • Riverside: Integrierte Transkripte auf der Freigabeseite der Aufnahme verfügbar
    • Wenn ein plattformeigenes Transkript mit Zeitstempeln existiert, verwenden. Whisper überspringen.
  2. Lokales MLX-Whisper (Standard-Fallback – schnell auf Mac M-Serie):

    # Einmalig installieren: pip install mlx-whisper
    python3 -c "import mlx_whisper; mlx_whisper.transcribe('<file>', path_or_hf_repo='mlx-community/whisper-large-v3-turbo')" \
      > "<workdir>/transcript-raw.json"
    

    Oder über die CLI: mlx_whisper <file> --model mlx-community/whisper-large-v3-turbo --output-dir <workdir>

  3. whisper.cpp (weiterer Fallback, falls MLX nicht verfügbar)

Die Videodatei zuerst herunterladen, wenn es sich um eine URL handelt (yt-dlp; Loom/Vimeo/YT alle unterstützt):

yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" -o "<workdir>/video.%(ext)s" "<url>"

720p ist für Transkription und Bildanalyse völlig ausreichend (kleinerer Download, schnellere Verarbeitung).

Transkript bereinigen (nur bei YouTube-Auto-Untertiteln erforderlich, die fortlaufende Bildunterschriften haben; Whisper-Ausgabe ist bereits sauber):

# YouTube VTT-Bereinigung – fortlaufende Bildunterschriften entdoppeln, Tags entfernen, Absätze bei Cue-Lücken >2s
awk '
  /^WEBVTT/ || /^Kind:/ || /^Language:/ || /^NOTE/ { next }
  /-->/ { in_cue = 1; last = ""; next }
  /^$/ { if (last) print last; in_cue = 0; last = ""; next }
  in_cue { gsub(/<[^>]+>/, "", $0); last = $0 }
  END { if (last) print last }
' "<workdir>/transcript.en.vtt" | awk '!seen[$0]++' > "<workdir>/transcript.txt"

Finale Version als <workdir>/transcript.txt speichern.

Schritt 6 – Bei transcript-Modus: hier stoppen

Ausgabe:

  • transcript.txt
  • metadata.json
  • Einzeilige Zusammenfassung im Chat: Titel, Quelle, Dauer, Wortanzahl
  • Pfad zum Arbeitsverzeichnis
  • (Optional) Schritt 9 – Angebot, in Second-Brain zu übernehmen

Schritt 7 – Bei visual-Modus: Bilder extrahieren + Vision-Durchlauf

Bildextraktion (ffmpeg)

Takt nach Quell-Heuristik:

QuelltypBildtakt
Bildschirmfreigabe / Loom / Demo1 Bild pro 5s (UI ändert sich schnell)
Sprecher / Podcast1 Bild pro 30s (langsame Änderung)
Folienpräsentation1 Bild pro 10s + ein Bild bei jedem erkannten Szenenwechsel
Standard bei Unsicherheit1 Bild pro 15s
mkdir -p "<workdir>/frames"
ffmpeg -i "<workdir>/video.mp4" -vf "fps=1/15" "<workdir>/frames/frame-%04d.png" -y

Für Szenenwechselerkennung (insbesondere bei Folien):

ffmpeg -i "<workdir>/video.mp4" -vf "select='gt(scene,0.3)',showinfo" -vsync vfr "<workdir>/frames/scene-%04d.png" 2> "<workdir>/scene-detection.log"

Vision-Durchlauf

Jedes Bild mit dem Transkriptabschnitt für dasselbe Zeitfenster paaren. Dann stapelweise an Claude Vision zur Synthese senden.

Stapel-Prompt pro Bild (bis zu ~10 Bilder pro Aufruf):

Hier sind N Bilder aus einem Video mit den Zeitstempeln T1..TN. Beschreibe für jedes Bild in 1–2 Sätzen, was auf dem Bildschirm zu sehen ist. Kennzeichne: (a) UI-Änderungen gegenüber dem vorherigen Bild, (b) sichtbaren Text auf dem Bildschirm, (c) Momente, die wie eine Entscheidung, Aktion oder ein bemerkenswertes Ereignis aussehen. Notiere auch den während dieses Fensters gesprochenen Transkripttext.

Ausgabe speichern als <workdir>/moments.md:

# Schlüsselmomente – <Titel>

## 00:00:15 (frame-001.png)
**Auf dem Bildschirm**: Anmeldeformular, E-Mail-Feld fokussiert
**Transkript**: „Also, du öffnest es einfach und...“
**Hinweis**: Beginn der UI-Demo

## 00:00:45 (frame-002.png)
**Auf dem Bildschirm**: Dashboard mit 4 Karten
**Transkript**: „Und hier siehst du alle deine Projekte.“
**Hinweis**: Großer Ansichtswechsel – das Dashboard erscheint zum ersten Mal

Zusammenfassung erstellen

Nachdem die Momente identifiziert wurden, das gesamte Video in <workdir>/summary.md synthetisieren:

# Zusammenfassung – <Titel>

**Quelle:** <Quell-URL / Datei>
**Dauer:** <hh:mm:ss>
**Angesehen am:** <Datum>
**Modus:** visual

## TL;DR
<2–4 Sätze>

## Schlüsselmomente
- 00:00:15 – <einzeilig>
- 00:00:45 – <einzeilig>

## Markierte Aktionen
- <Aktion> [Zeitstempel]

## Markierte Entscheidungen
- <Entscheidung> [Zeitstempel] – Routing zu /decide in Betracht ziehen

## Aufbewahrenswerte Zitate
- „...“ [Zeitstempel]

## Offene Fragen
- <aufgeworfene, aber nicht beantwortete Frage>

Schritt 8 – Bei multimodal-Modus

Backend-Auswahl

  1. Natives Gemini falls $GEMINI_API_KEY gesetzt (viel günstiger + schneller als Bild-für-Bild bei langen Videos):

    Standardmodell: gemini-3.5-flash (veröffentlicht Mai 2026, ~$1,50 Input / $9 Output pro 1M Token; ~$0,15/Sek. Video; schlägt 3.1 Pro bei Coding/Agentic-Benchmarks mit 4-facher Geschwindigkeit). Überschreiben auf gemini-3.1-pro für Markenaudits / risikoreiche Analysen, bei denen Details wichtig sind; gemini-2.5-flash-lite für günstige Massenverarbeitung.

    # Schritt 1: Video über Files API hochladen
    FILE_URI=$(curl -s -X POST "https://generativelanguage.googleapis.com/upload/v1beta/files?key=$GEMINI_API_KEY" \
      -H "X-Goog-Upload-Command: start, upload, finalize" \
      -H "Content-Type: video/mp4" \
      --data-binary "@<workdir>/video.mp4" | jq -r '.file.uri')
    
    # Warten, bis die Datei AKTIV ist (Gemini verarbeitet das Video zuerst)
    while true; do
      STATE=$(curl -s "$FILE_URI?key=$GEMINI_API_KEY" | jq -r '.state')
      [ "$STATE" = "ACTIVE" ] && break
      sleep 3
    done
    
    # Schritt 2: Inhalt mit der Datei + multimodalem Analyse-Prompt generieren
    curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.5-flash:generateContent?key=$GEMINI_API_KEY" \
      -H "Content-Type: application/json" \
      -d "{
        \"contents\":[{
          \"parts\":[
            {\"file_data\":{\"mime_type\":\"video/mp4\",\"file_uri\":\"$FILE_URI\"}},
            {\"text\":\"<multimodaler Analyse-Prompt – siehe Vorlage aus Schritt 7 + Anwendungsfall-Erweiterungen>\"}
          ]
        }]
      }"
    

    Dateien bleiben ~48 Stunden in der Gemini Files API erhalten – nützlich, um dasselbe Video mit verschiedenen Prompts erneut abzufragen.

  2. Dichter Claude Vision-Fallback falls kein Gemini-Key:

    • Bildtakt: 1 Bild pro 3s (viel dichter als im visual-Modus)
    • Stapelweise durch Claude Vision mit dem multimodalen Analyse-Prompt
    • Langsamer und teurer als Gemini bei langen Videos – Benutzer warnen, bevor der Vorgang bei Inhalten >10 Min. ausgeführt wird

Multimodale Ausgabe

Gleiches summary.md-Template wie Schritt 7 + ein erweiterter Abschnitt:

## Multimodale Beobachtungen
- **Körpersprache / Vortrag**: <Beobachtungen zu Sprecher-Videos>
- **Tempo**: <schnell/langsam/ungleichmäßig>
- **Visueller Stil**: <Markenaudit, Anzeigenprüfung, Designbeobachtungen>
- **Audioqualität / Atmosphäre**: <Musik, Stille, Hintergrund>

Die genauen Zusatzabschnitte hängen vom Anwendungsfall ab (Markenaudit, Anzeigenprüfung, Vortragsprüfung, Kundenanruf-Lektüre). Der Anwendungsfall wird aus der Quelle und der verbalen Rahmung durch den Benutzer beim Aufruf abgeleitet.

Schritt 9 – Optional: Übernahme in Second-Brain

Nach Abschluss eines beliebigen Modus anbieten:

„Möchtest du das in deinen Second-Brain übernehmen? Ich schreibe eine call-<Slug>.md (oder meeting- / note- / resource-) nach ${SECOND_BRAIN_VAULT:-$HOME/Documents/SecondBrain}/raw/ mit der Zusammenfassung, der Quell-URL und dem Transkript-Link.“

Typ-Präfix nach Quelle:

QuellePräfix
Loom / Zoom / Riverside / Otter / Gesprächsaufzeichnungcall-
Meeting (eigene Notizen, kein Transkript)meeting-
Vortrag / Keynote / Konferenznote-
Werbung / Landingpage-Video / Marketing-Referenz / Konkurrenzvideoresource-

Datei-Inhalt: 1-zeilige Quelle, Zusammenfassung, Link zum vollständigen Arbeitsverzeichnis.

Schritt 10 – Bericht

Im Chat:

  • Einzeilige Überschrift: <Quelle> · <Titel> · <Dauer> · <Modus> · <Wortanzahl> Wörter
  • Pfad zum Arbeitsverzeichnis
  • Bei visual / multimodal: kurze Liste der Top-3-Schlüsselmomente
  • Bei allen Modi: alle zur Triage markierten Aktionen / Entscheidungen
  • Falls in Second-Brain übernommen: auch diesen Pfad

Quellen-Referenz

QuelleDownloadIntegriertes TranskriptHinweise
YouTubeyt-dlpAuto-Untertitel (--write-auto-sub)Wie das vorherige youtube-transcript-Skill
Loomyt-dlp (Loom unterstützt)Ja – Abruf über Embed-Metadaten oder Loom-APIAsynchroner Screenshare-Fokus – primärer Anwendungsfall
Vimeoyt-dlpManchmalMarketing/Embed-Videos
RiversideDirekte URL aus Export oder lokale DateiJa – Riverside generiert siePodcast-Episoden
ZoomLokale .mp4 (heruntergeladene Aufnahmen)Manchmal (Zoom-Audio-Transkript-Datei)Kundenanrufe
X / IG / TikTokVerweis an social-fetch für Metadaten, yt-dlp für DateiNeinKurzform
Lokale Datein/an/aPfad angeben

Komponiert mit

  • social-fetch – für Metadaten von X/IG/TikTok-URLs (Interaktionen, Autor, Antworten) vor der Videoverarbeitung
  • second-brain – Übernahme der Zusammenfassung als raw/call-<Slug>.md, meeting-, note- oder resource- je nach Quelltyp
  • decide – wenn ein Video eine markierte Entscheidung enthält, zur strukturierten Erfassung an /decide weiterleiten
  • pm – in der Zusammenfassung markierte Aktionen können an Projektboards weitergeleitet werden
  • slide-deck – Vortragsaufnahmen → Gliederungsextraktion → Deck-Entwurf (Schleife)
  • jab-hook – Zitate + clip-würdige Momente aus Podcast-/Vortragsvideos speisen BIP/Promo-Posts
  • skillify from-video – primärer Anwendungsfall für den visual-Modus bei Prozessaufnahmen. Der Benutzer zeichnet sich selbst bei einem Workflow auf (Loom/Screen-Share), dieses Skill extrahiert Transkript + visuelle Schlüsselmomente, dann synthetisiert skillify den Workflow in eine SKILL.md. „Einmal aufnehmen, KI konvertiert in Skill.“

Fehlerbehandlung

FehlerReaktion
Video nicht verfügbar / privat / regionalsperreMelden und anhalten
Keine Untertitel + Whisper nicht installiertBenutzer informieren: pip install mlx-whisper (Mac)
ffmpeg fehlt (für visual/multimodal)Benutzer informieren: brew install ffmpeg
Vision-Durchlauf liefert leere / unklare ErgebnisseBildanzahl reduzieren, wiederholen oder mit Hinweis auf reines Transkript zurückfallen
Multimodal angefordert, aber kein $GEMINI_API_KEY und >30 Min. VideoKosten warnen, Fallback auf visual-Modus anbieten
yt-dlp-Binärdatei fehltbrew install yt-dlp

Hinweise zur Qualität

  • Der Benutzer wählt die Tiefe, nicht das Skill. Transcript / Visual / Multimodal sind 3 unterschiedliche Kosten- + Latenzprofile. Bei langen Videos (>10 Min.) wird vor dem Ausgeben von Geld für visual/multimodal immer bestätigt.
  • Plattform-Transkript zuerst, Whisper zweitens. YouTube-Auto-Untertitel, Loom-Transkripte, Riverside-integrierte Transkripte – alle kostenlos + sofort verfügbar, wenn sie existieren. Nur auf lokales MLX-Whisper zurückfallen, wenn nichts von der Plattform bereitgestellt wird.
  • Lokales MLX-Whisper ist der schnelle Weg auf dem Mac. M-Serie-Maschinen transkribieren schneller als in Echtzeit. Cloud-Whisper ist eine entfernte zweite Wahl – kostet Geld, Netzwerkabhängigkeit, schlechtere Latenz bei typischen Dauern.
  • Bildtakt nach Quelltyp. Screenshare/Demos benötigen 1 Bild pro 5s (UI ändert sich schnell); Sprecher-Podcasts benötigen 1 pro 30s (langsame Änderung). Standard 15s bei Unsicherheit. Falscher Takt = verpasste Schlüsselmomente ODER verschwendete Vision-Durchlauf-Kosten.
  • 720p ist völlig ausreichend. Das Herunterladen von 1080p/4K für Transkription + Bildanalyse verschwendet Bandbreite + Speicher. yt-dlp -f "bv*[height<=720]+ba/b[height<=720]" ist der Standard.
  • Szenenwechselerkennung erfasst Folienübergänge. Wenn das Video eine Folienpräsentation ist, ffmpeg -vf "select='gt(scene,0.3)'" hinzufügen, um ein Bild bei jedem erkannten Folienwechsel zu erzwingen – zuverlässiger als reine zeitbasierte Abtastung.
  • Kostenwarnung bei multimodal ist nicht optional. Gemini multimodal bei einem 60-minütigen Video ist spürbar teuer. Vor der Ausführung warnen; bei Unsicherheit des Benutzers reines Transkript als Fallback anbieten.
  • Zusammenfassungsformat enthält Routing-Hinweise. Die Abschnitte ## Markierte Entscheidungen + ## Markierte Aktionen signalisieren Folgeaktionen mit /decide und /pm. Die stromabwärtige Komponierbarkeit liegt in der Zusammenfassungsstruktur.

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Verwandte Skills