Was macht video-digest?
Überblick
Verwandle jedes Video in ein einziges durchsuchbares Markdown-Digest. Das Skill erzeugt für jedes Video drei Bestandteile und fügt sie in einer digest.md zusammen:
- Transkript – die gesprochenen Wörter (faster-whisper, lokal).
- Bildschirmtext – jede eindeutige Textzeile, die in den Frames sichtbar ist (OCR), mit separat extrahierten URLs und @-Handles.
- Kontaktabzug-Montagen – Gitter von Frames über das gesamte Video verteilt, sodass Sie die visuelle Geschichte auf einen Blick erfassen können.
Alles läuft lokal. Keine Netzwerkaufrufe, keine Konten, keine Telemetrie. Der Kern benötigt nur ffmpeg; Transkript und OCR sind optional und verschlechtern sich anmutig, wenn sie fehlen.
Wann verwenden
- „Was ist in diesem Video / diesen 200 Videos?“ ohne sie anzusehen.
- Aufbau eines durchsuchbaren Katalogs von Reels, Vorträgen, Tutorials oder Filmmaterial.
- Die Links und Handles wiederherstellen, die in einem Clip auf dem Bildschirm erscheinen.
- Einen schnellen visuellen Überblick (Montagen) über lange oder viele Aufnahmen erhalten.
Nicht geeignet für: Live-Streams, Videoschnitt oder Videoerzeugung. Dieses Skill liest Videos und gibt Text- und Bildzusammenfassungen aus.
Kurzreferenz
scripts/check-deps.sh # was installiert ist + wie man den Rest bekommt
scripts/video-digest.sh clip.mp4 # ein Video → ./video-digest-out/clip/digest.md
scripts/video-digest.sh --out ~/digests *.mp4 # Batch-Verarbeitung eines ganzen Ordners
scripts/video-digest.sh --lang en talk.mov # Sprache des Transkripts vorgeben
scripts/video-digest.sh --no-transcript reel.mp4 # Audio überspringen, nur Bild + Text
scripts/video-digest.sh --ocr-engine tesseract x.mp4 # bestimmte OCR-Engine erzwingen
| Flag | Zweck | Standard |
|---|---|---|
-o, --out DIR | Ausgabeverzeichnis | ./video-digest-out |
--fps N | OCR-Frame-Abtastrate | 2 |
--montage-frames N | Frames über das Video verteilt | 90 |
--tile CxR | Montage-Gitter | 3x3 |
--ocr-engine E | auto|vision|tesseract|none | auto |
--whisper-model M | tiny|base|small|medium(+.en) | small |
--whisper-python P | Python-Interpreter mit faster-whisper | automatisch erkannt |
--lang CODE | Sprache des Transkripts vorgeben | automatisch erkennen |
--no-transcript / --no-ocr / --no-montage | Stufe überspringen | — |
--force | Stufen erneut ausführen, auch wenn gecacht | aus |
Führen Sie scripts/video-digest.sh --help für die vollständige Liste aus.
Wie es funktioniert
Der Einstiegspunkt scripts/video-digest.sh orchestriert drei kleine, unabhängige Tools, die Sie auch einzeln ausführen können:
| Stufe | Skript | Engine |
|---|---|---|
| Montagen | scripts/montage.sh | ffmpeg Tile-Filter |
| Bildschirmtext | scripts/ocr.sh (+ ocr_vision.swift) | macOS Vision (Standard) oder tesseract |
| Transkript | scripts/transcribe.py | faster-whisper |
Jede Stufe ist fortsetzbar – abgeschlossene Arbeit wird mit .done markiert / gecacht und bei erneuten Läufen übersprungen, es sei denn, Sie übergeben --force. Das Digest wird immer aus den vorhandenen Stufen neu erstellt, sodass auch partielle Läufe eine brauchbare Datei erzeugen.
Die OCR-Engine-Auswahl ist automatisch: unter macOS wird das eingebaute Vision-Framework verwendet (keine Installation, lokal), ansonsten tesseract, falls vorhanden; andernfalls wird OCR mit einer Warnung übersprungen. Siehe references/setup.md für die Installation optionaler Backends und references/output-format.md für das genaue Ausgabeformat.
Häufige Fehler
- Leeres Transkript → faster-whisper ist nicht im verwendeten Interpreter installiert. Führen Sie
scripts/check-deps.shaus, dannpip install faster-whisper, oder verweisen Sie mit--whisper-python /pfad/zu/pythonauf eine vorhandene Umgebung. - Kein Bildschirmtext unter Linux → installieren Sie
tesseract(apt install tesseract-ocr); die Vision-Engine ist nur unter macOS verfügbar. - Riesige Montage-Anzahl bei kurzen Clips → verringern Sie
--montage-frames(z. B.30). - Falsche Transkript-Sprache → übergeben Sie
--lang(z. B.--lang sk), oder verwenden Sie ein nicht-.en-Modell für mehrsprachige Audiodaten.
Beispiel
examples/sample-digest/ enthält einen winzigen generierten Clip und das daraus erzeugte digest.md – Transkript, eine erkannte URL, einen @handle und ein Montageblatt. Reproduzieren Sie es mit (die Transkript-Zeile benötigt die Installation von faster-whisper):
scripts/video-digest.sh --montage-frames 9 examples/sample-digest/sample.mp4