Communitygithub.com

exiao/clipify

Finde die lustigsten Momente in einem Video, schneide sie als eigenständige Clips aus, formatiere optional 16:9 → 9:16 (Gesicht-Pan oder Split-Screen) und brenne Opus-artige Wort-für-Wort-Untertitel ein.

Was ist clipify?

Dieses Skill extrahiert die unterhaltsamsten Szenen aus einem Video, schneidet sie als separate Clips zu und bereitet sie für soziale Medien auf. Es unterstützt die Umformatierung von 16:9 auf 9:16 (z. B. für TikTok oder Reels) mittels Gesicht-Pan oder Split-Screen und fügt wahlweise auffällige Wort-für-Wort-Untertitel im Opus-Stil, Karaoke- oder Minimal-Stil hinzu. Entwickelt für den Einsatz mit KI-Agenten wie Claude Code, optimiert es die Videobearbeitung auf der Basis von Whisper (Spracherkennung) und ffmpeg. Der Workflow umfasst das Identifizieren lustiger Momente anhand von Audiospitzen und Dialogmustern, das Trimmen der Clips, die Nachfrage nach dem gewünschten Ausgabeformat und die automatische Generierung von Untertiteln. Es ist besonders nützlich für Entwickler und Content-Ersteller, die schnell virale Kurzclips aus längeren Videos erstellen möchten, ohne manuell schneiden oder untertiteln zu müssen. Das Skill setzt macOS mit VideoToolbox voraus, funktioniert aber auch auf Linux.

Funktioniert mit~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/exiao/skills/tree/HEAD/video/clipify

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht clipify?

Finde die lustigsten Momente in einem Video, schneide sie als eigenständige Clips aus, formatiere optional 16:9 → 9:16 (Gesicht-Pan oder Split-Screen) und brenne Opus-artige Wort-für-Wort-Untertitel ein.

Quell-Repository: ~/projects/clipify (geklont von github.com/louisedesadeleer/clipify)

Eingaben

  • Ein Videodateipfad (der Benutzer stellt ihn bereit; ansonsten nachfragen)
  • Optional: gewünschtes Format (9:16, 16:9, 1:1)
  • Optional: Stilpräferenz für Untertitel

Werkzeuge

  • Whisper: whisper --model tiny.en --word_timestamps True --output_format json (schnell; für Nicht-Englisch --model base verwenden)
  • ffmpeg: unter macOS -hwaccel videotoolbox zum Dekodieren hinzufügen, -preset ultrafast für Renderings. Final: -c:v libx264 -crf 20
  • Skripte: ~/projects/clipify/scripts/
    • analyze.py — Sprecher-Zeitachse aus zwei ROI-Bewegungsdateien
    • build_pan.py — ffmpeg-Zuschnitt x-Ausdruck mit harten Schnitten
    • build_ass.py — Opus-artige ASS-Untertitel aus Whisper-JSON
    • audio_align.py — Offset eines Sub-Clips in einer längeren Quelle finden

Arbeitsverzeichnis: /tmp/clipify/ (zu Beginn erstellen)


Arbeitsablauf

Schritt 1 — Die lustigsten Teile finden

mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en

JSON lesen, 3–5 Kandidaten auswählen. Lustigkeits-Signale: Pointen/Reaktionen, Wendungen, peinliche Pausen, Selbstironie, Audiospitzen.

Für jeden: [Start, Ende, warum-lustig, vorgeschlagener Titel]. Ziel 10–25 s. Liste anzeigen, Benutzer auswählen lassen.

Schritt 2 — Zuschneiden

ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4

Schritt 3 — Ausgabeformat

Fragen: „9:16 (TikTok/Reels), 16:9 (YouTube) oder 1:1 (Insta-Feed)?“

Schritt 4 — Falls 16:9 → 9:16: Pan oder Split-Screen

4a — Pan-zwischen-Gesichtern

  1. Ein Einzelbild auswählen, Gesichts-ROIs abschätzen (Mund+Kinn-Bereich als x,y,w,h)
  2. Bewegungsenergie pro Frame in jedem ROI extrahieren via ffmpeg tblend+signalstats
  3. Sprecher-Zeitachse erstellen: python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json
  4. Pan-x-Koordinaten für vertikalen Streifen wählen (Zuschnittbreite = 608 bei 1920-Quelle)
  5. x-Ausdruck generieren und rendern: python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X

4b — Split-Screen

Zwei gestapelte Kacheln (1080x960 jede), aktiver Sprecher oben. Enable-Ausdruck aus segments.json erstellen.

Schritt 5 — Untertitel

Drei Stile: opus (groß fett, gelbes aktives Wort), karaoke (4-Wort-Blöcke, grüne Hervorhebung), minimal (sauberes Helvetica).

whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"

Schritt 6 — Ausliefern

  • Speichern unter <source_dir>/clipify_out/
  • Ausgeben: Name, Dauer, was lustig war, Ausgabepfad
  • Erste Ausgabe zur Ansicht öffnen
  • Iteration anbieten

Fallstricke

  • ROIs nicht überoptimieren (maximal 2 Iterationen)
  • Auf Szenenschnitte im Clip prüfen (select='gt(scene,0.3)')
  • 4K-Quelle: zuerst auf 1080p verkleinern oder alle Koordinaten verdoppeln
  • Whisper den zugeschnittenen Clip (nicht die vollständige Quelle) für Untertitel-Zeitstempel verwenden
  • Falls die Quelle eingebrannte Untertitel hat, mit audio_align.py das saubere Master finden

Anforderungen

  • ffmpeg mit libx264 UND libass (zum Einbrennen von Untertiteln). Prüfen: ffmpeg -filters 2>&1 | grep subtitles. Die standardmäßige Homebrew-ffmpeg-Formel enthält NICHT libass. Das homebrew-ffmpeg-Tap verwenden: brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Wenn brew über veraltete CLT klagt, zuerst softwareupdate --install "Command Line Tools for Xcode <version>" ausführen (genaue Bezeichnung mit softwareupdate --list prüfen).
  • whisper (openai-whisper): brew install openai-whisper oder pip install openai-whisper
  • Python 3 + numpy
  • macOS empfohlen (VideoToolbox), funktioniert auf Linux ohne hwaccel-Flag

Workaround falls kein libass

Wenn ffmpeg den subtitles/ass-Filter nicht hat, drawtext als Fallback für einfache Untertitel verwenden (ein Wort nach dem anderen, weniger schön, aber funktional). Oder ffmpeg mit libass neu installieren.

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Verwandte Skills