Was macht clipify?
Finde die lustigsten Momente in einem Video, schneide sie als eigenständige Clips aus, formatiere optional 16:9 → 9:16 (Gesicht-Pan oder Split-Screen) und brenne Opus-artige Wort-für-Wort-Untertitel ein.
Quell-Repository: ~/projects/clipify (geklont von github.com/louisedesadeleer/clipify)
Eingaben
- Ein Videodateipfad (der Benutzer stellt ihn bereit; ansonsten nachfragen)
- Optional: gewünschtes Format (9:16, 16:9, 1:1)
- Optional: Stilpräferenz für Untertitel
Werkzeuge
- Whisper:
whisper --model tiny.en --word_timestamps True --output_format json(schnell; für Nicht-Englisch--model baseverwenden) - ffmpeg: unter macOS
-hwaccel videotoolboxzum Dekodieren hinzufügen,-preset ultrafastfür Renderings. Final:-c:v libx264 -crf 20 - Skripte:
~/projects/clipify/scripts/analyze.py— Sprecher-Zeitachse aus zwei ROI-Bewegungsdateienbuild_pan.py— ffmpeg-Zuschnitt x-Ausdruck mit harten Schnittenbuild_ass.py— Opus-artige ASS-Untertitel aus Whisper-JSONaudio_align.py— Offset eines Sub-Clips in einer längeren Quelle finden
Arbeitsverzeichnis: /tmp/clipify/ (zu Beginn erstellen)
Arbeitsablauf
Schritt 1 — Die lustigsten Teile finden
mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
JSON lesen, 3–5 Kandidaten auswählen. Lustigkeits-Signale: Pointen/Reaktionen, Wendungen, peinliche Pausen, Selbstironie, Audiospitzen.
Für jeden: [Start, Ende, warum-lustig, vorgeschlagener Titel]. Ziel 10–25 s. Liste anzeigen, Benutzer auswählen lassen.
Schritt 2 — Zuschneiden
ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4
Schritt 3 — Ausgabeformat
Fragen: „9:16 (TikTok/Reels), 16:9 (YouTube) oder 1:1 (Insta-Feed)?“
Schritt 4 — Falls 16:9 → 9:16: Pan oder Split-Screen
4a — Pan-zwischen-Gesichtern
- Ein Einzelbild auswählen, Gesichts-ROIs abschätzen (Mund+Kinn-Bereich als x,y,w,h)
- Bewegungsenergie pro Frame in jedem ROI extrahieren via ffmpeg tblend+signalstats
- Sprecher-Zeitachse erstellen:
python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json - Pan-x-Koordinaten für vertikalen Streifen wählen (Zuschnittbreite = 608 bei 1920-Quelle)
- x-Ausdruck generieren und rendern:
python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X
4b — Split-Screen
Zwei gestapelte Kacheln (1080x960 jede), aktiver Sprecher oben. Enable-Ausdruck aus segments.json erstellen.
Schritt 5 — Untertitel
Drei Stile: opus (groß fett, gelbes aktives Wort), karaoke (4-Wort-Blöcke, grüne Hervorhebung), minimal (sauberes Helvetica).
whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"
Schritt 6 — Ausliefern
- Speichern unter
<source_dir>/clipify_out/ - Ausgeben: Name, Dauer, was lustig war, Ausgabepfad
- Erste Ausgabe zur Ansicht öffnen
- Iteration anbieten
Fallstricke
- ROIs nicht überoptimieren (maximal 2 Iterationen)
- Auf Szenenschnitte im Clip prüfen (
select='gt(scene,0.3)') - 4K-Quelle: zuerst auf 1080p verkleinern oder alle Koordinaten verdoppeln
- Whisper den zugeschnittenen Clip (nicht die vollständige Quelle) für Untertitel-Zeitstempel verwenden
- Falls die Quelle eingebrannte Untertitel hat, mit
audio_align.pydas saubere Master finden
Anforderungen
- ffmpeg mit libx264 UND libass (zum Einbrennen von Untertiteln). Prüfen:
ffmpeg -filters 2>&1 | grep subtitles. Die standardmäßige Homebrew-ffmpeg-Formel enthält NICHT libass. Das homebrew-ffmpeg-Tap verwenden:brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Wenn brew über veraltete CLT klagt, zuerstsoftwareupdate --install "Command Line Tools for Xcode <version>"ausführen (genaue Bezeichnung mitsoftwareupdate --listprüfen). - whisper (openai-whisper):
brew install openai-whisperoderpip install openai-whisper - Python 3 + numpy
- macOS empfohlen (VideoToolbox), funktioniert auf Linux ohne hwaccel-Flag
Workaround falls kein libass
Wenn ffmpeg den subtitles/ass-Filter nicht hat, drawtext als Fallback für einfache Untertitel verwenden (ein Wort nach dem anderen, weniger schön, aber funktional). Oder ffmpeg mit libass neu installieren.