Que fait Clipify ?
Trouve les moments les plus drôles d'une vidéo, les découpe en clips autonomes, reformate éventuellement du 16:9 au 9:16 (panoramique sur visage ou écran partagé) et ajoute des sous-titres word-by-word façon Opus.
Dépôt source : ~/projects/clipify (cloné depuis github.com/louisedesadeleer/clipify)
Entrées
- Un chemin de fichier vidéo (l'utilisateur le fournira ; sinon demander)
- Optionnel : format demandé (9:16, 16:9, 1:1)
- Optionnel : préférence de style de sous-titres
Outils
- Whisper :
whisper --model tiny.en --word_timestamps True --output_format json(rapide ; pour les langues non-anglaises utiliser--model base) - ffmpeg : ajouter
-hwaccel videotoolboxsur macOS pour le décodage,-preset ultrafastpour les rendus. Final :-c:v libx264 -crf 20 - Scripts :
~/projects/clipify/scripts/analyze.py— ligne temporelle du locuteur à partir de deux fichiers de mouvement ROIbuild_pan.py— expression ffmpeg crop avec coupures franchesbuild_ass.py— sous-titres ASS façon Opus depuis JSON Whisperaudio_align.py— trouver le décalage d'un sous-clip dans une source plus longue
Répertoire de travail : /tmp/clipify/ (le créer au début)
Workflow
Étape 1 — Trouver les parties les plus drôles
mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
Lire le JSON, choisir 3 à 5 candidats. Signaux humoristiques : chutes de blagues/réactions, retournements, silences gênants, auto-dérision, pics audio.
Pour chacun : [début, fin, pourquoi-c'est-drole, titre suggéré]. Viser 10-25s. Afficher la liste, laisser l'utilisateur choisir.
Étape 2 — Découpage
ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4
Étape 3 — Format de sortie
Demander : « 9:16 (TikTok/Reels), 16:9 (YouTube), ou 1:1 (fil Insta) ? »
Étape 4 — Si 16:9 → 9:16 : panoramique ou écran partagé
4a — Panoramique entre visages
- Échantillonner une image, repérer visuellement les ROI de visage (zone bouche+menton en x,y,w,h)
- Extraire l'énergie de mouvement par trame dans chaque ROI via ffmpeg tblend+signalstats
- Construire la ligne temporelle du locuteur :
python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json - Choisir les coordonnées x pour la bande verticale (largeur de recadrage = 608 pour une source 1920)
- Générer l'expression x et effectuer le rendu :
python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X
4b — Écran partagé
Deux tuiles empilées (1080x960 chacune), locuteur actif en haut. Construire l'expression enable à partir du fichier segments.json.
Étape 5 — Sous-titres
Trois styles : opus (grand et gras, mot actif jaune), karaoké (groupes de 4 mots, surlignage vert), minimal (Helvetica propre).
whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"
Étape 6 — Livraison
- Enregistrer dans
<répertoire_source>/clipify_out/ - Afficher : nom, durée, ce qui était drôle, chemin de sortie
- Ouvrir la première sortie pour révision
- Proposer d'itérer
Pièges
- Ne pas sur-optimiser les ROI (2 itérations maximum)
- Vérifier les coupures de plan dans le clip (
select='gt(scene,0.3)') - Source 4K : réduire d'abord en 1080p ou doubler toutes les coordonnées
- Transcrire le clip rogné (pas la source entière) pour les horodatages des sous-titres
- Si la source a des sous-titres incrustés, utiliser
audio_align.pypour trouver le master propre
Prérequis
- ffmpeg avec libx264 ET libass (pour l'incrustation des sous-titres). Vérifier :
ffmpeg -filters 2>&1 | grep subtitles. La formule Homebrew par défaut de ffmpeg n'inclut PAS libass. Utiliser le tap homebrew-ffmpeg :brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Si brew se plaint de CLT obsolète, exécutersoftwareupdate --install "Command Line Tools for Xcode <version>"d'abord (vérifiersoftwareupdate --listpour l'étiquette exacte). - whisper (openai-whisper) :
brew install openai-whisperoupip install openai-whisper - Python 3 + numpy
- macOS recommandé (VideoToolbox), fonctionne sur Linux sans le flag hwaccel
Solution de contournement si pas de libass
Si ffmpeg n'a pas le filtre subtitles/ass, utiliser drawtext comme solution de repli pour les sous-titres simples (un mot à la fois, moins joli mais fonctionnel). Ou réinstaller ffmpeg avec libass.