Communitygithub.com

Clipify

Trouve les moments les plus drôles d'une vidéo, les découpe en clips autonomes, reformate éventuellement du 16:9 au 9:16 (panoramique sur visage ou écran partagé) et ajoute des sous-titres word-by-word façon Opus.

Qu'est-ce que Clipify ?

Clipify est un outil conçu pour les créateurs de contenu et les éditeurs vidéo qui souhaitent extraire rapidement les moments les plus amusants d'une vidéo et les transformer en clips prêts pour les réseaux sociaux. Il automatise plusieurs étapes : la détection des parties drôles via Whisper (analyse audio), le découpage, le reformatage vertical (9:16) avec deux modes (panoramique entre visages ou écran partagé), et l'ajout de sous-titres stylisés word-by-word. Le flux de travail est interactif : l'utilisateur fournit une vidéo, puis valide les candidats et choisit le format de sortie. Clipify utilise ffmpeg (nécessite libass) et Whisper, et est optimisé pour macOS avec VideoToolbox mais fonctionne aussi sous Linux. Les scripts Python associés analysent les régions d'intérêt dans l'image pour le panoramique et construisent les légendes ASS. L'outil est idéal pour produire rapidement des shorts, reels ou TikTok à partir de longues vidéos, avec un contrôle créatif.

Compatible avec~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/exiao/skills/tree/HEAD/video/clipify

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait Clipify ?

Trouve les moments les plus drôles d'une vidéo, les découpe en clips autonomes, reformate éventuellement du 16:9 au 9:16 (panoramique sur visage ou écran partagé) et ajoute des sous-titres word-by-word façon Opus.

Dépôt source : ~/projects/clipify (cloné depuis github.com/louisedesadeleer/clipify)

Entrées

  • Un chemin de fichier vidéo (l'utilisateur le fournira ; sinon demander)
  • Optionnel : format demandé (9:16, 16:9, 1:1)
  • Optionnel : préférence de style de sous-titres

Outils

  • Whisper : whisper --model tiny.en --word_timestamps True --output_format json (rapide ; pour les langues non-anglaises utiliser --model base)
  • ffmpeg : ajouter -hwaccel videotoolbox sur macOS pour le décodage, -preset ultrafast pour les rendus. Final : -c:v libx264 -crf 20
  • Scripts : ~/projects/clipify/scripts/
    • analyze.py — ligne temporelle du locuteur à partir de deux fichiers de mouvement ROI
    • build_pan.py — expression ffmpeg crop avec coupures franches
    • build_ass.py — sous-titres ASS façon Opus depuis JSON Whisper
    • audio_align.py — trouver le décalage d'un sous-clip dans une source plus longue

Répertoire de travail : /tmp/clipify/ (le créer au début)


Workflow

Étape 1 — Trouver les parties les plus drôles

mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en

Lire le JSON, choisir 3 à 5 candidats. Signaux humoristiques : chutes de blagues/réactions, retournements, silences gênants, auto-dérision, pics audio.

Pour chacun : [début, fin, pourquoi-c'est-drole, titre suggéré]. Viser 10-25s. Afficher la liste, laisser l'utilisateur choisir.

Étape 2 — Découpage

ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4

Étape 3 — Format de sortie

Demander : « 9:16 (TikTok/Reels), 16:9 (YouTube), ou 1:1 (fil Insta) ? »

Étape 4 — Si 16:9 → 9:16 : panoramique ou écran partagé

4a — Panoramique entre visages

  1. Échantillonner une image, repérer visuellement les ROI de visage (zone bouche+menton en x,y,w,h)
  2. Extraire l'énergie de mouvement par trame dans chaque ROI via ffmpeg tblend+signalstats
  3. Construire la ligne temporelle du locuteur : python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json
  4. Choisir les coordonnées x pour la bande verticale (largeur de recadrage = 608 pour une source 1920)
  5. Générer l'expression x et effectuer le rendu : python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X

4b — Écran partagé

Deux tuiles empilées (1080x960 chacune), locuteur actif en haut. Construire l'expression enable à partir du fichier segments.json.

Étape 5 — Sous-titres

Trois styles : opus (grand et gras, mot actif jaune), karaoké (groupes de 4 mots, surlignage vert), minimal (Helvetica propre).

whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"

Étape 6 — Livraison

  • Enregistrer dans <répertoire_source>/clipify_out/
  • Afficher : nom, durée, ce qui était drôle, chemin de sortie
  • Ouvrir la première sortie pour révision
  • Proposer d'itérer

Pièges

  • Ne pas sur-optimiser les ROI (2 itérations maximum)
  • Vérifier les coupures de plan dans le clip (select='gt(scene,0.3)')
  • Source 4K : réduire d'abord en 1080p ou doubler toutes les coordonnées
  • Transcrire le clip rogné (pas la source entière) pour les horodatages des sous-titres
  • Si la source a des sous-titres incrustés, utiliser audio_align.py pour trouver le master propre

Prérequis

  • ffmpeg avec libx264 ET libass (pour l'incrustation des sous-titres). Vérifier : ffmpeg -filters 2>&1 | grep subtitles. La formule Homebrew par défaut de ffmpeg n'inclut PAS libass. Utiliser le tap homebrew-ffmpeg : brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. Si brew se plaint de CLT obsolète, exécuter softwareupdate --install "Command Line Tools for Xcode <version>" d'abord (vérifier softwareupdate --list pour l'étiquette exacte).
  • whisper (openai-whisper) : brew install openai-whisper ou pip install openai-whisper
  • Python 3 + numpy
  • macOS recommandé (VideoToolbox), fonctionne sur Linux sans le flag hwaccel

Solution de contournement si pas de libass

Si ffmpeg n'a pas le filtre subtitles/ass, utiliser drawtext comme solution de repli pour les sous-titres simples (un mot à la fois, moins joli mais fonctionnel). Ou réinstaller ffmpeg avec libass.

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Skills associés