Communitygithub.com

Clipify

비디오에서 가장 재미있는 순간을 찾아 독립 클립으로 자르고, 선택적으로 16:9 → 9:16으로 리프레임(얼굴 패닝 또는 분할 화면)하며, Opus 스타일의 단어별 자막을 입힙니다.

Clipify란 무엇인가요?

Clipify는 긴 비디오에서 웃긴 순간을 자동으로 감지하여 소셜 미디어에 바로 올릴 수 있는 클립으로 제작하는 AI 에이전트 스킬입니다. Whisper를 이용해 음성을 텍스트로 변환하고, 텍스트 분석을 통해 펀치라인, 반전, 어색한 침묵, 자학 개그 등의 웃긴 지점을 찾아냅니다. 사용자가 선택한 클립을 자른 후, 16:9 원본 비디오를 9:16(세로) 또는 1:1(정사각형)로 리프레임할 수 있습니다. 리프레임은 두 가지 방식으로 제공됩니다. '얼굴 간 패닝'은 화자 전환에 따라 화면을 좌우로 이동시키며, '분할 화면'은 현재 화자를 위쪽에, 반대편을 아래쪽에 배치합니다. 마지막으로 Opus 스타일의 단어별 하이라이트 자막을 포함한 세 가지 자막 스타일(Opus, 가라오케, 미니멀)로 자막을 생성합니다. 이 스킬은 Claude Code, Cursor, Codex 등 터미널 기반 AI 에이전트와 호환되며, ffmpeg와 Whisper를 활용합니다. macOS에서 VideoToolbox 하드웨어 가속을 지원하며, Linux에서도 사용 가능합니다 (hwaccel 플래그 없이). 사용자는 비디오 파일 경로를 제공하거나 'clipify', '이 영상에서 클립 추출', '9:16 리프레임' 등의 명령을 통해 이 스킬을 호출할 수 있습니다.

지원 대상~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/exiao/skills/tree/HEAD/video/clipify

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Clipify은(는) 무엇을 하나요?

비디오에서 가장 재미있는 순간을 찾아 독립 클립으로 자르고, 선택적으로 16:9 → 9:16(얼굴 패닝 또는 분할 화면)으로 리프레임하며, Opus 스타일의 단어별 자막을 입힙니다.

소스 저장소: ~/projects/clipify (github.com/louisedesadeleer/clipify에서 클론)

입력

  • 비디오 파일 경로 (사용자가 제공합니다. 그렇지 않으면 물어보세요)
  • 선택 사항: 요청된 형식 (9:16, 16:9, 1:1)
  • 선택 사항: 자막 스타일 선호도

도구

  • Whisper: whisper --model tiny.en --word_timestamps True --output_format json (빠름; 영어 외 언어는 --model base 사용)
  • ffmpeg: macOS에서 디코딩 시 -hwaccel videotoolbox 추가, 렌더링 시 -preset ultrafast 사용. 최종: -c:v libx264 -crf 20
  • 스크립트: ~/projects/clipify/scripts/
    • analyze.py — 두 개의 ROI(관심 영역) 모션 파일로부터 화자 타임라인 생성
    • build_pan.py — 하드 컷이 포함된 ffmpeg 크롭 x-표현식 생성
    • build_ass.py — whisper JSON에서 Opus 스타일 ASS 자막 생성
    • audio_align.py — 긴 원본에서 하위 클립의 오프셋 찾기

작업 디렉터리: /tmp/clipify/ (시작 시 mkdir)


워크플로

1단계 — 가장 재미있는 부분 찾기

mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en

JSON을 읽고, 3~5개의 후보를 선택합니다. 웃긴 신호: 펀치라인/반응, 반전, 어색한 침묵, 자학 개그, 오디오 피크.

각 후보: [시작, 종료, 웃긴 이유, 제안 제목]. 길이는 10~25초 권장. 목록을 보여주고 사용자가 선택하도록 합니다.

2단계 — 자르기

ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4

3단계 — 출력 형식

질문: "9:16 (TikTok/Reels), 16:9 (YouTube), 1:1 (Insta 피드)?"

4단계 — 16:9 → 9:16인 경우: 패닝 또는 분할 화면

4a — 얼굴 간 패닝

  1. 한 프레임을 샘플링하고 얼굴 ROI(입+턱 영역을 x,y,w,h로)를 눈으로 확인
  2. ffmpeg tblend+signalstats를 사용하여 각 ROI에서 프레임별 모션 에너지 추출
  3. 화자 타임라인 생성: python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json
  4. 세로 스트립의 패닝 x 좌표 선택 (1920 원본의 경우 크롭 너비 = 608)
  5. x 표현식 생성 및 렌더링: python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X

4b — 분할 화면

두 개의 쌓인 타일 (각 1080x960), 활성 화자가 위쪽. segments.json에서 enable 표현식을 생성합니다.

5단계 — 자막

세 가지 스타일: opus (크고 굵게, 활성 단어 노란색), karaoke (4단어 덩어리, 녹색 강조), minimal (깔끔한 Helvetica).

whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"

6단계 — 제공

  • <source_dir>/clipify_out/에 저장
  • 출력: 이름, 길이, 웃긴 이유, 출력 경로
  • 첫 번째 출력을 열어 검토
  • 반복 작업 제안

주의사항

  • ROI를 과도하게 조정하지 마세요 (최대 2회 반복)
  • 클립 내 장면 전환 확인 (select='gt(scene,0.3)')
  • 4K 원본: 먼저 1080p로 다운스케일하거나 모든 좌표를 두 배로
  • 자막 타임스탬프를 위해 잘라낸 클립(전체 원본 아님)에 Whisper 실행
  • 원본에 이미 자막이 입혀진 경우, audio_align.py를 사용하여 깨끗한 마스터 찾기

요구 사항

  • libx264 및 libass(자막 입히기용)를 지원하는 ffmpeg. 확인: ffmpeg -filters 2>&1 | grep subtitles. 기본 Homebrew ffmpeg 공식은 libass를 포함하지 않습니다. homebrew-ffmpeg 탭 사용: brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. brew가 오래된 CLT에 대해 불평하면 softwareupdate --install "Command Line Tools for Xcode <version>"을 먼저 실행하세요 (정확한 레이블은 softwareupdate --list로 확인).
  • whisper (openai-whisper): brew install openai-whisper 또는 pip install openai-whisper
  • Python 3 + numpy
  • macOS 권장 (VideoToolbox), Linux에서는 hwaccel 플래그 없이 작동

libass가 없는 경우 해결 방법

ffmpeg에 subtitles/ass 필터가 없으면 간단한 자막(한 번에 한 단어, 덜 예쁘지만 기능적)을 위해 drawtext를 대체재로 사용하세요. 또는 libass와 함께 ffmpeg를 재설치하세요.

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

관련 스킬