Clipify은(는) 무엇을 하나요?
비디오에서 가장 재미있는 순간을 찾아 독립 클립으로 자르고, 선택적으로 16:9 → 9:16(얼굴 패닝 또는 분할 화면)으로 리프레임하며, Opus 스타일의 단어별 자막을 입힙니다.
소스 저장소: ~/projects/clipify (github.com/louisedesadeleer/clipify에서 클론)
입력
- 비디오 파일 경로 (사용자가 제공합니다. 그렇지 않으면 물어보세요)
- 선택 사항: 요청된 형식 (9:16, 16:9, 1:1)
- 선택 사항: 자막 스타일 선호도
도구
- Whisper:
whisper --model tiny.en --word_timestamps True --output_format json(빠름; 영어 외 언어는--model base사용) - ffmpeg: macOS에서 디코딩 시
-hwaccel videotoolbox추가, 렌더링 시-preset ultrafast사용. 최종:-c:v libx264 -crf 20 - 스크립트:
~/projects/clipify/scripts/analyze.py— 두 개의 ROI(관심 영역) 모션 파일로부터 화자 타임라인 생성build_pan.py— 하드 컷이 포함된 ffmpeg 크롭 x-표현식 생성build_ass.py— whisper JSON에서 Opus 스타일 ASS 자막 생성audio_align.py— 긴 원본에서 하위 클립의 오프셋 찾기
작업 디렉터리: /tmp/clipify/ (시작 시 mkdir)
워크플로
1단계 — 가장 재미있는 부분 찾기
mkdir -p /tmp/clipify
ffmpeg -y -hwaccel videotoolbox -i "$VIDEO" -vn -ac 1 -ar 16000 /tmp/clipify/audio.wav
whisper /tmp/clipify/audio.wav --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
JSON을 읽고, 3~5개의 후보를 선택합니다. 웃긴 신호: 펀치라인/반응, 반전, 어색한 침묵, 자학 개그, 오디오 피크.
각 후보: [시작, 종료, 웃긴 이유, 제안 제목]. 길이는 10~25초 권장. 목록을 보여주고 사용자가 선택하도록 합니다.
2단계 — 자르기
ffmpeg -y -ss "$START" -t "$DURATION" -i "$VIDEO" -c copy /tmp/clipify/clip_$N.mp4
3단계 — 출력 형식
질문: "9:16 (TikTok/Reels), 16:9 (YouTube), 1:1 (Insta 피드)?"
4단계 — 16:9 → 9:16인 경우: 패닝 또는 분할 화면
4a — 얼굴 간 패닝
- 한 프레임을 샘플링하고 얼굴 ROI(입+턱 영역을 x,y,w,h로)를 눈으로 확인
- ffmpeg tblend+signalstats를 사용하여 각 ROI에서 프레임별 모션 에너지 추출
- 화자 타임라인 생성:
python3 ~/projects/clipify/scripts/analyze.py /tmp/clipify/L.txt /tmp/clipify/R.txt 1.0 > /tmp/clipify/segments.json - 세로 스트립의 패닝 x 좌표 선택 (1920 원본의 경우 크롭 너비 = 608)
- x 표현식 생성 및 렌더링:
python3 ~/projects/clipify/scripts/build_pan.py /tmp/clipify/segments.json $LEFT_X $RIGHT_X
4b — 분할 화면
두 개의 쌓인 타일 (각 1080x960), 활성 화자가 위쪽. segments.json에서 enable 표현식을 생성합니다.
5단계 — 자막
세 가지 스타일: opus (크고 굵게, 활성 단어 노란색), karaoke (4단어 덩어리, 녹색 강조), minimal (깔끔한 Helvetica).
whisper /tmp/clipify/clip_panned.mp4 --model tiny.en --word_timestamps True --output_format json --output_dir /tmp/clipify --language en
python3 ~/projects/clipify/scripts/build_ass.py /tmp/clipify/clip_panned.json /tmp/clipify/captions.ass opus
ffmpeg -y -i /tmp/clipify/clip_panned.mp4 -vf "subtitles=/tmp/clipify/captions.ass" -c:v libx264 -preset fast -crf 20 -c:a copy "$OUTPUT.mp4"
6단계 — 제공
<source_dir>/clipify_out/에 저장- 출력: 이름, 길이, 웃긴 이유, 출력 경로
- 첫 번째 출력을 열어 검토
- 반복 작업 제안
주의사항
- ROI를 과도하게 조정하지 마세요 (최대 2회 반복)
- 클립 내 장면 전환 확인 (
select='gt(scene,0.3)') - 4K 원본: 먼저 1080p로 다운스케일하거나 모든 좌표를 두 배로
- 자막 타임스탬프를 위해 잘라낸 클립(전체 원본 아님)에 Whisper 실행
- 원본에 이미 자막이 입혀진 경우,
audio_align.py를 사용하여 깨끗한 마스터 찾기
요구 사항
- libx264 및 libass(자막 입히기용)를 지원하는 ffmpeg. 확인:
ffmpeg -filters 2>&1 | grep subtitles. 기본 Homebrew ffmpeg 공식은 libass를 포함하지 않습니다. homebrew-ffmpeg 탭 사용:brew tap homebrew-ffmpeg/ffmpeg && brew uninstall --ignore-dependencies ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg. brew가 오래된 CLT에 대해 불평하면softwareupdate --install "Command Line Tools for Xcode <version>"을 먼저 실행하세요 (정확한 레이블은softwareupdate --list로 확인). - whisper (openai-whisper):
brew install openai-whisper또는pip install openai-whisper - Python 3 + numpy
- macOS 권장 (VideoToolbox), Linux에서는 hwaccel 플래그 없이 작동
libass가 없는 경우 해결 방법
ffmpeg에 subtitles/ass 필터가 없으면 간단한 자막(한 번에 한 단어, 덜 예쁘지만 기능적)을 위해 drawtext를 대체재로 사용하세요. 또는 libass와 함께 ffmpeg를 재설치하세요.