이 스킬이 활성화되면, 항상 첫 응답을 :mag: 이모지로 시작하세요.
비디오 분석기
비디오 분석은 비디오 파일에서 구조화된 정보(메타데이터, 키프레임, 장면 경계, 색상 팔레트, 모션 데이터, 오디오 특성)를 추출하는 작업입니다. 잘 구축된 비디오 분석 파이프라인은 FFmpeg를 프레임 추출 및 신호 처리에 사용하고 AI 비전 모델을 시각적 콘텐츠의 의미적 이해에 결합합니다. 이 스킬은 원시 비디오 파일에서 실행 가능한 데이터까지의 전체 워크플로우를 다룹니다. ffprobe를 사용한 메타데이터 검사, FFmpeg 필터 그래프를 사용한 프레임 추출 및 장면 감지, 무음 및 볼륨 감지를 위한 오디오 분석, 디자인 시스템 추출 및 콘텐츠 이해를 위한 AI 비전을 포함합니다.
비디오 분석의 두 기둥은 FFmpeg(미디어 처리의 스위스 군용 칼)와 AI 비전 모델(각 프레임의 내용을 이해하는 데 사용)입니다. FFmpeg는 기계적 작업(비디오를 프레임으로 분할, 픽셀 차이 임계값을 통한 장면 변경 감지, 오디오 파형 추출)을 처리합니다. AI 비전은 의미적 작업(UI 컴포넌트 식별, 텍스트 읽기, 색상 값 추출, 레이아웃 패턴 이해)을 처리합니다.
이 스킬을 사용해야 하는 경우
사용자가 다음과 같은 요청을 할 때 이 스킬을 실행하세요:
- 비디오에서 정기적인 간격 또는 장면 경계로 프레임을 추출하려는 경우
- 비디오 메타데이터(해상도, 길이, 코덱, 비트레이트)를 분석해야 하는 경우
- 장면 감지 또는 장면 변경 타임스탬프에 대해 물어보는 경우
- 비디오 콘텐츠에서 색상 팔레트 또는 디자인 시스템을 추출하려는 경우
- 오디오 트랙(무음 감지, 볼륨 레벨, 파형)을 분석해야 하는 경우
- 비디오에서 모션 분석 또는 애니메이션 타이밍에 대해 물어보는 경우
- AI 비전을 사용하여 비디오 콘텐츠를 프레임별로 이해하려는 경우
- 비디오 파일에서 썸네일 또는 미리보기 스트립을 생성해야 하는 경우
다음 경우에는 이 스킬을 실행하지 마세요:
- 처음부터 비디오를 생성하거나 편집하는 경우 - remotion-video 또는 video-creator 사용
- 비디오 스크립트 또는 스토리보드를 작성하는 경우 - video-scriptwriting 사용
- 라이브 비디오 스트리밍 또는 실시간 비디오 처리
- 배포를 위한 비디오 인코딩/트랜스코딩(렌더링 작업이며 분석이 아님)
핵심 원칙
-
추출 후 분석 - 항상 프레임 추출(FFmpeg)과 의미 분석(AI 비전)을 분리하세요. 두 작업을 한 단계로 처리하면 취약한 파이프라인이 생성됩니다. 먼저 프레임을 디스크로 추출한 후 분석하세요.
-
ffmpeg 전에 ffprobe 사용 - 비디오를 처리하기 전에 ffprobe로 비디오 속성을 검사하세요. 알 수 없는 형식에 대해 FFmpeg 명령을 무턱대고 실행하면 무음 오류 및 손상된 출력이 발생합니다.
-
고정 간격보다 장면 감지 - 비디오 콘텐츠를 분석할 때 고정 시간 간격보다는 장면 경계에서 프레임을 추출하세요. 장면 변경 프레임은 초당 하나의 프레임을 추출하는 것보다 훨씬 적은 프레임으로 비디오의 시각적 다양성을 포착합니다.
-
모든 곳에서 JSON 출력 - ffprobe의 JSON 출력 형식을 사용하고 분석 결과를 JSON으로 구조화하세요. 이렇게 하면 파이프라인이 구성 가능해지고 결과를 기계가 읽을 수 있습니다.
-
디스크 공간 인식 - 비디오 프레임 추출은 수천 개의 대용량 이미지 파일을 생성할 수 있습니다. 추출 전에 항상 출력 크기를 예측하고, 적절한 이미지 형식(분석용 JPEG, 픽셀 완벽 작업용 PNG)을 사용하며, 분석 후 임시 프레임을 정리하세요.
핵심 개념
FFmpeg 파이프라인 아키텍처
FFmpeg는 역멀티플렉싱, 디코딩, 필터링, 인코딩, 멀티플렉싱의 파이프라인을 통해 비디오를 처리합니다. 분석을 위해 주로 디코드 및 필터 단계를 사용합니다:
입력 파일 -> 역멀티플렉서 -> 디코더 -> 필터 그래프 -> 출력(프레임/데이터)
분석을 위한 주요 필터 개념:
select필터: 표현식에 따라 출력할 프레임 선택showinfo필터: 프레임 메타데이터 출력(타임스탬프, 픽처 타입 등)scene감지: 연속 프레임 간 픽셀 수준 차이 점수fps필터: 정기적인 간격으로 추출하기 위해 프레임 속도 감소
장면 감지
장면 감지는 픽셀 차이를 사용하여 연속 프레임을 비교하는 방식으로 작동합니다. FFmpeg의 scene 필터는 0.0(동일)에서 1.0(완전히 다름) 사이의 점수를 생성합니다. 0.3-0.4의 임계값은 카메라 움직임과 조명 변화를 무시하면서 주요 장면 변경을 포착합니다.
| 임계값 | 동작 |
|---|---|
| 0.1-0.2 | 매우 민감 - 팬, 줌, 조명 변화 포착 |
| 0.3-0.4 | 균형 잡힘 - 컷, 전환, 주요 변경 포착 |
| 0.5-0.7 | 보수적 - 하드 컷 및 극적인 장면 변경만 포착 |
| 0.8-1.0 | 너무 공격적 - 대부분의 장면 변경을 놓침 |
AI 비전 분석 워크플로우
AI 비전을 사용하여 비디오에서 구조화된 데이터를 추출하는 워크플로우:
- 검사 - ffprobe로 비디오 메타데이터 가져오기(길이, 해상도, fps)
- 추출 - FFmpeg를 사용하여 장면 경계에서 키 프레임 가져오기
- 읽기 - Read 도구를 사용하여 각 프레임 이미지 로드(이미지 지원)
- 분석 - 각 프레임에 대해 색상, 타이포그래피, 레이아웃, 컴포넌트 식별
- 집계 - 프레임 간 일관된 패턴 찾기
- 출력 - 구조화된 디자인 시스템 또는 콘텐츠 분석 생성
일반적인 작업
1. FFmpeg 설치 및 확인
FFmpeg가 사용 가능한지 확인하고 해당 버전과 기능을 검사합니다.
# FFmpeg 설치 확인
ffmpeg -version
# ffprobe 설치 확인
ffprobe -version
# macOS에 설치
brew install ffmpeg
# Ubuntu/Debian에 설치
sudo apt-get update && sudo apt-get install -y ffmpeg
# 지원되는 형식 확인
ffmpeg -formats 2>/dev/null | head -20
# 지원되는 코덱 확인
ffmpeg -codecs 2>/dev/null | grep -i h264
2. 장면 경계에서 키 프레임 추출
중요한 시각적 변화가 발생하는 프레임만 추출합니다. 이것은 비디오 콘텐츠를 샘플링하는 가장 효율적인 방법입니다.
# 장면 변경 시 프레임 추출(임계값 0.3)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep showinfo
# 타임스탬프를 파일에 기록하며 추출
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-vsync vfr \
scenes/scene_%04d.png \
2>&1 | grep "pts_time" > scenes/timestamps.txt
# 장면 프레임을 JPEG로 추출(파일 크기 작음, 분석에 적합)
mkdir -p scenes
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
scenes/scene_%04d.jpg
3. 정기적인 간격으로 프레임 추출
콘텐츠 변경과 관계없이 균등하게 분포된 샘플이 필요할 때 사용합니다.
# 초당 하나의 프레임 추출
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1" frames/frame_%04d.png
# 5초마다 하나의 프레임 추출
mkdir -p frames
ffmpeg -i input.mp4 -vf "fps=1/5" frames/frame_%04d.png
# I-프레임만 추출(코덱의 키프레임)
mkdir -p keyframes
ffmpeg -i input.mp4 \
-vf "select='eq(pict_type,I)'" \
-vsync vfr \
keyframes/kf_%04d.png
# 특정 타임스탬프에서 단일 프레임 추출
ffmpeg -i input.mp4 -ss 00:01:30 -frames:v 1 thumbnail.png
# 첫 번째 프레임만 추출
ffmpeg -i input.mp4 -frames:v 1 first_frame.png
4. ffprobe로 비디오 메타데이터 분석
처리하기 전에 비디오 속성을 검사합니다. 기계가 읽을 수 있는 결과를 위해 항상 JSON 출력을 사용하세요.
# 전체 메타데이터를 JSON으로(스트림 및 형식)
ffprobe -v quiet \
-print_format json \
-show_format \
-show_streams \
input.mp4
# 길이만 가져오기
ffprobe -v error \
-show_entries format=duration \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# 해상도 가져오기
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=width,height \
-of csv=s=x:p=0 \
input.mp4
# 프레임 속도 가져오기
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=r_frame_rate \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
# 코덱 정보 가져오기
ffprobe -v error \
-select_streams v:0 \
-show_entries stream=codec_name,codec_long_name,profile \
-of json \
input.mp4
# 총 프레임 수 계산
ffprobe -v error \
-count_frames \
-select_streams v:0 \
-show_entries stream=nb_read_frames \
-of default=noprint_wrappers=1:nokey=1 \
input.mp4
5. 장면 감지 및 타임스탬프 나열
프레임을 추출하지 않고 장면 변경 타임스탬프 목록을 가져옵니다.
# 장면 변경 타임스탬프 나열
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep pts_time
# 모든 프레임에 대한 장면 점수 추출(분석용)
ffmpeg -i input.mp4 \
-vf "select='gte(scene,0)',metadata=print" \
-f null - \
2>&1 | grep "lavfi.scene_score"
# 장면 변경 횟수 계산
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)',showinfo" \
-f null - \
2>&1 | grep -c "pts_time"
6. 오디오 파형 추출 및 무음 감지
오디오 트랙에서 무음 간격, 볼륨 레벨 및 시각적 파형을 분석합니다.
# 무음 구간 감지(챕터 나누기를 찾는 데 유용)
ffmpeg -i input.mp4 \
-af silencedetect=noise=-30dB:d=0.5 \
-f null - \
2>&1 | grep silence
# 오디오 파형을 이미지로 생성
ffmpeg -i input.mp4 \
-filter_complex "showwavespic=s=1920x200:colors=blue" \
-frames:v 1 \
waveform.png
# 볼륨 레벨 분석
ffmpeg -i input.mp4 \
-af volumedetect \
-f null - \
2>&1 | grep volume
# 오디오 스펙트럼 시각화 추출
ffmpeg -i input.mp4 \
-filter_complex "showspectrumpic=s=1920x512:color=intensity" \
-frames:v 1 \
spectrum.png
7. AI 비전 분석 워크플로우
프레임을 추출한 다음 Claude의 비전 기능으로 분석하여 비디오 콘텐츠에서 구조화된 정보를 추출합니다.
# 1단계: 비디오 검사
ffprobe -v quiet -print_format json -show_format -show_streams input.mp4
# 2단계: 장면 프레임 추출
mkdir -p analysis_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.3)'" \
-vsync vfr \
-q:v 2 \
analysis_frames/frame_%04d.jpg
프레임을 추출한 후 Read 도구를 사용하여 각 이미지를 로드합니다. Read 도구는 이미지 파일(PNG, JPG 등)을 지원하며 시각적으로 표시합니다. 각 프레임에 대해 다음을 분석합니다:
- 색상: 주요 16진수 색상 값, 배경색, 악센트 색상 추출
- 타이포그래피: 글꼴 크기, 두께, 줄 높이, 제목 계층 식별
- 레이아웃: 그리드 패턴, 플렉스 레이아웃, 간격 리듬, 여백 감지
- 컴포넌트: 버튼, 카드, 헤더, 네비게이션, 양식 식별
- 애니메이션 상태: 전환, 호버 상태, 로딩 표시기 기록
모든 프레임에서 결과를 집계하여 일관된 디자인 시스템을 구축합니다.
8. 비디오에서 디자인 시스템 추출
제품 데모 또는 UI 워크스루 비디오에서 디자인 시스템을 추출하는 완전한 워크플로우입니다.
# 1단계: 비디오 정보 가져오기
ffprobe -v quiet -print_format json -show_format input.mp4
# 2단계: 장면 프레임 추출(각 고유 화면 캡처)
mkdir -p design_frames
ffmpeg -i input.mp4 \
-vf "select='gt(scene,0.4)'" \
-vsync vfr \
-q:v 1 \
design_frames/screen_%04d.png
# 3단계: 적용 범위를 위해 정기적인 간격으로도 추출
ffmpeg -i input.mp4 \
-vf "fps=1/3" \
-q:v 1 \
design_frames/interval_%04d.png
프레임 추출 후 각 프레임을 AI 비전으로 분석하고 다음을 컴파일합니다:
{
"colors": {
"primary": "#2563EB",
"secondary": "#7C3AED",
"background": "#FFFFFF",
"surface": "#F3F4F6",
"text": "#111827",
"textSecondary": "#6B7280"
},
"typography": {
"headingFont": "Inter",
"bodyFont": "Inter",
"scale": ["12px", "14px", "16px", "20px", "24px", "32px", "48px"]
},
"spacing": {
"unit": "8px",
"scale": ["4px", "8px", "12px", "16px", "24px", "32px", "48px", "64px"]
},
"components": ["button", "card", "navbar", "sidebar", "input", "modal"]
}
안티 패턴 / 일반적인 실수
| 실수 | 잘못된 이유 | 대신 할 일 |
|---|---|---|
| 비디오의 모든 프레임 추출 | 수천 개의 파일을 생성하고 디스크와 분석 시간 낭비 | 장면 감지 또는 고정 간격(1fps 이하) 사용 |
| 처리 전 ffprobe 건너뛰기 | 알 수 없는 코덱이나 손상된 파일이 무음 FFmpeg 오류 발생 | 항상 먼저 검사하여 형식과 속성 검증 |
| 대량 프레임 추출에 PNG 사용 | PNG 파일은 JPEG보다 5-10배 크며 분석에 이점이 거의 없음 | 분석에는 JPEG(-q:v 2) 사용; 픽셀 정밀 작업에만 PNG 사용 |
| 장면 임계값을 너무 낮게 설정(0.1) | 카메라 움직임, 조명 변화를 포착하여 너무 많은 프레임 생성 | 0.3-0.4로 시작하고 결과에 따라 조정 |
select 필터에서 -vsync vfr 무시 | 타임라인의 간격을 채우기 위해 중복 프레임 생성 | select 필터 사용 시 항상 -vsync vfr 사용 |
| 타임스탬프 없이 프레임 분석 | 분석 결과를 비디오 타임라인과 연관시킬 수 없음 | showinfo 필터를 사용하여 각 프레임의 pts_time 캡처 |
| 수백 개의 프레임에 AI 비전 실행 | 컨텍스트 제한을 초과하고 토큰 낭비 | 분석 패스당 10-20개의 대표 프레임으로 제한 |
| ffmpeg 경로 하드코딩 | OS 및 설치 방법에 따라 호환성 깨짐 | PATH에 의존하여 직접 ffmpeg 및 ffprobe 사용 |
주의사항
-
-vsync vfr는 select 필터와 함께 필수 --vsync vfr없이 FFmpeg는 선택된 프레임 사이의 "누락된" 프레임을 중복으로 채워 일정한 프레임 속도를 유지합니다. 즉, 5개의 장면 변경 프레임을 추출했는데 대부분이 중복인 500개의 출력 파일이 생성될 수 있습니다. 항상select필터를-vsync vfr과 함께 사용하세요. -
장면 감지 임계값은 콘텐츠에 따라 다름 - 0.3의 임계값은 내러티브 비디오의 컷에 잘 작동하지만, 애니메이션 콘텐츠나 화면 녹화는 점진적인 전환이 낮은 장면 점수를 생성하므로 0.4-0.5가 필요할 수 있습니다. 추출 후 항상 프레임 수를 확인하고 임계값을 조정하세요.
-
ffprobe 프레임 계산은 느림 -
-count_frames를 ffprobe와 함께 사용하면 프레임을 정확하게 계산하기 위해 전체 비디오를 디코딩합니다. 긴 비디오의 경우 몇 분이 걸릴 수 있습니다. 스트림 메타데이터에서nb_frames를 사용하거나(덜 정확하지만 즉시) 길이와 프레임 속도로부터 추정하세요. -
오디오 무음 감지 매개변수는 조정이 필요함 - 기본
-30dB노이즈 임계값은