stevederico/video-understanding

video-understanding은(는) 무엇을 하나요?

에이전트 스킬: 타임스탬프 프레임 + 로컬-위스퍼 SRT → 시각과 음성을 연관시킨 이해.md

이 스킬은 비디오의 시각적 프레임과 로컬 위스퍼(Local-Whisper)로 생성된 SRT 자막을 결합하여 통합된 이해 파일(understanding.md)을 생성합니다. 주요 목표는 AI 에이전트가 비디오 콘텐츠를 더 깊이 이해할 수 있도록 시각 정보와 음성 정보를 시간 기반으로 정렬하는 것입니다.

작동 방식

1. 비디오 프레임 추출: 비디오 파일에서 타임스탬프가 포함된 프레임을 추출합니다.
2. SRT 처리: 로컬 위스퍼로 생성된 SRT 파일을 읽고 각 자막의 타임스탬프를 추출합니다.
3. 매핑 및 결합: 각 프레임과 해당 시간대의 자막을 매핑하여 시각적 내용과 음성 내용을 함께 분석합니다.
4. 결과 생성: 최종 understanding.md 파일에 시간에 따른 시각-음성 상관 관계를 구조화된 형태로 저장합니다.

사용 예시

# 비디오 파일과 SRT 파일을 입력으로 제공
video-understanding --video video.mp4 --srt transcript.srt

지원 플랫폼

• Claude Code
• Cursor
• Codex
• 기타 AI 에이전트 도구

의존성

• ffmpeg: 프레임 추출
• local-whisper: SRT 생성 (로컬 실행)
• Python 3.8+

출력 형식

# Understanding Report

## 타임스탬프 00:00:05
- **시각**: 비디오 프레임 설명
- **음성**: "자막 내용"

## 타임스탬프 00:00:10
- **시각**: 다음 프레임 설명
- **음성**: "다음 자막 내용"