skyclass-distill은(는) 무엇을 하나요?
다중 사이트 교육 비디오 수집, Faster Whisper 전사, LLM 교육 능력 증류 및 Codex Skills 생성 파이프라인
개요
이 프로젝트는 여러 교육 플랫폼에서 비디오를 수집하고, 이를 자동으로 전사 및 분석하여, 대형 언어 모델(LLM)을 통해 핵심 교육 내용과 교수 방법론을 추출한 후, 최종적으로 Codex Skills 형식의 AI 에이전트 스킬로 변환하는 완전 자동화 파이프라인을 제공합니다.
주요 기능
- 다중 사이트 수집: 다양한 교육 비디오 플랫폼에서 동시에 콘텐츠 수집 지원
- 자동 전사: Faster Whisper를 사용한 고속, 고정확도 음성 인식
- 교육 능력 증류: LLM을 활용한 강사의 교수 전략, 핵심 개념, 예제 추출
- Codex Skills 생성: 추출된 지식을 AI 에이전트 호환 스킬 형식으로 변환
시스템 요구 사항
- Python 3.10+
- CUDA 호환 GPU (선택 사항, Whisper 가속화)
- 충분한 디스크 공간 (비디오 저장 및 모델 캐싱)
설치 방법
git clone https://github.com/Rick2Ricardo/skyclass-distill.git
cd skyclass-distill
pip install -r requirements.txt
사용 방법
1. 비디오 수집
python collect.py --source <URL> --output ./videos
2. 전사
python transcribe.py --input ./videos --output ./transcripts --model large-v3
3. LLM 증류
python distill.py --input ./transcripts --output ./knowledge --model gpt-4
4. Codex Skills 생성
python generate_skills.py --input ./knowledge --output ./skills
구성 요소
| 모듈 | 설명 | 종속성 |
|---|---|---|
collect.py | 웹 스크래핑 및 API를 통한 비디오 수집 | requests, beautifulsoup4 |
transcribe.py | Faster Whisper를 사용한 음성-텍스트 변환 | faster-whisper, torch |
distill.py | LLM API를 사용한 교육 콘텐츠 분석 및 추출 | openai, langchain |
generate_skills.py | 추출된 지식을 Codex Skills 형식으로 변환 | json, yaml |
환경 변수
| 변수 | 설명 | 필수 여부 |
|---|---|---|
OPENAI_API_KEY | OpenAI API 키 (LLM 증류용) | 예 |
WHISPER_MODEL_DIR | Whisper 모델 캐시 디렉토리 | 아니요 |
COLLECTION_INTERVAL | 수집 작업 간 대기 시간 (초) | 아니요 |
라이선스
MIT License