맥락 → 동영상
임의의 입력 맥락을 내레이션 + 슬라이드 + 자막 + (선택 사항) 아바타가 포함된 MP4로 변환합니다.
사용 시기
動画化,解説動画作って,블로그를 동영상으로,기사를 동영상화,explainer video,context to video- 릴리스 블로그 / PR 설명 / 회의록 / 설계 메모 / 릴리스 노트 / 학습 콘텐츠를 짧은 동영상으로 만들고 싶을 때
- YouTube / 사내 스터디 / Teams / X 용 콘텐츠를 빠르게 대량 생산하고 싶을 때
- 고객에게 제공할 경우 TTS는 Azure Speech 정식 버전으로 교체하세요 (기본값은 edge-tts 무료 엔드포인트)
입력 소스 (다음 중 하나 사용)
| 입력 | 가져오는 방법 |
|---|---|
| 블로그/기사 URL | web_fetch 로 본문 획득 |
| 붙여넣은 텍스트 | 그대로 요약 |
| PR / commit diff | gh pr view + gh pr diff |
| 회의록 / 설계 메모 | 파일 읽기 |
| 릴리스 노트 | URL 또는 Markdown |
| 자유 프롬프트 | LLM 에 직접 구성 요청 |
→ 소스 획득 후 처리는 동일합니다 (LLM이 notes/script.json을 작성).
스택 (모두 무료, 로컬)
| 역할 | 도구 |
|---|---|
| 대본 생성 | LLM (이 스킬 호출) |
| 슬라이드 | Pillow (BIZ UDGothic 등) |
| 내레이션 | edge-tts (Edge Neural 음성, 무료, 비공식) |
| 동영상 합성 | ffmpeg (imageio-ffmpeg 내장 바이너리 가능) |
| 자막 | .srt 자동 생성 |
| 아바타 (선택 사항) | SadTalker (GPU 권장) + ffmpeg 타원 마스크 |
빠른 워크플로우 (아바타 없음)
pip install edge-tts imageio-ffmpeg pillow
# 1. 입력으로부터 script.json 생성 (LLM)
# 2. 동영상 생성
python scripts\build_video.py --project D:\path\to\project
# → output\final.mp4 + final.srt
자세한 내용: references/script-schema.md / references/setup.md
아바타 모드 (구석에 말하는 머리)
GPU(VRAM 8GB+)가 있다면 SadTalker를 사용하여 오른쪽 아래에 아바타를 추가할 수 있습니다. 최초 설정은 별도 venv (Python 3.10)에서 30~40분 소요되며, 이후 동영상당 +20~30분이 추가됩니다.
# 기존 동영상 + 8개 음성 → 아바타 합성
python scripts\add_avatar.py --project D:\path\to\project --face D:\path\to\face.jpg
# 타원 마스크 버전 생성
python scripts\ellipse_overlay.py --project D:\path\to\project
# → output\final_with_avatar.mp4 및 final_with_avatar_ellipse.mp4
설정, 함정, 캐릭터 선택: references/avatar.md
출력 구조
<project>/
├── notes/script.json 대본 (LLM이 작성)
├── slides/slide_XX.png 1920x1080
├── audio/audio_XX.mp3 슬라이드별 내레이션
├── avatar/ (선택 사항)
│ ├── input/face.jpg 아바타 원본 사진
│ ├── SadTalker/ repo + checkpoints
│ ├── venv/ Python 3.10 + torch cu121
│ └── clips/audio_XX.mp4 각 내레이션별 아바타 동영상
└── output/
├── final.mp4 기본 (슬라이드+내레이션)
├── final.srt 자막
├── final_with_avatar.mp4 (선택 사항) 아바타 직사각형
└── final_with_avatar_ellipse.mp4 (선택 사항) 아바타 원형 와이프
기본값
- 해상도: 1920x1080 30fps (16:9)
- 음성:
ja-JP-NanamiNeural(여성, 차분함). 남성의 경우ja-JP-KeitaNeural - 슬라이드 수: 표지 + 본편 5
7장 (총 68장) - 색상: slate-900 / sky-400 / BIZ UDGothic
- 슬라이드당 15
25초, 총 24분
음성, 색상, 글꼴, 화면 비율 변경: references/customization.md
프로덕션 사용
무료 edge-tts는 비공식, SLA 없음, 상업적 사용이 모호함. 고객 배포 또는 지속적 운영에는:
- 내레이션 → Azure Speech (Neural TTS) 로 교체
- 아바타 포함 상업용 → Azure TTS Avatar (Lisa 등, 공식, $0.30/분~)
자세한 내용: references/production-upgrade.md
일반적인 변형
- 9:16 쇼츠 버전 (X/Reels):
W,H = 1080, 1920, 내레이션을 60초로 압축 - 자막 하드코딩: ffmpeg
subtitles=final.srt필터로 동영상에 굽기 (ffmpeg-advanced-filters.md) - BGM 추가: 별도 mp3를 낮은 볼륨으로 믹스 (ffmpeg-advanced-filters.md)
- 장/코스화 (학습 자료): script.json을 장 단위로 분할, 공통 인트로/아웃트로 추가
- 다국어 버전:
voice전환 + script 번역 - 채널 고정 캐릭터 생성: SDXL로 마스코트 제작 후 seed 저장 (avatar-generation-sdxl.md)
- VOICEVOX + 공식 캐릭터 입간판: 즌다몬 등 '편안한 설명' 채널용, PSD 레이어 차분으로 본격 립싱크 (voiced-mascot.md)
- 원형 아바타 와이프: ffmpeg geq 필터로 원형 마스크 + 악센트 링 (ffmpeg-advanced-filters.md)
- YouTube 자동 배포: API로 공개 예약 + 썸네일 (youtube-upload.md)
- PoC → 정기 배포 채널 승격: 디렉토리 재설계 (scale-up-production.md)
완료 기준
-
<out>/output/final.mp4(또는 아바타 버전)가 재생되고, 음성과 영상이 어긋나지 않음 - 슬라이드 본문 28pt 이상 / 제목 56pt 이상으로 가독성 확보
- 내레이션이 입력의 주요 메시지를 정확하게 반영
-
final.srt가 내레이션과 동기화 - 입력 소스의 저작권을 침해하지 않음 (전문 낭독이 아닌 요약 + 인용 범위)
- (아바타 사용 시) GPU 메모리 오버플로우 없이 완료, 입 모양이 극단적으로 어긋나지 않음