cutlab — AI 비디오 영역 편집
Wan2.1-VACE-1.3B 확산 모델을 사용하여 비디오의 각 프레임에서 마스킹된 영역을 편집합니다. 텍스트 프롬프트로 원하는 결과를 설명하면, 모델이 마스킹된 영역을 인페인팅하고 나머지 부분은 그대로 유지합니다. 오디오는 보존됩니다.
이 SKILL.md 파일이 있는 스킬 디렉토리를 아래에서 $SKILL_DIR이라고 합니다.
GPU가 필요합니다. 최소 8GB의 여유 VRAM이 있는 CUDA GPU가 필요합니다. 실행 전에 LLM 컨텍스트를 일시 중지하여 VRAM을 확보하세요.
사용 시기
사용자가 다음을 원할 때 이 스킬을 사용하세요:
- 토킹헤드 비디오의 배경을 다른 장면으로 교체
- 비디오의 사각형 영역(하늘, 표지판, 화면 등) 편집
- 피사체는 유지하면서 환경 디테일 변경
설정 (최초 실행 시에만)
cd "$SKILL_DIR" && uv sync
Wan2.1-VACE-1.3B 모델 가중치는 최초 실행 시 HuggingFace에서 다운로드됩니다(~3GB). rembg 모델 가중치도 최초 배경 모드 실행 시 다운로드됩니다.
에이전트 워크플로우
1. 사용자에게 질문
비디오를 편집하기 전에 다음 정보가 필요합니다:
💬 프롬프트 (필수)
편집된 영역이 어떻게 보여야 하는지 설명하세요. 예:
"바닥부터 천장까지 유리창이 있고 도시 전망이 보이는 현대식 사무실"
🎭 마스크 모드
- background — 배경 자동 감지 및 교체 [기본값]
- region — 사각형 영역 편집 (x1,y1,x2,y2를 0.0~1.0 분수로 지정)
📐 모드가 region인 경우: mask_region
형식: "x1,y1,x2,y2" 예: "0.0,0.0,1.0,0.3" (프레임 상단 30%)
⚙️ 강도 (0.0~1.0, 기본값 0.85)
편집 적용 강도. 낮을수록 원본에 더 충실합니다.
📁 입력/출력 디렉토리 (기본값: ./input 및 ./output)
사용자 응답을 기다린 후 진행하세요.
2. config.json 편집
사용자의 선택에 따라 $SKILL_DIR/config.json을 작성하거나 업데이트하세요.
3. 실행
cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json
4. 결과 보고
출력 파일 경로, 사용된 마스크 모드 및 적용된 프롬프트를 사용자에게 알려주세요.
구성 참조
| 키 | 값 | 기본값 | 설명 |
|---|---|---|---|
input_dir | 경로 | ./input | 입력 비디오가 있는 폴더 |
output_dir | 경로 | ./output | 대상 폴더 |
prompt | 문자열 | (필수) | 편집된 영역 설명 |
negative_prompt | 문자열 | "worst quality, blurry, distorted" | 피해야 할 것 |
mask | background, region | background | 마스킹 전략 |
mask_region | "x1,y1,x2,y2" | (region 모드 시 필수) | 분수로 나타낸 사각형 |
strength | float (0, 1] | 0.85 | 인페인팅 강도 |
num_inference_steps | 정수 | 30 | 확산 단계 수 |
guidance_scale | float | 5.0 | 프롬프트 준수 정도 |
batch_size | 정수 | 8 | 추론 배치당 처리 프레임 수 (낮출수록 VRAM 사용 감소) |
max_proc_dim | 정수 | 384 | 인페인트 전 최대 프레임 크기 (낮출수록 VRAM 사용 감소) |
model | HuggingFace ID | Wan-AI/Wan2.1-VACE-1.3B-diffusers | 사용할 모델 |
일반적인 호출
# 배경 자동 교체
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "석양에 잠긴 고요한 산정 호수"
# 사각형 영역 편집 (프레임 상단 1/3 = 하늘 교체)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--mask region --mask-region "0.0,0.0,1.0,0.33" \
--prompt "뭉게구약 흩어진 맑은 푸른 하늘"
# 더 가벼운 편집 (원본 디테일 더 보존)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--prompt "아늑한 홈 오피스" --strength 0.6
# 사용자 정의 디렉토리
cd "$SKILL_DIR" && uv run python scripts/vace.py \
--input /path/to/videos --output /path/to/edited \
--prompt "미래지향적 도시 풍경"
출력
각 입력 비디오는 output_dir에 동일한 파일 이름으로 .mp4 파일이 생성됩니다. 원본 오디오가 다시 믹싱됩니다.
오류 처리
- VRAM 부족 → 필요 및 사용 가능 GB 출력, VRAM 확보 팁 제공 후 종료
- CUDA GPU 없음 → 명확한 오류 메시지 출력 후 종료
- input_dir에 비디오 없음 → 명확한 메시지 출력 후 종료
- 잘못된 mask_region 형식 → 예상 형식을 포함한 명확한 오류 출력 후 종료
- 개별 비디오 오류 → 기록됨; 다른 비디오는 계속 처리