비디오 편집
실제 푸티지를 AI 기반으로 편집합니다. 프롬프트로 생성하는 것이 아니라, 기존 비디오를 빠르게 편집합니다.
활성화 시점
- 사용자가 비디오 푸티지를 편집, 자르기, 구조화하려고 할 때
- 긴 녹화물을 짧은 콘텐츠로 변환할 때
- 원본 캡처로 vlog, 튜토리얼, 데모 비디오를 만들 때
- 기존 비디오에 오버레이, 자막, 음악, 또는 음성 해설을 추가할 때
- YouTube, TikTok, Instagram 등 다른 플랫폼에 맞게 비디오를 리프레이밍할 때
- 사용자가 "비디오 편집", "이 푸티지 자르기", "vlog 만들기", 또는 "비디오 워크플로우"라고 말할 때
핵심 논지
AI 비디오 편집은 전체 비디오를 만들라고 요청할 때가 아니라, 실제 푸티지를 압축, 구조화, 보강하는 데 사용할 때 유용합니다. 가치는 생성(Generation)이 아닙니다. 가치는 압축(Compression)입니다.
파이프라인
Screen Studio / 원본 푸티지
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 또는 CapCut
각 계층에는 특정 역할이 있습니다. 계층을 건너뛰지 마세요. 하나의 도구로 모든 것을 처리하려 하지 마세요.
계층 1: 캡처 (Screen Studio / 원본 푸티지)
소스 자료 수집:
- Screen Studio: 앱 데모, 코딩 세션, 브라우저 워크플로우를 위한 고품질 화면 녹화
- 원본 카메라 푸티지: vlog 푸티지, 인터뷰, 이벤트 녹화
- VideoDB를 통한 데스크톱 캡처: 실시간 컨텍스트가 포함된 세션 녹화 (
videodb스킬 참조)
출력: 정리할 준비가 된 원본 파일.
계층 2: 조직화 (Claude / Codex)
Claude Code 또는 Codex를 사용하여:
- 전사 및 레이블링: 스크립트 생성, 주제 및 테마 식별
- 구조 계획: 무엇을 남기고, 무엇을 자르고, 어떤 순서로 할지 결정
- 죽은 구간 식별: 일시 중지, 주제 이탈, 반복된 테이크 찾기
- 편집 결정 목록 생성: 컷할 타임스탬프, 유지할 세그먼트
- FFmpeg 및 Remotion 코드 스캐폴딩: 명령어와 컴포지션 생성
예시 프롬프트:
"다음은 4시간 녹화물의 스크립트입니다. 24분 분량의 vlog를 위해 가장 강력한 8개 세그먼트를 식별하고,
각 세그먼트에 대한 FFmpeg 컷 명령어를 제공하세요."
이 계층은 구조에 관한 것이며, 최종 창의적 취향이 아닙니다.
계층 3: 결정론적 컷 (FFmpeg)
FFmpeg는 지루하지만 중요한 작업인 분할, 트리밍, 연결, 전처리를 처리합니다.
타임스탬프로 세그먼트 추출
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
편집 결정 목록에서 일괄 컷
#!/bin/bash
# cuts.txt: start,end,label
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
세그먼트 연결
# 파일 목록 생성
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
더 빠른 편집을 위한 프록시 생성
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
전사를 위한 오디오 추출
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
오디오 레벨 정규화
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
계층 4: 프로그래밍 가능한 컴포지션 (Remotion)
Remotion은 편집 문제를 코드로 해결할 수 있게 합니다. 기존 편집기로 까다로운 작업에 사용하세요:
Remotion 사용 시기
- 오버레이: 텍스트, 이미지, 브랜딩, 하단 써드
- 데이터 시각화: 차트, 통계, 애니메이션 숫자
- 모션 그래픽: 전환, 설명 애니메이션
- 구성 가능한 장면: 비디오 전반에 재사용 가능한 템플릿
- 제품 데모: 주석이 달린 스크린샷, UI 하이라이트
기본 Remotion 컴포지션
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 기본 푸티지 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 제목 오버레이 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 편집 스택
</h1>
</AbsoluteFill>
</Sequence>
{/* 다음 세그먼트 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
출력 렌더링
npx remotion render src/index.ts VlogComposition output.mp4
자세한 패턴 및 API 참조는 Remotion 문서를 참조하세요.
계층 5: 생성된 에셋 (ElevenLabs / fal.ai)
필요한 것만 생성하세요. 전체 비디오를 생성하지 마세요.
ElevenLabs로 음성 해설
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "내레이션 텍스트를 여기에 입력하세요",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
fal.ai로 음악 및 효과음
fal-ai-media 스킬을 사용하여:
- 배경 음악 생성
- 음향 효과 (ThinkSound 모델을 사용한 비디오-오디오 변환)
- 전환 효과음
fal.ai로 생성된 시각 자료
존재하지 않는 삽입 샷, 썸네일 또는 B-롤에 사용:
generate(app_id: "fal-ai/nano-banana-pro", input_data: {
"prompt": "기술 vlog용 전문 썸네일, 어두운 배경, 화면에 코드",
"image_size": "landscape_16_9"
})
VideoDB 생성 오디오
VideoDB가 구성된 경우:
voiceover = coll.generate_voice(text="여기에 내레이션", voice="alloy")
music = coll.generate_music(prompt="코딩 vlog용 로파이 배경음악", duration=120)
sfx = coll.generate_sound_effect(prompt="부드러운 우--슈 전환 효과음")
계층 6: 최종 다듬기 (Descript / CapCut)
마지막 계층은 사람입니다. 전통적인 편집기를 사용하여:
- 속도 조절: 너무 빠르거나 느리다고 느껴지는 컷 조정
- 자막: 자동 생성 후 수동 정리
- 색보정: 기본 보정 및 분위기 설정
- 최종 오디오 믹스: 음성, 음악, 효과음 레벨 균형 조정
- 내보내기: 플랫폼별 형식 및 품질 설정
여기에 취향이 들어갑니다. AI가 반복 작업을 제거합니다. 최종 결정은 당신이 내립니다.
소셜 미디어 리프레이밍
다른 플랫폼은 다른 화면 비율이 필요합니다:
| 플랫폼 | 화면 비율 | 해상도 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram Feed | 1:1 | 1080x1080 |
| X / Twitter | 16:9 또는 1:1 | 1280x720 또는 720x720 |
FFmpeg으로 리프레이밍
# 16:9 → 9:16 (중앙 크롭)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 → 1:1 (중앙 크롭)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
VideoDB로 리프레이밍
from videodb import ReframeMode
# 스마트 리프레임 (AI 가이드 객체 추적)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
장면 감지 및 자동 컷
FFmpeg 장면 감지
# 장면 전환 감지 (임계값 0.3 = 중간 감도)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
자동 컷을 위한 무음 감지
# 무음 구간 찾기 (데드 에어 자르기에 유용)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
하이라이트 추출
Claude를 사용하여 스크립트와 장면 타임스탬프 분석:
"타임스탬프가 포함된 이 스크립트와 장면 전환 지점이 주어졌을 때,
소셜 미디어에 가장 적합한 30초짜리 클립 5개를 식별하세요."
각 도구가 가장 잘하는 것
| 도구 | 강점 | 약점 |
|---|---|---|
| Claude / Codex | 조직화, 계획, 코드 생성 | 창의적 취향 레이어가 아님 |
| FFmpeg | 결정론적 컷, 배치 처리, 형식 변환 | 시각적 편집 UI 없음 |
| Remotion | 프로그래밍 가능한 오버레이, 구성 가능한 장면, 재사용 가능한 템플릿 | 비개발자에게는 학습 곡선 |
| Screen Studio | 즉시 사용 가능한 고품질 화면 녹화 | 화면 캡처 전용 |
| ElevenLabs | 음성, 내레이션, 음악, 효과음 | 워크플로우의 중심이 아님 |
| Descript / CapCut | 최종 속도 조절, 자막, 마무리 | 수동 작업, 자동화 불가 |
핵심 원칙
- 생성하지 말고 편집하라. 이 워크플로우는 실제 푸티지를 자르기 위한 것이며, 프롬프트로 생성하는 것이 아닙니다.
- 스타일보다 구조를 먼저. 시각적인 것을 건드리기 전에 계층 2에서 스토리를 제대로 잡으세요.
- FFmpeg이 중추다. 지루하지만 중요합니다. 긴 푸티지를 다루기 쉽게 만듭니다.
- Remotion은 반복성을 위해. 두 번 이상 할 일이라면 Remotion 컴포넌트로 만드세요.
- 선택적으로 생성하라. 모든 것에 AI 생성을 사용하지 말고, 존재하지 않는 에셋에만 사용하세요.
- 취향은 마지막 계층이다. AI가 반복 작업을 제거합니다. 최종 창의적 결정은 당신이 내립니다.
관련 스킬
fal-ai-media— AI 이미지, 비디오, 오디오 생성videodb— 서버 측 비디오 처리, 인덱싱 및 스트리밍content-engine— 플랫폼 네이티브 콘텐츠 배포