비디오 편집
AI를 활용한 실제 소재 편집. 프롬프트로 생성하는 것이 아닙니다. 기존 비디오를 빠르게 편집하세요.
활성화 시점
- 사용자가 비디오를 편집, 자르기, 구조화하려는 경우
- 긴 녹화물을 짧은 동영상 콘텐츠로 변환
- 원본 소재로 브이로그, 튜토리얼 또는 데모 비디오 제작
- 기존 비디오에 오버레이, 자막, 음악 또는 내레이션 추가
- 여러 플랫폼(YouTube, TikTok, Instagram)에 맞춰 비디오 재구성
- 사용자가 "비디오 편집", "이 클립 자르기", "브이로그 만들기" 또는 "비디오 워크플로우"라고 말하는 경우
핵심 주장
AI 비디오 편집은 전체 비디오를 만들라고 요구하는 대신, 실제 소재를 압축, 구조화, 향상시키는 데 사용할 때 유용합니다. 가치는 생성에 있는 것이 아니라, 압축에 있습니다.
파이프라인
Screen Studio / 원본 소재
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 또는 CapCut
각 계층에는 특정 작업이 있습니다. 계층을 건너뛰지 마세요. 하나의 도구가 모든 것을 하도록 하지 마세요.
1단계: 수집 (Screen Studio / 원본 소재)
소스 자료 수집:
- Screen Studio: 애플리케이션 데모, 코딩 세션, 브라우저 워크플로우를 위한 고품질 화면 녹화
- 원본 카메라 소재: 브이로그 자료, 인터뷰, 이벤트 녹화
- VideoDB를 통한 데스크탑 캡처: 실시간 컨텍스트가 포함된 세션 녹화 (
videodb스킬 참조)
출력: 정리를 위한 원본 파일.
2단계: 정리 (Claude / Codex)
Claude Code 또는 Codex를 사용하여:
- 전사 및 레이블링: 전사본 생성, 주제 및 토픽 식별
- 구조 계획: 무엇을 남기고, 무엇을 자르고, 어떤 순서가 적합한지 결정
- 데드 존 식별: 일시 정지, 주제 이탈, 반복 촬영 찾기
- 편집 결정 목록 생성: 자를 타임스탬프, 유지할 클립
- FFmpeg 및 Remotion 코드 작성: 명령어 및 컴포지션 생성
예시 프롬프트:
"4시간짜리 녹화의 전사본입니다. 24분 브이로그를 위한
최고의 클립 8개를 찾아주세요. 각 클립에 대한 FFmpeg 자르기 명령어를 제공해주세요."
이 계층은 구조에 관한 것이며, 최종 창의적 감각이 아닙니다.
3단계: 결정적 자르기 (FFmpeg)
FFmpeg는 지루하지만 중요한 작업을 처리합니다: 분할, 자르기, 연결, 전처리.
타임스탬프로 클립 추출
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
편집 결정 목록에서 일괄 자르기
#!/bin/bash
# cuts.txt: 시작,끝,레이블
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
클립 연결
# 파일 목록 생성
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
편집 속도를 위한 프록시 파일 생성
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
오디오 추출(전사용)
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
오디오 레벨 정규화
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
4단계: 프로그래밍 가능한 합성 (Remotion)
Remotion은 편집 문제를 조합 가능한 코드로 변환합니다. 기존 편집기로는 어려운 작업에 사용합니다:
Remotion 사용 시점
- 오버레이: 텍스트, 이미지, 브랜딩, 자막 바
- 데이터 시각화: 차트, 통계, 애니메이션 숫자
- 모션 그래픽: 전환, 설명 애니메이션
- 조합 가능한 장면: 비디오 간 재사용 가능한 템플릿
- 제품 데모: 주석이 있는 스크린샷, UI 하이라이트
기본 Remotion 컴포지션
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 주요 소재 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 제목 오버레이 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 편집 기술 스택
</h1>
</AbsoluteFill>
</Sequence>
{/* 다음 클립 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
출력 렌더링
npx remotion render src/index.ts VlogComposition output.mp4
자세한 패턴과 API 참조는 Remotion 문서를 확인하세요.
5단계: 에셋 생성 (ElevenLabs / fal.ai)
필요한 것만 생성하세요. 전체 비디오를 생성하지 마세요.
ElevenLabs를 사용한 내레이션
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "당신의 내레이션 텍스트",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
fal.ai를 사용한 음악 및 음향 효과
fal-ai-media 스킬을 사용하여:
- 배경 음악 생성
- 음향 효과 (비디오-오디오용 ThinkSound 모델)
- 전환 효과음
fal.ai를 사용한 생성 비주얼
존재하지 않는 삽입 장면, 썸네일 또는 B-roll에 사용:
generate(app_id: "fal-ai/nano-banana-pro", input_data: {
"prompt": "기술 브이로그 전문 썸네일, 어두운 배경, 화면 위의 코드",
"image_size": "landscape_16_9"
})
VideoDB 오디오 생성
VideoDB가 구성된 경우:
voiceover = coll.generate_voice(text="여기에 내레이션", voice="alloy")
music = coll.generate_music(prompt="코딩 브이로그용 로파이 배경음악", duration=120)
sfx = coll.generate_sound_effect(prompt="부드러운 스우시 전환 효과음")
6단계: 최종 마무리 (Descript / CapCut)
마지막 계층은 사람의 작업입니다. 기존 편집기를 사용하여:
- 리듬: 너무 빠르거나 느린 컷 조정
- 자막: 자동 생성 후 수동 교정
- 색보정: 기본 보정 및 분위기 조정
- 최종 오디오 믹스: 음성, 음악, 음향 효과 레벨 균형
- 내보내기: 특정 플랫폼에 맞는 포맷 및 품질 설정
여기서 취향이 드러납니다. AI가 반복 작업을 없앱니다. 당신이 최종 결정을 내립니다.
소셜 미디어 재구성
플랫폼마다 다른 화면 비율이 필요합니다:
| 플랫폼 | 화면 비율 | 해상도 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram 피드 | 1:1 | 1080x1080 |
| X / Twitter | 16:9 또는 1:1 | 1280x720 또는 720x720 |
FFmpeg를 사용한 재구성
# 16:9 → 9:16 (중앙 크롭)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 → 1:1 (중앙 크롭)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
VideoDB를 사용한 재구성
from videodb import ReframeMode
# 스마트 재구성 (AI 기반 피사체 추적)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
장면 감지 및 자동 자르기
FFmpeg 장면 감지
# 장면 변화 감지 (임계값 0.3 = 중간 감도)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
무음 감지를 통한 자동 자르기
# 무음 구간 찾기 (빈 시간 자르기에 적합)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
하이라이트 추출
Claude를 사용하여 전사본 + 장면 타임스탬프 분석:
"타임스탬프가 있는 이 전사본과 이러한 장면 변경 지점을 기반으로,
소셜 미디어에 가장 적합한 30초 클립 5개를 식별해주세요."
각 도구의 최적 영역
| 도구 | 강점 | 약점 |
|---|---|---|
| Claude / Codex | 정리, 계획, 코드 생성 | 창의적 취향 계층이 아님 |
| FFmpeg | 결정적 자르기, 일괄 처리, 포맷 변환 | 시각적 편집 인터페이스 없음 |
| Remotion | 프로그래밍 가능한 오버레이, 조합 가능한 장면, 재사용 가능한 템플릿 | 개발자 아닌 사용자에게 학습 곡선 |
| Screen Studio | 즉시 고품질 화면 녹화 | 화면 캡처 전용 |
| ElevenLabs | 음성, 내레이션, 음악, 음향 효과 | 워크플로우 중심이 아님 |
| Descript / CapCut | 최종 리듬, 자막, 마무리 | 수동 작업, 자동화 불가 |
핵심 원칙
- 편집, 생성 아님. 이 워크플로우는 프롬프트로 만드는 것이 아니라 실제 소재를 자르기 위한 것입니다.
- 구조가 스타일보다 먼저. 시각적인 내용을 건드리기 전에 2단계에서 이야기를 정리하세요.
- FFmpeg는 중추입니다. 지루하지만 중요합니다. 긴 소재가 여기서 관리 가능해집니다.
- Remotion은 재사용성을 위해. 같은 작업을 여러 번 수행한다면 Remotion 컴포넌트로 만드세요.
- 선택적 생성. 모든 것에 AI 생성을 사용하지 말고, 존재하지 않는 에셋에만 사용하세요.
- 취향은 마지막 계층입니다. AI가 반복 작업을 없앱니다. 최종 창의적 결정은 당신이 내립니다.
관련 스킬
fal-ai-media— AI 이미지, 비디오 및 오디오 생성videodb— 서버 측 비디오 처리, 인덱싱 및 스트리밍content-engine— 플랫폼 네이티브 콘텐츠 배포