비디오 편집
AI 기반 실제 영상 편집. 프롬프트로 생성하는 것이 아닙니다. 기존 비디오를 빠르게 편집합니다.
활성화 시점
- 사용자가 비디오를 편집, 자르기, 또는 구조화하고 싶어 할 때
- 긴 녹화물을 짧은 콘텐츠로 변환할 때
- 원본 캡처에서 브이로그, 튜토리얼, 또는 데모 비디오를 만들 때
- 기존 비디오에 오버레이, 자막, 음악, 또는 내레이션을 추가할 때
- 다양한 플랫폼(YouTube, TikTok, Instagram)에 맞춰 비디오를 재구성할 때
- 사용자가 "비디오 편집", "이 영상 잘라줘", "브이로그 만들어 줘", 또는 "영상 작업"이라고 말할 때
핵심 명제
AI 비디오 편집은 전체 비디오를 만들도록 요청하는 대신, 실제 영상을 압축하고, 구조화하고, 보강하는 데 사용할 때 유용합니다. 가치는 생성에 있지 않습니다. 가치는 압축에 있습니다.
파이프라인
Screen Studio / 원본 영상
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 또는 CapCut
각 계층은 특정 작업을 수행합니다. 계층을 건너뛰지 마십시오. 하나의 도구로 모든 것을 처리하려 하지 마십시오.
계층 1: 캡처 (Screen Studio / 원본 영상)
소스 자료를 수집합니다:
- Screen Studio: 앱 데모, 코딩 세션, 브라우저 워크플로우를 위한 정제된 화면 녹화
- 원본 카메라 영상: 브이로그 영상, 인터뷰, 이벤트 녹화
- VideoDB를 통한 데스크탑 캡처: 실시간 컨텍스트가 포함된 세션 녹화 (
videodb스킬 참조)
출력: 정리를 위한 원시 파일.
계층 2: 구조화 (Claude / Codex)
Claude Code 또는 Codex를 사용하여:
- 자막 생성 및 레이블링: 대본을 생성하고, 주제와 테마를 식별합니다.
- 구조 계획: 무엇을 유지하고, 무엇을 자르고, 어떤 순서로 할지 결정합니다.
- 죽은 구간 식별: 일시 정지, 잡담, 반복된 테이크를 찾습니다.
- 편집 결정 목록 생성: 자를 타임스탬프와 유지할 세그먼트를 제공합니다.
- FFmpeg 및 Remotion 코드 스캐폴딩: 명령과 컴포지션을 생성합니다.
예시 프롬프트:
"4시간 녹화의 대본입니다. 24분짜리 브이로그를 위한 가장 강력한 8개 세그먼트를 찾아주세요.
각 세그먼트에 대한 FFmpeg 자르기 명령을 제공해주세요."
이 계층은 구조에 관한 것이지, 최종 창의적 취향에 관한 것이 아닙니다.
계층 3: 결정론적 자르기 (FFmpeg)
FFmpeg는 지루하지만 중요한 작업(분할, 트리밍, 연결, 전처리)을 처리합니다.
타임스탬프로 세그먼트 추출
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
편집 결정 목록으로 일괄 자르기
#!/bin/bash
# cuts.txt: start,end,label
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
세그먼트 연결
# 파일 목록 생성
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
빠른 편집을 위한 프록시 생성
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
자막 생성을 위한 오디오 추출
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
오디오 레벨 정규화
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
계층 4: 프로그래머블 컴포지션 (Remotion)
Remotion은 편집 문제를 구성 가능한 코드로 변환합니다. 전통적인 편집기가 어렵게 만드는 작업에 사용하세요:
Remotion 사용 시기
- 오버레이: 텍스트, 이미지, 브랜딩, 하단 써드
- 데이터 시각화: 차트, 통계, 애니메이션 숫자
- 모션 그래픽: 전환, 설명 애니메이션
- 구성 가능한 장면: 비디오 간 재사용 가능한 템플릿
- 제품 데모: 주석이 달린 스크린샷, UI 하이라이트
기본 Remotion 컴포지션
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 메인 영상 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 제목 오버레이 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 편집 스택
</h1>
</AbsoluteFill>
</Sequence>
{/* 다음 세그먼트 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
출력 렌더링
npx remotion render src/index.ts VlogComposition output.mp4
자세한 패턴과 API 참조는 Remotion 문서를 참조하세요.
계층 5: 생성된 에셋 (ElevenLabs / fal.ai)
필요한 것만 생성하세요. 전체 비디오를 생성하지 마십시오.
ElevenLabs로 내레이션
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "여기에 내레이션 텍스트",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
fal.ai로 음악 및 효과음
fal-ai-media 스킬을 사용하여:
- 배경 음악 생성
- 사운드 효과 (ThinkSound 모델, 비디오-투-오디오)
- 전환 효과음
fal.ai로 생성된 시각 자료
존재하지 않는 인서트 샷, 썸네일 또는 B-롤에 사용:
generate(model_name: "fal-ai/nano-banana-pro", input: {
"prompt": "전문적인 기술 브이로그 썸네일, 어두운 배경, 화면에 코드",
"image_size": "landscape_16_9"
})
VideoDB 생성 오디오
VideoDB가 설정된 경우:
voiceover = coll.generate_voice(text="여기 내레이션", voice="alloy")
music = coll.generate_music(prompt="코딩 브이로그를 위한 로파이 배경음악", duration=120)
sfx = coll.generate_sound_effect(prompt="부드러운 우웅 전환음")
계층 6: 최종 마무리 (Descript / CapCut)
마지막 계층은 인간의 손길입니다. 전통적인 편집기를 사용하여:
- 리듬 조절: 너무 빠르거나 느린 컷을 조정합니다.
- 자막: 자동 생성 후 수동으로 정리합니다.
- 색보정: 기본 보정 및 분위기 설정
- 최종 오디오 믹싱: 음성, 음악, 효과음 레벨을 조절합니다.
- 내보내기: 플랫폼별 형식 및 품질 설정
여기에 취향이 살아납니다. AI는 반복 작업을 없애줍니다. 최종 결정은 여러분이 내립니다.
소셜 미디어 재구성
플랫폼마다 다른 가로세로 비율이 필요합니다:
| 플랫폼 | 가로세로 비율 | 해상도 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram 피드 | 1:1 | 1080x1080 |
| X / Twitter | 16:9 또는 1:1 | 1280x720 또는 720x720 |
FFmpeg으로 재구성
# 16:9 → 9:16 (중앙 크롭)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 → 1:1 (중앙 크롭)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
VideoDB로 재구성
# 스마트 재구성 (AI 가이드 피사체 추적)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
장면 감지 및 자동 자르기
FFmpeg 장면 감지
# 장면 변화 감지 (임계값 0.3 = 중간 감도)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
무음 감지를 통한 자동 자르기
# 무음 구간 찾기 (데드 에어 자르기에 유용)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
하이라이트 추출
Claude를 사용하여 대본과 장면 타임스탬프를 분석:
"타임스탬프와 장면 전환 지점이 포함된 이 대본을 바탕으로,
소셜 미디어에 가장 적합한 30초짜리 매력적인 클립 5개를 찾아주세요."
각 도구의 강점
| 도구 | 강점 | 약점 |
|---|---|---|
| Claude / Codex | 구조화, 계획, 코드 생성 | 창의적인 취향 계층은 아님 |
| FFmpeg | 결정론적 자르기, 배치 처리, 포맷 변환 | 시각적 편집 UI 없음 |
| Remotion | 프로그래머블 오버레이, 구성 가능한 장면, 재사용 가능한 템플릿 | 비개발자에게는 학습 곡선 |
| Screen Studio | 즉시 사용 가능한 정제된 화면 녹화 | 화면 캡처만 가능 |
| ElevenLabs | 음성, 내레이션, 음악, 효과음 | 워크플로우의 중심이 아님 |
| Descript / CapCut | 최종 리듬, 자막, 마무리 | 수동, 자동화 불가능 |
핵심 원칙
- 편집하라, 생성하지 마라. 이 워크플로우는 실제 영상을 자르기 위한 것이지, 프롬프트로 만드는 것이 아닙니다.
- 스타일보다 구조. 시각적인 것을 건드리기 전에 계층 2에서 이야기를 완성하세요.
- FFmpeg는 중추입니다. 지루하지만 중요합니다. 긴 영상을 관리 가능하게 만듭니다.
- 반복성에는 Remotion. 두 번 이상 사용할 일이라면 Remotion 컴포넌트로 만드세요.
- 선별적으로 생성하세요. 존재하지 않는 에셋에만 AI 생성을 사용하고, 모든 것에 사용하지 마십시오.
- 취향은 마지막 계층입니다. AI는 반복 작업을 없애줍니다. 최종 창의적 결정은 여러분이 내립니다.
관련 스킬
fal-ai-media— AI 이미지, 비디오, 오디오 생성videodb— 서버 측 비디오 처리, 인덱싱, 스트리밍content-engine— 플랫폼 네이티브 콘텐츠 배포
사용 시기
실제 영상을 자르고, 구조화하고, 보강하기 위한 AI 기반 비디오 편집 워크플로우입니다. 원본 캡처부터 FFmpeg, Remotion, ElevenLabs, fal.ai, Descript 또는 CapCut에서의 최종 마무리까지 전체 파이프라인을 다룹니다.
다음 내용을 포함합니다: 활성화 시점, 핵심 명제, 파이프라인, 계층 3: 결정론적 자르기 (FFmpeg), 타임스탬프로 세그먼트 추출.