비디오 편집
실제 영상을 AI로 보조하여 편집합니다. 프롬프트로 생성하는 것이 아닙니다. 기존 비디오를 빠르게 편집합니다.
활성화 조건
- 사용자가 비디오 영상을 편집, 자르기, 또는 구조화하려고 할 때
- 긴 녹화물을 짧은 형태의 콘텐츠로 만들 때
- 원본 캡처로 브이로그, 튜토리얼, 또는 데모 비디오를 만들 때
- 기존 비디오에 오버레이, 자막, 음악, 또는 음성 해설을 추가할 때
- 다른 플랫폼(YouTube, TikTok, Instagram)에 맞게 비디오를 리프레이밍할 때
- 사용자가 "동영상 편집", "이 영상 잘라줘", "브이로그 만들어 줘", 또는 "비디오 워크플로우"라고 말할 때
핵심 명제
AI 비디오 편집은 전체 비디오를 만들도록 요구하는 대신 실제 영상을 압축, 구조화, 보강하는 데 사용할 때 유용합니다. 가치는 생성에 있는 것이 아니라 압축에 있습니다.
파이프라인
측정된 참조 기반 작업의 경우 taste-distillation을 taste-application으로 연결한 다음 여기로 돌아와 편집기 및 최종 출력 검토를 수행합니다. 독립형 테이스트 스킬은 기존 영상을 사용할 수 있으며 생성은 선택 사항입니다.
라이브 편집기 또는 DAW 변경 전에 버전 관리된 프로젝트 체크포인트를 저장하고 파일이 존재하는지 확인합니다. 변경 후 다른 체크포인트를 저장하고 확인합니다. API 읽기 확인은 현재 메모리 내 상태를 증명할 뿐 저장되었음을 증명하지 않습니다. 렌더링된 미디어, 편집 가능한 프로젝트 및 크리에이티브 승인을 핸드오프에서 별도의 상태로 유지합니다.
MIDI 기반 오디오의 경우 수신 랙의 노트 매핑에 대해 피치를 확인하고 결과를 청취합니다. 성공적인 클립 생성도 무음을 생성할 수 있습니다. 재구성된 프로젝트의 경우 네이티브 로드 및 저장을 통해 유효성을 검사하고, 타임라인 순서로 이벤트를 정렬하고, 샘플 링크 및 음소거 상태를 확인한 다음 정확히 내보낸 오디오에 의도치 않은 무음이 있는지 확인하고 청취합니다. XML 파싱만으로는 DAW가 모든 클립을 수락했거나 들을 수 있는 출력을 생성했음을 증명하지 않습니다.
최신 명령을 호출하기 전에 브리지의 기능 핸드셰이크를 확인합니다. 크리에이티브 작업의 부작용으로 업로드 또는 학습 데이터 텔레메트리를 활성화하지 마십시오. 동의나 기능이 없는 경우 지원되는 로컬 제어 경로를 사용하십시오.
Screen Studio / 원본 영상
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 또는 CapCut
각 레이어에는 특정 작업이 있습니다. 레이어를 건너뛰지 마십시오. 하나의 도구로 모든 것을 처리하려고 하지 마십시오.
레이어 1: 캡처 (Screen Studio / 원본 영상)
소스 자료 수집:
- Screen Studio: 앱 데모, 코딩 세션, 브라우저 워크플로우를 위한 세련된 화면 녹화
- 원본 카메라 영상: 브이로그 영상, 인터뷰, 이벤트 녹화
- VideoDB를 통한 데스크탑 캡처: 실시간 컨텍스트가 포함된 세션 녹화 (
videodb스킬 참조)
출력: 정리를 위한 원본 파일.
레이어 2: 정리 (Claude / Codex)
Claude Code 또는 Codex를 사용하여:
- 전사 및 레이블 지정: 대본 생성, 주제 및 테마 식별
- 구조 계획: 무엇을 남기고, 무엇을 자르고, 어떤 순서로 할지 결정
- 불필요한 섹션 식별: 일시 정지, 잡담, 반복 테이크 찾기
- 편집 결정 목록 생성: 컷을 위한 타임스탬프, 유지할 세그먼트
- FFmpeg 및 Remotion 코드 구조화: 명령어 및 구성을 생성
예시 프롬프트:
"다음은 4시간 녹화의 대본입니다. 24분짜리 브이로그를 위한 가장 강력한 8개 세그먼트를 식별해 주세요.
각 세그먼트에 대한 FFmpeg 컷 명령어를 제공해 주세요."
이 레이어는 구조에 관한 것이지 최종 크리에이티브 취향에 관한 것이 아닙니다.
레이어 3: 결정론적 컷 (FFmpeg)
FFmpeg는 지루하지만 중요한 작업인 분할, 트리밍, 연결 및 전처리를 처리합니다.
타임스탬프로 세그먼트 추출
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
편집 결정 목록에서 일괄 컷
#!/bin/bash
# cuts.txt: start,end,label
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
세그먼트 연결
# 파일 목록 생성
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
더 빠른 편집을 위한 프록시 생성
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
전사를 위한 오디오 추출
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
오디오 레벨 정규화
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
레이어 4: 프로그래밍 가능한 구성 (Remotion)
Remotion은 편집 문제를 구성 가능한 코드로 변환합니다. 전통적인 편집기에서 어려운 작업에 사용하십시오.
Remotion 사용 시기
- 오버레이: 텍스트, 이미지, 브랜딩, 하단 써드
- 데이터 시각화: 차트, 통계, 애니메이션 숫자
- 모션 그래픽: 전환, 설명 애니메이션
- 구성 가능한 장면: 비디오 전체에서 재사용 가능한 템플릿
- 제품 데모: 주석이 달린 스크린샷, UI 하이라이트
기본 Remotion 구성
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 주요 영상 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 제목 오버레이 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI 편집 스택
</h1>
</AbsoluteFill>
</Sequence>
{/* 다음 세그먼트 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
출력 렌더링
npx remotion render src/index.ts VlogComposition output.mp4
자세한 패턴 및 API 참조는 Remotion 문서를 참조하십시오.
레이어 5: 생성된 에셋 (ElevenLabs / fal.ai)
필요한 것만 생성하십시오. 전체 비디오를 생성하지 마십시오.
ElevenLabs 음성 해설
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "내레이션 텍스트",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
fal.ai 음악 및 SFX
fal-ai-media 스킬을 사용하여:
- 배경 음악 생성
- 사운드 효과 (비디오-오디오용 ThinkSound 모델)
- 전환 사운드
fal.ai 생성된 시각 자료
존재하지 않는 삽입 샷, 썸네일 또는 B-롤에 사용:
generate(app_id: "fal-ai/nano-banana-pro", input_data: {
"prompt": "기술 브이로그용 전문 썸네일, 어두운 배경, 화면에 코드",
"image_size": "landscape_16_9"
})
VideoDB 생성 오디오
VideoDB가 구성된 경우:
voiceover = coll.generate_voice(text="여기에 내레이션", voice="alloy")
music = coll.generate_music(prompt="코딩 브이로그를 위한 로파이 배경", duration=120)
sfx = coll.generate_sound_effect(prompt="미묘한 슈슉 전환")
레이어 6: 최종 마무리 (Descript / CapCut)
마지막 레이어는 인간입니다. 전통적인 편집기를 사용하여:
- 속도 조정: 너무 빠르거나 느린 컷 조정
- 자막: 자동 생성 후 수동 정리
- 색상 보정: 기본 보정 및 분위기 설정
- 최종 오디오 믹스: 음성, 음악 및 SFX 레벨 균형 조정
- 내보내기: 플랫폼별 형식 및 품질 설정
여기에 취향이 있습니다. AI는 반복 작업을 제거합니다. 당신이 최종 결정을 내립니다.
소셜 미디어 리프레이밍
플랫폼마다 다른 종횡비가 필요합니다.
| 플랫폼 | 종횡비 | 해상도 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram Feed | 1:1 | 1080x1080 |
| X / Twitter | 16:9 또는 1:1 | 1280x720 또는 720x720 |
FFmpeg으로 리프레이밍
# 16:9 → 9:16 (중앙 자르기)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 → 1:1 (중앙 자르기)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
VideoDB로 리프레이밍
from videodb import ReframeMode
# 스마트 리프레임 (AI 안내 객체 추적)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
장면 감지 및 자동 컷
FFmpeg 장면 감지
# 장면 변경 감지 (임계값 0.3 = 중간 감도)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
자동 컷을 위한 무음 감지
# 무음 세그먼트 찾기 (데드 에어 제거에 유용)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
하이라이트 추출
Claude를 사용하여 대본 + 장면 타임스탬프 분석:
"타임스탬프가 있는 이 대본과 이러한 장면 변경 지점을 고려하여
소셜 미디어에 가장 적합한 5개의 30초 클립을 식별해 주세요."
각 도구의 최적 사용
| 도구 | 강점 | 약점 |
|---|---|---|
| Claude / Codex | 정리, 계획, 코드 생성 | 크리에이티브 취향 레이어가 아님 |
| FFmpeg | 결정론적 컷, 배치 처리, 형식 변환 | 시각적 편집 UI 없음 |
| Remotion | 프로그래밍 가능한 오버레이, 구성 가능한 장면, 재사용 가능한 템플릿 | 비개발자에게 학습 곡선 |
| Screen Studio | 바로 사용 가능한 세련된 화면 녹화 | 화면 캡처만 가능 |
| ElevenLabs | 음성, 나레이션, 음악, SFX | 워크플로우의 중심이 아님 |
| Descript / CapCut | 최종 속도 조정, 자막, 마무리 | 수동, 자동화 불가능 |
핵심 원칙
- 생성하지 말고 편집하세요. 이 워크플로우는 프롬프트에서 생성하는 것이 아니라 실제 영상을 자르기 위한 것입니다.
- 스타일보다 구조를 먼저. 시각적인 것을 건드리기 전에 레이어 2에서 스토리를 완성하세요.
- FFmpeg은 중추입니다. 지루하지만 중요합니다. 긴 영상을 관리 가능하게 만듭니다.
- 반복성을 위해 Remotion을 사용하세요. 한 번 이상 수행할 작업이라면 Remotion 컴포넌트로 만드세요.
- 선별적으로 생성하세요. 모든 것에 AI 생성을 사용하지 말고 존재하지 않는 에셋에만 사용하세요.
- 취향은 마지막 레이어입니다. AI는 반복 작업을 제거합니다. 당신이 최종 크리에이티브 결정을 내립니다.
네이티브 퓨전 프리셋
ITO Production v1은 절제된 하이라이트 블룸, 반대 RGB 공간 오프셋 및 휘도/에지 헤일로를 제공합니다. 네이티브 가져오기 전에 전달된 정확한 파일, 저장/재열기 및 두 소스 시각적 검토 후 짧은 모션 렌더링 확인을 수행합니다. 이는 샷별 검토가 필요한 시작 값입니다. 헤일로는 대상을 감지하거나 추적하지 않습니다.
ITO V28에는 보존된 네이티브 확인 Fusion 그래프 조각과 멱등 Lua 설치 프로그램이 포함되어 있습니다. 이는 기술적 호환성 예시이며, 권장되는 프로덕션 기본값이 아닙니다: 문서화된 시각적 제한 사항은 사용 전에 튜닝 및 취향 검토가 필요합니다. 이전 가져오기 및 렌더링 확인 범위는 번들 출처를 참조하십시오.
관련 스킬
fal-ai-media— AI 이미지, 비디오 및 오디오 생성videodb— 서버 측 비디오 처리, 인덱싱 및 스트리밍content-engine— 플랫폼 네이티브 콘텐츠 배포