비디오 사용
원칙
- LLM은 원시 트랜스크립트와 요청 시 시각 정보를 기반으로 추론합니다. 유일하게 유지되는 파생 결과물은 컴팩트한 구문 수준 트랜스크립트(
takes_packed.md)입니다. 그 외의 모든 것(필러 태깅, 재테이크 탐지, 샷 분류, 강조 점수)은 결정 시점에 직접 도출합니다. - 오디오가 우선이며, 시각은 그 뒤를 따릅니다. 컷 후보는 음성 경계와 무음 구간에서 나옵니다. 시각 정보는 결정 지점에서만 상세히 확인합니다.
- 질문 → 확인 → 실행 → 반복 → 저장. 사용자가 평문으로 전략을 승인하기 전에는 컷을 절대 건드리지 마세요.
- 일반화하세요. 이 비디오가 어떤 유형인지 가정하지 마세요. 자료를 살펴보고, 사용자에게 물어본 후 편집하세요.
- 예술적 자유가 기본입니다. 이 문서에 나오는 모든 특정 값, 프리셋, 폰트, 색상, 지속 시간, 피치 구조, 기법은 하나의 검증된 비디오에서 가져온 예시일 뿐이며, 강제 사항이 아닙니다. 각각의 이유와 가능성을 이해하기 위해 읽어보세요. 그런 다음 실제 자료와 사용자의 요구에 따라 자신의 취향을 반영한 결정을 내리세요. 반드시 따라야 하는 것은 아래 '하드 규칙' 섹션에만 있습니다. 그 외의 모든 것은 여러분의 자유입니다.
- 자유롭게 창안하세요. 자료가 여기에 설명되지 않은 기법(분할 화면, 픽처 인 픽처, 하단 서드 아이덴티티 카드, 리액션 컷, 스피드 램프, 프리즈 프레임, 크로스페이드, 매치 컷, L-컷, J-컷, 호흡에 맞춘 스피드 램프 등)을 요구한다면 구현하세요. 도우미는 ffmpeg와 PIL입니다. 이들은 포맷이 지원하는 모든 것을 할 수 있습니다. 허락을 기다리지 마세요.
- 사용자에게 보여주기 전에 자신의 출력물을 검증하세요. 직접 출시할 수준이 아니라면 제시하지 마세요.
하드 규칙 (프로덕션 정확성 — 협상 불가)
이 규칙들은 위반 시 무음 실패 또는 깨진 출력을 초래합니다. 취향의 문제가 아니라 정확성의 문제입니다. 숙지하세요.
- 자막은 필터 체인에서 맨 나중에, 모든 오버레이 이후에 적용됩니다. 그렇지 않으면 오버레이가 캡션을 가립니다. 무음 실패.
- 세그먼트별 추출 → 무손실
-c copy연결(concat), 단일 패스 필터그래프 사용 금지. 그렇지 않으면 오버레이가 추가될 때 모든 세그먼트가 이중 인코딩됩니다. - 모든 세그먼트 경계에 30ms 오디오 페이드 (
afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). 그렇지 않으면 모든 컷에서 청각적 팝 노이즈가 발생합니다. - 오버레이는
setpts=PTS-STARTPTS+T/TB를 사용하여 오버레이의 프레임 0을 윈도우 시작점으로 이동합니다. 그렇지 않으면 오버레이 윈도우 동안 애니메이션의 중간 부분이 표시됩니다. - 마스터 SRT는 출력 타임라인 오프셋을 사용합니다:
output_time = word.start - segment_start + segment_offset. 그렇지 않으면 세그먼트 연결 후 자막이 정렬되지 않습니다. - 단어 중간에서 절대 컷하지 마세요. 모든 컷 경계를 Scribe 트랜스크립트의 단어 경계에 맞추세요.
- 모든 컷 경계를 패딩하세요. 작업 윈도우: 30–200ms. Scribe 타임스탬프는 50–100ms 정도 드리프트되며, 패딩이 이를 흡수합니다. 빠른 템포에서는 더 좁게, 시네마틱에서는 더 넓게 설정하세요.
- 단어 수준의 축어적 ASR만 사용하세요. SRT/구문 모드(서브 초 간격 데이터 손실)나 정규화된 필러(편집 신호 손실)는 사용하지 마세요.
- 소스별로 트랜스크립트를 캐싱하세요. 소스 파일 자체가 변경되지 않는 한 다시 트랜스크립트하지 마세요.
- 여러 애니메이션에 대해 병렬 서브 에이전트를 사용하세요. 순차적 사용 금지.
Agent도구를 통해 N개를 동시에 실행하세요. 총 소요 시간 ≈ 가장 느린 하나의 시간. - 실행 전 전략 확인. 사용자가 평문 계획을 승인하기 전에는 컷을 절대 건드리지 마세요.
- 모든 세션 출력은
<videos_dir>/edit/에 저장하세요.video-use/프로젝트 디렉토리 내부에는 절대 쓰지 마세요.
이 문서의 다른 모든 내용은 예시입니다. 자료가 요구할 때마다 자유롭게 변경하세요.
디렉토리 구조
스킬은 video-use/에 위치합니다. 사용자 영상은 사용자가 지정한 곳에 있습니다. 모든 세션 출력은 <videos_dir>/edit/로 이동합니다.
<videos_dir>/
├── <소스 파일, 변경되지 않음>
└── edit/
├── project.md ← 메모리; 세션마다 추가됨
├── takes_packed.md ← 구문 수준 트랜스크립트, LLM의 기본 읽기 뷰
├── edl.json ← 컷 결정 사항
├── transcripts/<name>.json ← 캐시된 원시 Scribe JSON
├── animations/slot_<id>/ ← 애니메이션별 소스 + 렌더링 + 추론
├── clips_graded/ ← 그레이딩 및 페이드가 적용된 세그먼트별 추출물
├── master.srt ← 출력 타임라인 자막
├── downloads/ ← yt-dlp 출력물
├── verify/ ← 디버그 프레임 / 타임라인 PNG
├── preview.mp4
└── final.mp4
설정
최초 설치 방법은 install.md(클론, 의존성, ffmpeg, 스킬 등록, API 키)에 있습니다. 모든 세션마다 다시 실행하지 마세요. 콜드 스타트 시 다음만 확인하세요:
ELEVENLABS_API_KEY가 환경 변수 또는 video-use 저장소 루트의.env파일에 설정되어 있는지 확인하세요. 없으면 사용자에게 키를 붙여넣고.env파일에 쓰도록 요청하세요(사용자의<videos_dir>에는 절대 쓰지 마세요).ffmpeg+ffprobe가 PATH에 있는지 확인하세요.- Python 의존성이 설치되었는지 확인하세요(
uv sync또는 저장소 내에서pip install -e .). - 세션에서 HyperFrames 또는 Remotion 슬롯이 필요한 경우 Node.js + npm이 사용 가능한지 확인하세요. HyperFrames는 현재 Node.js 22+가 필요합니다.
yt-dlp, HyperFrames, Remotion, Manim은 최초 사용 시에만 설치하세요.- 최초 사용 시 애니메이션 설정은 슬롯 디렉토리 내에서 수행하며, video-use 저장소 루트에서는 절대 수행하지 마세요. HyperFrames는
npx --yes hyperframes ...로 호출할 수 있습니다. Remotion은npx create-video@latest로 스캐폴딩하거나 프로젝트 로컬 의존성으로 설치한 후remotion render명령어를 사용할 수 있습니다. - 이 스킬은
skills/manim-video/를 함께 제공합니다. Manim 슬롯을 구축할 때는 해당 SKILL.md를 읽으세요.
도우미(helpers/transcribe.py, helpers/render.py 등)는 이 SKILL.md와 같은 디렉토리에 있습니다. 이 파일이 포함된 디렉토리를 기준으로 경로를 확인하세요. 스킬은 일반적으로 ~/.claude/skills/video-use/ 또는 ~/.codex/skills/video-use/에 심볼릭 링크되어 있습니다.
도우미
transcribe.py <video>— 단일 파일 Scribe 호출.--num-speakers N선택 사항. 캐시됨.transcribe_batch.py <videos_dir>— 4개 워커 병렬 트랜스크립션. 멀티 테이크에 사용.pack_transcripts.py --edit-dir <dir>—transcripts/*.json→takes_packed.md(구문 수준, 0.5초 이상 무음에서 분할).timeline_view.py <video> <start> <end>— 필름스트립 + 파형 PNG. 요청 시 시각적 상세 확인 도구. 스캔 도구가 아닙니다 — 결정 지점에서만 사용하고, 지속적으로 사용하지 마세요.render.py <edl.json> -o <out>— 세그먼트별 추출 → 연결 → 오버레이(PTS 이동됨) → 자삭(마지막).--preview는 720p 고속.--build-subtitles는 인라인으로 master.srt 생성.grade.py <in> -o <out>— ffmpeg 필터 체인 그레이딩. 프리셋 +--filter '<raw>'사용자 정의.
애니메이션의 경우 Bash로 <edit>/animations/slot_<id>/를 생성하고 Agent 도구를 통해 서브 에이전트를 실행하세요.
프로세스
-
인벤토리. 모든 소스에 대해
ffprobe실행. 디렉토리에 대해transcribe_batch.py실행.pack_transcripts.py로takes_packed.md생성. 시각적 첫인상을 위해timeline_view를 하나 또는 두 개 샘플링. -
사전 문제 점검.
takes_packed.md를 한 번 훑어보며 언어적 실수, 명백한 잘못된 표현, 피해야 할 문구를 기록. 평문 목록으로 작성하여 편집기 브리핑에 제공. -
대화. 보고 있는 내용을 평문으로 설명하세요. 자료에 기반한 질문을 하세요. 콘텐츠 유형, 목표 길이/화면비, 미적/브랜드 방향, 페이스 느낌, 반드시 유지해야 할 순간, 반드시 잘라야 할 순간, 애니메이션 및 그레이딩 선호도, 자막 필요 여부를 수집하세요. 고정된 체크리스트를 사용하지 마세요. 매번 올바른 질문이 다릅니다.
-
전략 제안. 4–8문장: 형태, 테이크 선택, 컷 방향, 애니메이션 계획, 그레이딩 방향, 자막 스타일, 예상 길이. 확인 대기.
-
실행. 편집기 서브 에이전트 브리핑을 통해
edl.json을 생성. 모호한 순간에는timeline_view로 상세 확인. 병렬 서브 에이전트로 애니메이션 구축. 세그먼트별로 그레이딩 적용.render.py로 합성. -
프리뷰.
render.py --preview. -
자체 평가 (사용자에게 보여주기 전). 렌더링된 출력(소스 아님)에서 모든 컷 경계(±1.5s 윈도우)에 대해
timeline_view를 실행. 각 이미지에서 다음을 확인:- 컷 지점의 시각적 불연속성/플래시/점프
- 경계의 파형 스파이크(30ms 페이드를 통과한 오디오 팝)
- 오버레이 뒤에 숨겨진 자막(규칙 1 위반)
- 오버레이 정렬 불량 또는 잘못된 프레임 표시(규칙 4 위반)
또한 샘플링: 처음 2초, 마지막 2초, 중간 지점 2–3곳 — 그레이딩 일관성, 자막 가독성, 전반적 일관성 확인. 출력에 대한
ffprobe를 실행하여 지속 시간이 EDL 예상과 일치하는지 검증.문제가 있으면: 수정 → 재렌더링 → 재평가. 자체 평가는 최대 3회까지 — 3회 후에도 문제가 남아 있으면 무한 루프를 돌지 말고 사용자에게 표시하세요. 자체 평가가 통과된 후에만 프리뷰를 제시하세요.
-
반복 + 저장. 자연어 피드백, 재계획, 재렌더링. 다시 트랜스크립트하지 마세요. 최종 렌더링은 확인 후.
project.md에 추가.
컷 제작 기법
- 오디오 우선. 후보 컷은 단어 경계와 무음 구간에서.
- 피크 유지. 웃음, 폭소, 강조 비트. 펀치라인 이후를 포함하여 리액션까지 확장하세요. 웃음 자체가 비트입니다.
- 화자 핸드오프는 발화 사이에 여유를 두는 것이 좋습니다. 일반적인 값: 400–600ms. 빠른 템포에서는 더 짧게, 시네마틱에서는 더 길게. 취향 차이.
- 오디오 이벤트를 신호로 활용.
(웃음),(한숨),(박수)는 비트를 표시합니다. 그 이후로 확장하세요. - 무음 구간은 컷 후보. 400ms 이상의 무음은 일반적으로 가장 깨끗합니다. 150–400ms 구문 경계는 시각적 확인과 함께 사용 가능. 150ms 미만은 안전하지 않음(구문 중간).
- 컷 패딩 예시(이 스킬과 함께 제공된 런칭 비디오): 첫 번째 유지 단어 앞 50ms, 마지막 단어 뒤 80ms. 몽타주 에너지에서는 더 좁게, 다큐멘터리에서는 더 넓게. 30–200ms 작업 윈도우 유지(하드 규칙 7).
- 오디오와 비디오를 독립적으로 추론하지 마세요. 모든 컷은 두 트랙 모두에서 작동해야 합니다.
패킹된 트랜스크립트 (기본 읽기 뷰)
pack_transcripts.py는 모든 transcripts/*.json을 읽어 각 테이크가 구문 수준 라인 목록으로 구성되고 각각 [시작-종료] 시간 범위가 접두사로 붙은 마크다운 파일을 생성합니다. 구문은 0.5초 이상의 무음 또는 화자 변경 시 분할됩니다. 이는 편집기 서브 에이전트가 컷을 선택하기 위해 읽는 결과물로, 원시 JSON의 1/10 토큰으로 텍스트만으로 단어 경계 정밀도를 제공합니다.
예시 라인:
## C0103 (지속 시간: 43.0s, 8개 구문)
[002.52-005.36] S0 웹 에이전트가 하는 일의 90%는 완전히 낭비됩니다.
[006.08-006.74] S0 우리는 이 문제를 해결했습니다.
편집기 서브 에이전트 브리핑 (멀티 테이크 선택용)
작업이 "여러 클립에서 각 비트의 최고 테이크 선택"인 경우, 다음과 같이 구성된 브리핑을 사용하여 전용 서브 에이전트를 실행하세요. 구조는 중요하며, 피치 형태 예시는 중요하지 않습니다.
당신은 <유형> 비디오를 편집하고 있습니다. 각 비트의 최고 테이크를 선택하고
소스 클립 순서가 아닌 비트 순서(시간순)로 조립하세요.
입력:
- takes_packed.md (모든 테이크의 시간 주석이 있는 구문 수준 트랜스크립트)
- 제품/내러티브 컨텍스트: <사용자의 2문장>
- 화자: <이름, 역할, 전달 스타일 메모>
- 예상 구조: <아키타입을 선택하거나 직접 생성>
- 피해야 할 언어적 실수: <사전 점검 패스의 목록>
- 목표 런타임: <초>
일반적인 구조 아키타입 (선택, 조정, 또는 생성):
- 기술 출시/데모: 후크 → 문제 → 해결책 → 이점 → 예시 → 행동 촉구
- 튜토리얼: 소개 → 설정 → 단계 → 주의사항 → 요약
- 인터뷰: (질문 → 답변 → 후속 질문) 반복
- 여행/이벤트: 도착 → 하이라이트 → 조용한 순간 → 출발
- 다큐멘터리: 논제 → 증거 → 반론 → 결론
- 음악/공연: 인트로 → 절 → 후렴 → 브릿지 → 아웃트로
- 또는 직접 생성하세요.
규칙:
- 시작/종료 시간은 트랜스크립트의 단어 경계에 있어야 합니다.
- 컷 경계를 패딩하세요(작업 윈도우 30–200ms).
- 컷 대상으로 400ms 이상의 무음을 선호하세요.
- 피할 수 없는 언어적 실수는 더 나은 테이크가 없으면 유지하세요. "reason"에 메모하세요.
- 예산을 초과하면 수정: 비트를 제거하거나 꼬리를 자르세요. 총합을 보고하고 자체 수정하세요.
출력 (JSON 배열, 평문 없음):
[{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "HOOK",
"quote": "...", "reason": "..."}, ...]
최종 EDL과 한 줄 총 런타임 확인을 반환하세요.
컬러 그레이딩 (요청 시)
여러분의 작업은 이미지를 분석하는 것이지 프리셋을 적용하는 것이 아닙니다. 프레임을 보고(timeline_view 통해), 무엇이 잘못되었는지 결정하고, 한 가지를 조정한 후 다시 확인하세요.
멘탈 모델은 ASC CDL입니다. 채널별: out = (in * slope + offset) ** power, 그 다음 전역 채도. slope → 하이라이트, offset → 섀도우, power → 미드톤.
예시 필터 체인(grade.py --list-presets로 확인 가능, 시작점으로 사용하거나 직접 혼합하세요):
warm_cinematic— 레트로/테크니컬, 미묘한 틸/오렌지 분할, 채도 감소. 실제 출시 비디오에서 사용됨. 토킹 헤드에 안전.neutral_punch— 최소한의 교정: 대비 증가 + 부드러운 S-커브. 색조 변화 없음.none— 직접 복사. 사용자가 요청하지 않은 경우 기본값.
초상화, 자연, 제품, 뮤직 비디오, 다큐멘터리 등 다른 모든 경우에는 직접 체인을 만드세요. grade.py --filter '<raw ffmpeg>'는 모든 필터 문자열을 허용합니다.
하드 규칙: 추출 중 세그먼트별로 적용(사후 연결 시 두 번 재인코딩되므로). 피부톤을 테스트하지 않고 공격적으로 가지 마세요.
자막 (요청 시)
자막은 고려할 세 가지 차원이 있습니다: 청킹(한 줄에 1/2/3/문장), 대소문자(대문자/타이틀/자연어), 배치(하단 여백). 올바른 조합은 콘텐츠에 따라 다릅니다.
작업된 스타일 — 선택, 조정, 또는 생성:
bold-overlay — 짧은 형식의 기술 출시, 빠른 템포의 소셜 미디어. 2단어 청크, 대문자, 구두점에서 분할, Helvetica 18 Bold, 흰색-윤곽선, MarginV=35. render.py는 SUB_FORCE_STYLE로 이 스타일을 제공합니다.
FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35
natural-sentence (이 모드를 직접 만드는 경우) — 내러티브, 다큐멘터리, 교육. 4–7단어 청크, 문장 케이스, 자연스러운 멈춤에서 분할, MarginV=60–80, 더 큰 폰트
…