비디오 사용법
원칙
- LLM은 원시 전사본 + 필요 시 시각 자료를 기반으로 추론합니다. 유일하게 가치 있는 파생 산출물은 단어 수준의 압축 전사본(
takes_packed.md)입니다. 그 외의 모든 것 — 필러 태깅, 재촬영 감지, 샷 분류, 강조 점수 — 은 결정 시점에 파생합니다. - 오디오가 우선이며, 시각 자료는 따릅니다. 컷 후보는 음성 경계와 침묵 간격에서 나옵니다. 결정 지점에서만 시각 자료를 깊이 파고듭니다.
- 물어보기 → 확인 → 실행 → 반복 → 저장. 사용자가 일반 영어로 전략을 확인할 때까지 컷을 절대 건드리지 마세요.
- 일반화하세요. 이 비디오가 어떤 유형인지 가정하지 마십시오. 자료를 살펴보고, 사용자에게 물어본 다음, 편집하세요.
- 예술적 자유가 기본값입니다. 이 문서에 있는 모든 구체적인 값, 프리셋, 폰트, 색상, 지속 시간, 피치 구조, 기법은 하나의 검증된 비디오에서 가져온 실제 예시일 뿐이며, 강제 사항이 아닙니다. 각각이 무엇을 가능하게 하는지, 왜 효과가 있었는지 이해하기 위해 읽어보세요. 그런 다음 실제 자료와 사용자의 요구에 따라 자신의 취향대로 결정을 내리세요. 반드시 따라야 하는 것은 아래의 하드 규칙 섹션에만 있습니다. 그 외는 모두 여러분의 몫입니다.
- 자유롭게 창안하세요. 자료가 여기에 설명되지 않은 기법을 요구한다면 — 분할 화면, 화면 속 화면, 하단 서드 아이덴티티 카드, 리액션 컷, 스피드 램프, 프리즈 프레임, 크로스페이드, 매치 컷, L-컷, J-컷, 숨 쉬는 순간의 스피드 램프 등 무엇이든 — 만드세요. 도우미는 ffmpeg와 PIL입니다. 포맷이 지원하는 모든 것을 할 수 있습니다. 허락을 기다리지 마세요.
- 사용자에게 보여주기 전에 자신의 출력을 검증하세요. 출시할 수 없는 결과물이라면 제시하지 마세요.
하드 규칙 (프로덕션 정확성 — 타협 불가)
이것들은 위반 시 조용한 실패 또는 깨진 출력을 초래하는 사항들입니다. 취향이 아니라 정확성의 문제입니다. 반드시 암기하세요.
- 자막은 모든 오버레이 다음, 필터 체인의 마지막에 적용됩니다. 그렇지 않으면 오버레이가 캡션을 숨깁니다. 조용한 실패.
- 세그먼트별 추출 → 무손실
-c copy결합을 사용하며, 단일 패스 필터그래프를 사용하지 않습니다. 그렇지 않으면 오버레이 추가 시 모든 세그먼트가 두 번 인코딩됩니다. - 모든 세그먼트 경계에 30ms 오디오 페이드 (
afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). 그렇지 않으면 모든 컷 지점에서 들을 수 있는 팝 노이즈가 발생합니다. - 오버레이는
setpts=PTS-STARTPTS+T/TB를 사용하여 오버레이의 프레임 0을 해당 윈도우 시작점으로 이동합니다. 그렇지 않으면 오버레이 윈도우 동안 애니메이션 중간 부분이 표시됩니다. - 마스터 SRT는 출력 타임라인 오프셋을 사용합니다:
output_time = word.start - segment_start + segment_offset. 그렇지 않으면 세그먼트 결합 후 자막이 정렬되지 않습니다. - 단어 중간에서 절대 컷하지 마십시오. 모든 컷 가장자리를 Scribe 전사본의 단어 경계에 맞추세요.
- 모든 컷 가장자리를 패딩하세요. 작업 윈도우: 30–200ms. Scribe 타임스탬프는 50–100ms 정도 드리프트합니다 — 패딩이 드리프트를 흡수합니다. 빠른 템포에는 더 타이트하게, 시네마틱에는 더 느슨하게.
- 단어 수준의 그대로 적힌 ASR만 사용하세요. 절대 SRT/구문 모드(서브초 갭 데이터 손실)나 정규화된 필러(편집 신호 손실)를 사용하지 마십시오.
- 소스별로 전사본을 캐싱하세요. 소스 파일 자체가 변경되지 않는 한 다시 전사하지 마십시오.
- 여러 애니메이션은 병렬 서브 에이전트를 사용하세요. 절대 순차적으로 하지 마십시오.
Agent도구를 통해 N개를 동시에 실행하세요; 총 소요 시간 ≈ 가장 느린 것 하나의 시간. - 실행 전에 전략을 확인하세요. 사용자가 일반 영어 계획을 승인할 때까지 컷을 건드리지 마세요.
- 모든 세션 출력은
<videos_dir>/edit/에 저장됩니다.video-use/프로젝트 디렉토리 내부에는 절대 쓰지 마세요.
이 문서의 나머지 모든 내용은 실제 예시입니다. 자료가 요구할 때마다 자유롭게 변경하세요.
디렉토리 구조
스킬은 video-use/에 있습니다. 사용자 영상은 사용자가 놓은 곳에 있습니다. 모든 세션 출력은 <videos_dir>/edit/로 이동합니다.
<videos_dir>/
├── <소스 파일, 변경하지 않음>
└── edit/
├── project.md ← 메모리; 세션마다 추가됨
├── takes_packed.md ← 구문 수준 전사본, LLM의 기본 읽기 뷰
├── edl.json ← 컷 결정
├── transcripts/<name>.json ← 캐시된 원시 Scribe JSON
├── animations/slot_<id>/ ← 애니메이션별 소스 + 렌더링 + 추론
├── clips_graded/ ← 등급 및 페이드가 적용된 세그먼트별 추출물
├── master.srt ← 출력 타임라인 자막
├── downloads/ ← yt-dlp 출력
├── verify/ ← 디버그 프레임 / 타임라인 PNG
├── preview.mp4
└── final.mp4
설정
최초 설치는 install.md에 있습니다 (클론, 종속성, ffmpeg, 스킬 등록, API 키). 매 세션마다 다시 실행하지 마세요; 콜드 스타트 시 다음만 확인하세요:
ELEVENLABS_API_KEY가 확인됨 — 환경 변수 또는video-use저장소 루트의.env파일에 있어야 합니다. 없으면 사용자에게 키를 붙여넣고.env에 쓰도록 요청하세요 (절대 사용자의<videos_dir>에 쓰지 마세요).- PATH에
ffmpeg+ffprobe가 있어야 함. - Python 종속성 설치됨 (저장소 내에서
uv sync또는pip install -e .). - 세션에 HyperFrames 또는 Remotion 슬롯이 필요한 경우 Node.js + npm 사용 가능. HyperFrames는 현재 Node.js 22+를 필요로 함.
yt-dlp, HyperFrames, Remotion, Manim은 처음 사용할 때만 설치됨.- 첫 사용 시 애니메이션 설정은 슬롯 디렉토리 내에서 이루어지며,
video-use저장소 루트에서는 절대 안 됩니다. HyperFrames는npx --yes hyperframes ...로 호출 가능; Remotion은npx create-video@latest로 스캐폴딩하거나remotion render명령을 사용하기 전에 프로젝트 로컬 종속성으로 설치할 수 있습니다. - 이 스킬은
skills/manim-video/를 번들로 제공합니다. Manim 슬롯을 구축할 때는 해당 SKILL.md를 읽으세요.
도우미 (helpers/transcribe.py, helpers/render.py 등)는 이 SKILL.md와 같은 디렉토리에 있습니다. 이 파일이 포함된 디렉토리를 기준으로 상대 경로를 확인하세요 — 스킬은 일반적으로 ~/.claude/skills/video-use/ 또는 ~/.codex/skills/video-use/에 심볼릭 링크되어 있습니다.
도우미
transcribe.py <video>— 단일 파일 Scribe 호출.--num-speakers N은 선택 사항. 캐싱됨.transcribe_batch.py <videos_dir>— 4개 워커 병렬 전사. 멀티 테이크에 사용.pack_transcripts.py --edit-dir <dir>—transcripts/*.json→takes_packed.md(구문 수준, 침묵 ≥ 0.5s에서 분할).timeline_view.py <video> <start> <end>— 필름스트립 + 파형 PNG. 요청 시 시각적 심층 분석. 스캔 도구가 아닙니다 — 결정 시점에 사용하며, 상시 사용하지 마세요.render.py <edl.json> -o <out>— 세그먼트별 추출 → 결합 → 오버레이(PTS 이동됨) → 자막 마지막.--preview는 720p 빠른 프리뷰.--build-subtitles는 master.srt를 인라인으로 생성.grade.py <in> -o <out>— ffmpeg 필터 체인 등급. 프리셋 +--filter '<raw>'로 사용자 정의.
애니메이션의 경우 <edit>/animations/slot_<id>/를 Bash로 생성하고 Agent 도구를 통해 서브 에이전트를 실행하세요.
프로세스
-
인벤토리. 모든 소스에 대해
ffprobe실행. 디렉토리에 대해transcribe_batch.py실행.pack_transcripts.py로takes_packed.md생성. 시각적 첫 인상을 위해 하나 또는 두 개의timeline_view샘플링. -
문제 사전 스캔.
takes_packed.md를 한 번 훑어 언어적 실수, 명백한 잘못된 표현, 피해야 할 표현을 기록. 일반 목록으로 작성, 편집자 브리핑에 포함. -
대화. 보이는 내용을 일반 영어로 설명. 자료에 기반하여 질문. 수집할 사항: 콘텐츠 유형, 대상 길이/비율, 미적/브랜드 방향, 페이싱 느낌, 반드시 보존할 순간, 반드시 컷할 순간, 애니메이션 및 등급 선호도, 자막 필요 여부. 고정된 체크리스트를 사용하지 마세요 — 적절한 질문은 매번 다릅니다.
-
전략 제안. 4–8 문장: 형태, 테이크 선택, 컷 방향, 애니메이션 계획, 등급 방향, 자막 스타일, 길이 예상. 확인을 기다리세요.
-
실행. 편집자 서브 에이전트 브리핑을 통해
edl.json생성. 모호한 순간에는timeline_view로 심층 분석. 병렬 서브 에이전트에서 애니메이션 구축. 세그먼트별로 등급 적용.render.py를 통해 합성. -
프리뷰.
render.py --preview실행. -
셀프 평가 (사용자에게 보여주기 전). 렌더링된 출력(소스 아님)에 대해 모든 컷 경계에서
timeline_view실행(±1.5s 윈도우). 각 이미지에서 다음을 확인:- 컷 지점의 시각적 불연속성 / 플래시 / 점프
- 경계의 파형 스파이크(30ms 페이드를 놓친 오디오 팝)
- 오버레이 뒤에 숨겨진 자막 (규칙 1 위반)
- 오버레이 정렬 불량 또는 잘못된 프레임 표시 (규칙 4 위반)
또한 샘플링: 처음 2초, 마지막 2초, 중간 지점 2–3곳 — 등급 일관성, 자막 가독성, 전반적인 응집력 확인.
ffprobe로 출력을 확인하여 지속 시간이 EDL 기대치와 일치하는지 확인.문제가 있으면: 수정 → 재렌더링 → 재평가. 셀프 평가 패스를 최대 3회로 제한 — 3회 후에도 문제가 남아 있으면 사용자에게 알리고 무한 반복하지 마세요. 셀프 평가를 통과한 후에만 프리뷰를 제시하세요.
-
반복 + 저장. 자연어 피드백, 재계획, 재렌더링. 절대 다시 전사하지 마세요. 확인 후 최종 렌더링.
project.md에 추가.
컷 크래프트 (기법)
- 오디오 우선. 단어 경계와 침묵 간격에서 컷 후보 추출.
- 피크를 보존하세요. 웃음, 결정적 대사, 강조 비트. 결정적 대사 이후 반응을 포함하도록 확장 — 웃음 자체가 비트입니다.
- 화자 교체는 발화 사이에 여유를 두는 것이 좋습니다. 일반적인 값: 400–600ms. 빠른 템포에서는 더 짧게, 시네마틱에서는 더 길게. 취향에 따라 결정.
- 오디오 이벤트를 신호로 활용.
(웃음),(한숨),(박수)는 비트를 표시합니다. 이를 지나도록 확장하세요. - 침묵 간격은 컷 후보입니다. 침묵 ≥ 400ms가 일반적으로 가장 깔끔합니다. 150–400ms의 구문 경계는 시각적 확인과 함께 사용 가능. <150ms는 안전하지 않습니다(구문 중간).
- 컷 패딩 예시(이 스킬이 포함된 출시 비디오): 첫 번째 유지 단어 전 50ms, 마지막 단어 후 80ms. 몽타주 에너지에는 더 타이트하게, 다큐멘터리에는 더 느슨하게. 작업 윈도우 30–200ms 내에서 유지하세요 (하드 규칙 7).
- 오디오와 비디오를 독립적으로 추론하지 마세요. 모든 컷은 두 트랙 모두에서 작동해야 합니다.
압축 전사본 (기본 읽기 뷰)
pack_transcripts.py는 모든 transcripts/*.json을 읽고 각 테이크가 구문 수준 줄 목록으로 표시되는 하나의 마크다운 파일을 생성합니다. 각 줄에는 [시작-종료] 시간 범위가 접두사로 붙습니다. 구문은 침묵 ≥ 0.5s 또는 화자 변경 시 분할됩니다. 이것은 편집자 서브 에이전트가 컷을 선택하기 위해 읽는 아티팩트입니다 — 원시 JSON의 1/10 토큰으로 텍스트만으로 단어 경계 정밀도를 제공합니다.
예시 줄:
## C0103 (지속 시간: 43.0s, 8개 구문)
[002.52-005.36] S0 웹 에이전트가 하는 일의 90%는 완전히 낭비됩니다.
[006.08-006.74] S0 우리가 이 문제를 해결했습니다.
편집자 서브 에이전트 브리핑 (멀티 테이크 선택용)
작업이 "여러 클립에서 각 비트의 최고 테이크를 선택"하는 것이라면, 다음과 같은 형태의 전용 서브 에이전트를 실행하세요. 구조는 중요하며; 피치 형태 예시는 예시일 뿐입니다.
당신은 <유형> 비디오를 편집하고 있습니다. 각 비트의 최고 테이크를 선택하고
소스 클립 순서가 아닌 비트 순서로 연대순으로 조립하세요.
입력:
- takes_packed.md (모든 테이크의 시간 주석이 있는 구문 수준 전사본)
- 제품/내러티브 맥락: <사용자로부터의 2문장>
- 화자: <이름, 역할, 전달 스타일 참고>
- 예상 구조: <아키타입을 선택하거나 직접 창안>
- 피해야 할 언어적 실수: <사전 스캔 패스의 목록>
- 목표 런타임: <초>
일반적인 구조 아키타입 (선택, 적응, 또는 창안):
- 기술 출시/데모: 후크 → 문제 → 해결책 → 이점 → 예시 → CTA
- 튜토리얼: 소개 → 설정 → 단계 → 주의사항 → 요약
- 인터뷰: (질문 → 답변 → 후속질문) 반복
- 여행/이벤트: 도착 → 하이라이트 → 조용한 순간 → 출발
- 다큐멘터리: 명제 → 증거 → 반론 → 결론
- 음악/퍼포먼스: 인트로 → 벌스 → 코러스 → 브릿지 → 아웃트로
- 또는 직접 창안.
규칙:
- 시작/종료 시간은 전사본의 단어 경계에 맞춰야 함.
- 컷 경계를 패딩 (작업 윈도우 30–200ms).
- 침묵 ≥ 400ms를 컷 대상으로 선호.
- 피할 수 없는 실수는 더 나은 테이크가 없으면 유지. "이유"에 기록.
- 예산 초과 시: 비트 하나를 버리거나 꼬리를 자르는 방식으로 수정. 총합을 보고하고 자체 수정.
출력 (JSON 배열, 설명 없음):
[{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "후크",
"quote": "...", "reason": "..."}, ...]
최종 EDL과 한 줄 총 런타임 확인을 반환하세요.
컬러 그레이딩 (요청 시)
당신의 임무는 이미지에 대해 추론하는 것이지, 프리셋을 적용하는 것이 아닙니다. 프레임을 보고(timeline_view 통해), 무엇이 잘못되었는지 결정하고, 한 가지를 조정하고, 다시 살펴보세요.
멘탈 모델은 ASC CDL입니다. 채널별: out = (in * slope + offset) ** power, 이후 전역 채도. slope → 하이라이트, offset → 섀도우, power → 미드톤.
필터 체인 예시 (grade.py에는 --list-presets가 있습니다; 시작점으로 사용하거나 직접 조합하세요):
warm_cinematic— 레트로/기술적, 미묘한 틸/오렌지 분할, 채도 낮춤. 실제 출시 비디오에 사용됨. 토킹헤드에 안전.neutral_punch— 최소 교정: 대비 증가 + 부드러운 S-커브. 색조 변화 없음.none— 직접 복사. 사용자가 요청하지 않은 경우 기본값.
초상화, 자연, 제품, 뮤직 비디오, 다큐멘터리 등 다른 모든 것에 대해서는 직접 체인을 창안하세요. grade.py --filter '<raw ffmpeg>'는 모든 필터 문자열을 허용합니다.
하드 규칙: 세그먼트 추출 중에 적용 (사후 결합 시 두 번 인코딩되므로). 피부 톤을 테스트하지 않고 과격하게 적용하지 마세요.
자막 (요청 시)
자막에는 추론할 가치가 있는 세 가지 차원이 있습니다: 청킹(줄당 1/2/3/문장), 대소문자(대문자/제목/자연), 배치(하단 여백). 올바른 조합은 콘텐츠에 따라 다릅니다.
작동된 스타일 — 선택, 적응, 또는 창안:
bold-overlay — 짧은 형식 기술 출시, 빠른 템포 소셜 미디어. 2단어 청크, 대문자, 구두점에서 끊기, Helvetica 18 Bold, 흰색 윤곽선, MarginV=35. render.py는 이것을 SUB_FORCE_STYLE로 제공합니다.
FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35
natural-sentence (이 모드를 창안하는 경우) — 내러티브, 다큐멘터리, 교육. 4–7단어 청크, 문장 대소문자, 자연스러운 멈춤에서 끊기, MarginV=60–80, 더 큰 글꼴 사용.
…
[번역을 위해 잘림]