Communitygithub.com

sediman-agent/OpenSkynet

대화만으로 모든 비디오를 편집하세요. 트랜스크립트, 컷, 컬러 그레이딩, 오버레이 애니메이션 생성, 자막 삽입 — 토킹헤드, 몽타주, 튜토리얼, 여행, 인터뷰 등. 프리셋이나 메뉴가 없습니다. 질문하고, 계획을 확인하고, 실행하고, 반복하고, 저장하세요. 프로덕션 정확성 규칙은 엄격합니다; 그 외는 모두 예술적 자유입니다.

OpenSkynet란 무엇인가요?

OpenSkynet은 대화형 인터페이스로 비디오 편집을 혁신하는 AI 에이전트 스킬입니다. 사용자가 텍스트로 요청하면, 이 스킬은 음성 전사본을 분석하고, 필요한 컷을 식별하며, 컬러 그레이딩, 애니메이션 오버레이, 자막 삽입을 순차적으로 수행합니다. 주로 Claude Code, Cursor, Codex 같은 AI 코딩 에이전트 환경에서 동작하며, ffmpeg와 PIL(Python Imaging Library)을 백엔드 도구로 사용합니다. '물어보기 → 확인 → 실행 → 반복 → 저장'의 핵심 워크플로우를 따르며, 하드 규칙(오디오 페이드, 자막 체인 순서, 세그먼트 추출 방식 등)을 준수해야 프로덕션 품질의 출력을 보장합니다. 사용자는 프리셋이나 메뉴 없이 자연어로 모든 편집 결정을 내릴 수 있으며, 이 스킬은 작업 디렉토리 구조, 전사 캐싱, 병렬 애니메이션 생성 등 복잡한 편집 파이프라인을 자동화합니다. 모든 편집 전략은 최종 실행 전에 사용자의 명시적 확인을 거치므로 안전하게 사용할 수 있습니다.

지원 대상✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/sediman-agent/OpenSkynet/tree/HEAD/skills/browser-use_video-use/video-use

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

비디오 사용법

원칙

  1. LLM은 원시 전사본 + 필요 시 시각 자료를 기반으로 추론합니다. 유일하게 가치 있는 파생 산출물은 단어 수준의 압축 전사본(takes_packed.md)입니다. 그 외의 모든 것 — 필러 태깅, 재촬영 감지, 샷 분류, 강조 점수 — 은 결정 시점에 파생합니다.
  2. 오디오가 우선이며, 시각 자료는 따릅니다. 컷 후보는 음성 경계와 침묵 간격에서 나옵니다. 결정 지점에서만 시각 자료를 깊이 파고듭니다.
  3. 물어보기 → 확인 → 실행 → 반복 → 저장. 사용자가 일반 영어로 전략을 확인할 때까지 컷을 절대 건드리지 마세요.
  4. 일반화하세요. 이 비디오가 어떤 유형인지 가정하지 마십시오. 자료를 살펴보고, 사용자에게 물어본 다음, 편집하세요.
  5. 예술적 자유가 기본값입니다. 이 문서에 있는 모든 구체적인 값, 프리셋, 폰트, 색상, 지속 시간, 피치 구조, 기법은 하나의 검증된 비디오에서 가져온 실제 예시일 뿐이며, 강제 사항이 아닙니다. 각각이 무엇을 가능하게 하는지, 왜 효과가 있었는지 이해하기 위해 읽어보세요. 그런 다음 실제 자료와 사용자의 요구에 따라 자신의 취향대로 결정을 내리세요. 반드시 따라야 하는 것은 아래의 하드 규칙 섹션에만 있습니다. 그 외는 모두 여러분의 몫입니다.
  6. 자유롭게 창안하세요. 자료가 여기에 설명되지 않은 기법을 요구한다면 — 분할 화면, 화면 속 화면, 하단 서드 아이덴티티 카드, 리액션 컷, 스피드 램프, 프리즈 프레임, 크로스페이드, 매치 컷, L-컷, J-컷, 숨 쉬는 순간의 스피드 램프 등 무엇이든 — 만드세요. 도우미는 ffmpeg와 PIL입니다. 포맷이 지원하는 모든 것을 할 수 있습니다. 허락을 기다리지 마세요.
  7. 사용자에게 보여주기 전에 자신의 출력을 검증하세요. 출시할 수 없는 결과물이라면 제시하지 마세요.

하드 규칙 (프로덕션 정확성 — 타협 불가)

이것들은 위반 시 조용한 실패 또는 깨진 출력을 초래하는 사항들입니다. 취향이 아니라 정확성의 문제입니다. 반드시 암기하세요.

  1. 자막은 모든 오버레이 다음, 필터 체인의 마지막에 적용됩니다. 그렇지 않으면 오버레이가 캡션을 숨깁니다. 조용한 실패.
  2. 세그먼트별 추출 → 무손실 -c copy 결합을 사용하며, 단일 패스 필터그래프를 사용하지 않습니다. 그렇지 않으면 오버레이 추가 시 모든 세그먼트가 두 번 인코딩됩니다.
  3. 모든 세그먼트 경계에 30ms 오디오 페이드 (afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03). 그렇지 않으면 모든 컷 지점에서 들을 수 있는 팝 노이즈가 발생합니다.
  4. 오버레이는 setpts=PTS-STARTPTS+T/TB를 사용하여 오버레이의 프레임 0을 해당 윈도우 시작점으로 이동합니다. 그렇지 않으면 오버레이 윈도우 동안 애니메이션 중간 부분이 표시됩니다.
  5. 마스터 SRT는 출력 타임라인 오프셋을 사용합니다: output_time = word.start - segment_start + segment_offset. 그렇지 않으면 세그먼트 결합 후 자막이 정렬되지 않습니다.
  6. 단어 중간에서 절대 컷하지 마십시오. 모든 컷 가장자리를 Scribe 전사본의 단어 경계에 맞추세요.
  7. 모든 컷 가장자리를 패딩하세요. 작업 윈도우: 30–200ms. Scribe 타임스탬프는 50–100ms 정도 드리프트합니다 — 패딩이 드리프트를 흡수합니다. 빠른 템포에는 더 타이트하게, 시네마틱에는 더 느슨하게.
  8. 단어 수준의 그대로 적힌 ASR만 사용하세요. 절대 SRT/구문 모드(서브초 갭 데이터 손실)나 정규화된 필러(편집 신호 손실)를 사용하지 마십시오.
  9. 소스별로 전사본을 캐싱하세요. 소스 파일 자체가 변경되지 않는 한 다시 전사하지 마십시오.
  10. 여러 애니메이션은 병렬 서브 에이전트를 사용하세요. 절대 순차적으로 하지 마십시오. Agent 도구를 통해 N개를 동시에 실행하세요; 총 소요 시간 ≈ 가장 느린 것 하나의 시간.
  11. 실행 전에 전략을 확인하세요. 사용자가 일반 영어 계획을 승인할 때까지 컷을 건드리지 마세요.
  12. 모든 세션 출력은 <videos_dir>/edit/에 저장됩니다. video-use/ 프로젝트 디렉토리 내부에는 절대 쓰지 마세요.

이 문서의 나머지 모든 내용은 실제 예시입니다. 자료가 요구할 때마다 자유롭게 변경하세요.

디렉토리 구조

스킬은 video-use/에 있습니다. 사용자 영상은 사용자가 놓은 곳에 있습니다. 모든 세션 출력은 <videos_dir>/edit/로 이동합니다.

<videos_dir>/
├── <소스 파일, 변경하지 않음>
└── edit/
    ├── project.md              ← 메모리; 세션마다 추가됨
    ├── takes_packed.md         ← 구문 수준 전사본, LLM의 기본 읽기 뷰
    ├── edl.json                ← 컷 결정
    ├── transcripts/<name>.json ← 캐시된 원시 Scribe JSON
    ├── animations/slot_<id>/   ← 애니메이션별 소스 + 렌더링 + 추론
    ├── clips_graded/           ← 등급 및 페이드가 적용된 세그먼트별 추출물
    ├── master.srt              ← 출력 타임라인 자막
    ├── downloads/              ← yt-dlp 출력
    ├── verify/                 ← 디버그 프레임 / 타임라인 PNG
    ├── preview.mp4
    └── final.mp4

설정

최초 설치는 install.md에 있습니다 (클론, 종속성, ffmpeg, 스킬 등록, API 키). 매 세션마다 다시 실행하지 마세요; 콜드 스타트 시 다음만 확인하세요:

  • ELEVENLABS_API_KEY가 확인됨 — 환경 변수 또는 video-use 저장소 루트의 .env 파일에 있어야 합니다. 없으면 사용자에게 키를 붙여넣고 .env에 쓰도록 요청하세요 (절대 사용자의 <videos_dir>에 쓰지 마세요).
  • PATH에 ffmpeg + ffprobe가 있어야 함.
  • Python 종속성 설치됨 (저장소 내에서 uv sync 또는 pip install -e .).
  • 세션에 HyperFrames 또는 Remotion 슬롯이 필요한 경우 Node.js + npm 사용 가능. HyperFrames는 현재 Node.js 22+를 필요로 함.
  • yt-dlp, HyperFrames, Remotion, Manim은 처음 사용할 때만 설치됨.
  • 첫 사용 시 애니메이션 설정은 슬롯 디렉토리 내에서 이루어지며, video-use 저장소 루트에서는 절대 안 됩니다. HyperFrames는 npx --yes hyperframes ... 로 호출 가능; Remotion은 npx create-video@latest로 스캐폴딩하거나 remotion render 명령을 사용하기 전에 프로젝트 로컬 종속성으로 설치할 수 있습니다.
  • 이 스킬은 skills/manim-video/를 번들로 제공합니다. Manim 슬롯을 구축할 때는 해당 SKILL.md를 읽으세요.

도우미 (helpers/transcribe.py, helpers/render.py 등)는 이 SKILL.md와 같은 디렉토리에 있습니다. 이 파일이 포함된 디렉토리를 기준으로 상대 경로를 확인하세요 — 스킬은 일반적으로 ~/.claude/skills/video-use/ 또는 ~/.codex/skills/video-use/에 심볼릭 링크되어 있습니다.

도우미

  • transcribe.py <video> — 단일 파일 Scribe 호출. --num-speakers N은 선택 사항. 캐싱됨.
  • transcribe_batch.py <videos_dir> — 4개 워커 병렬 전사. 멀티 테이크에 사용.
  • pack_transcripts.py --edit-dir <dir> — transcripts/*.json → takes_packed.md (구문 수준, 침묵 ≥ 0.5s에서 분할).
  • timeline_view.py <video> <start> <end> — 필름스트립 + 파형 PNG. 요청 시 시각적 심층 분석. 스캔 도구가 아닙니다 — 결정 시점에 사용하며, 상시 사용하지 마세요.
  • render.py <edl.json> -o <out> — 세그먼트별 추출 → 결합 → 오버레이(PTS 이동됨) → 자막 마지막. --preview는 720p 빠른 프리뷰. --build-subtitles는 master.srt를 인라인으로 생성.
  • grade.py <in> -o <out> — ffmpeg 필터 체인 등급. 프리셋 + --filter '<raw>'로 사용자 정의.

애니메이션의 경우 <edit>/animations/slot_<id>/를 Bash로 생성하고 Agent 도구를 통해 서브 에이전트를 실행하세요.

프로세스

  1. 인벤토리. 모든 소스에 대해 ffprobe 실행. 디렉토리에 대해 transcribe_batch.py 실행. pack_transcripts.py로 takes_packed.md 생성. 시각적 첫 인상을 위해 하나 또는 두 개의 timeline_view 샘플링.

  2. 문제 사전 스캔. takes_packed.md를 한 번 훑어 언어적 실수, 명백한 잘못된 표현, 피해야 할 표현을 기록. 일반 목록으로 작성, 편집자 브리핑에 포함.

  3. 대화. 보이는 내용을 일반 영어로 설명. 자료에 기반하여 질문. 수집할 사항: 콘텐츠 유형, 대상 길이/비율, 미적/브랜드 방향, 페이싱 느낌, 반드시 보존할 순간, 반드시 컷할 순간, 애니메이션 및 등급 선호도, 자막 필요 여부. 고정된 체크리스트를 사용하지 마세요 — 적절한 질문은 매번 다릅니다.

  4. 전략 제안. 4–8 문장: 형태, 테이크 선택, 컷 방향, 애니메이션 계획, 등급 방향, 자막 스타일, 길이 예상. 확인을 기다리세요.

  5. 실행. 편집자 서브 에이전트 브리핑을 통해 edl.json 생성. 모호한 순간에는 timeline_view로 심층 분석. 병렬 서브 에이전트에서 애니메이션 구축. 세그먼트별로 등급 적용. render.py를 통해 합성.

  6. 프리뷰. render.py --preview 실행.

  7. 셀프 평가 (사용자에게 보여주기 전). 렌더링된 출력(소스 아님)에 대해 모든 컷 경계에서 timeline_view 실행(±1.5s 윈도우). 각 이미지에서 다음을 확인:

    • 컷 지점의 시각적 불연속성 / 플래시 / 점프
    • 경계의 파형 스파이크(30ms 페이드를 놓친 오디오 팝)
    • 오버레이 뒤에 숨겨진 자막 (규칙 1 위반)
    • 오버레이 정렬 불량 또는 잘못된 프레임 표시 (규칙 4 위반)

    또한 샘플링: 처음 2초, 마지막 2초, 중간 지점 2–3곳 — 등급 일관성, 자막 가독성, 전반적인 응집력 확인. ffprobe로 출력을 확인하여 지속 시간이 EDL 기대치와 일치하는지 확인.

    문제가 있으면: 수정 → 재렌더링 → 재평가. 셀프 평가 패스를 최대 3회로 제한 — 3회 후에도 문제가 남아 있으면 사용자에게 알리고 무한 반복하지 마세요. 셀프 평가를 통과한 후에만 프리뷰를 제시하세요.

  8. 반복 + 저장. 자연어 피드백, 재계획, 재렌더링. 절대 다시 전사하지 마세요. 확인 후 최종 렌더링. project.md에 추가.

컷 크래프트 (기법)

  • 오디오 우선. 단어 경계와 침묵 간격에서 컷 후보 추출.
  • 피크를 보존하세요. 웃음, 결정적 대사, 강조 비트. 결정적 대사 이후 반응을 포함하도록 확장 — 웃음 자체가 비트입니다.
  • 화자 교체는 발화 사이에 여유를 두는 것이 좋습니다. 일반적인 값: 400–600ms. 빠른 템포에서는 더 짧게, 시네마틱에서는 더 길게. 취향에 따라 결정.
  • 오디오 이벤트를 신호로 활용. (웃음), (한숨), (박수)는 비트를 표시합니다. 이를 지나도록 확장하세요.
  • 침묵 간격은 컷 후보입니다. 침묵 ≥ 400ms가 일반적으로 가장 깔끔합니다. 150–400ms의 구문 경계는 시각적 확인과 함께 사용 가능. <150ms는 안전하지 않습니다(구문 중간).
  • 컷 패딩 예시(이 스킬이 포함된 출시 비디오): 첫 번째 유지 단어 전 50ms, 마지막 단어 후 80ms. 몽타주 에너지에는 더 타이트하게, 다큐멘터리에는 더 느슨하게. 작업 윈도우 30–200ms 내에서 유지하세요 (하드 규칙 7).
  • 오디오와 비디오를 독립적으로 추론하지 마세요. 모든 컷은 두 트랙 모두에서 작동해야 합니다.

압축 전사본 (기본 읽기 뷰)

pack_transcripts.py는 모든 transcripts/*.json을 읽고 각 테이크가 구문 수준 줄 목록으로 표시되는 하나의 마크다운 파일을 생성합니다. 각 줄에는 [시작-종료] 시간 범위가 접두사로 붙습니다. 구문은 침묵 ≥ 0.5s 또는 화자 변경 시 분할됩니다. 이것은 편집자 서브 에이전트가 컷을 선택하기 위해 읽는 아티팩트입니다 — 원시 JSON의 1/10 토큰으로 텍스트만으로 단어 경계 정밀도를 제공합니다.

예시 줄:

## C0103  (지속 시간: 43.0s, 8개 구문)
  [002.52-005.36] S0 웹 에이전트가 하는 일의 90%는 완전히 낭비됩니다.
  [006.08-006.74] S0 우리가 이 문제를 해결했습니다.

편집자 서브 에이전트 브리핑 (멀티 테이크 선택용)

작업이 "여러 클립에서 각 비트의 최고 테이크를 선택"하는 것이라면, 다음과 같은 형태의 전용 서브 에이전트를 실행하세요. 구조는 중요하며; 피치 형태 예시는 예시일 뿐입니다.

당신은 <유형> 비디오를 편집하고 있습니다. 각 비트의 최고 테이크를 선택하고 
소스 클립 순서가 아닌 비트 순서로 연대순으로 조립하세요.

입력:
  - takes_packed.md (모든 테이크의 시간 주석이 있는 구문 수준 전사본)
  - 제품/내러티브 맥락: <사용자로부터의 2문장>
  - 화자: <이름, 역할, 전달 스타일 참고>
  - 예상 구조: <아키타입을 선택하거나 직접 창안>
  - 피해야 할 언어적 실수: <사전 스캔 패스의 목록>
  - 목표 런타임: <초>

일반적인 구조 아키타입 (선택, 적응, 또는 창안):
  - 기술 출시/데모:   후크 → 문제 → 해결책 → 이점 → 예시 → CTA
  - 튜토리얼:             소개 → 설정 → 단계 → 주의사항 → 요약
  - 인터뷰:             (질문 → 답변 → 후속질문) 반복
  - 여행/이벤트:       도착 → 하이라이트 → 조용한 순간 → 출발
  - 다큐멘터리:          명제 → 증거 → 반론 → 결론
  - 음악/퍼포먼스:  인트로 → 벌스 → 코러스 → 브릿지 → 아웃트로
  - 또는 직접 창안.

규칙:
  - 시작/종료 시간은 전사본의 단어 경계에 맞춰야 함.
  - 컷 경계를 패딩 (작업 윈도우 30–200ms).
  - 침묵 ≥ 400ms를 컷 대상으로 선호.
  - 피할 수 없는 실수는 더 나은 테이크가 없으면 유지. "이유"에 기록.
  - 예산 초과 시: 비트 하나를 버리거나 꼬리를 자르는 방식으로 수정. 총합을 보고하고 자체 수정.

출력 (JSON 배열, 설명 없음):
  [{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "후크",
    "quote": "...", "reason": "..."}, ...]

최종 EDL과 한 줄 총 런타임 확인을 반환하세요.

컬러 그레이딩 (요청 시)

당신의 임무는 이미지에 대해 추론하는 것이지, 프리셋을 적용하는 것이 아닙니다. 프레임을 보고(timeline_view 통해), 무엇이 잘못되었는지 결정하고, 한 가지를 조정하고, 다시 살펴보세요.

멘탈 모델은 ASC CDL입니다. 채널별: out = (in * slope + offset) ** power, 이후 전역 채도. slope → 하이라이트, offset → 섀도우, power → 미드톤.

필터 체인 예시 (grade.py에는 --list-presets가 있습니다; 시작점으로 사용하거나 직접 조합하세요):

  • warm_cinematic — 레트로/기술적, 미묘한 틸/오렌지 분할, 채도 낮춤. 실제 출시 비디오에 사용됨. 토킹헤드에 안전.
  • neutral_punch — 최소 교정: 대비 증가 + 부드러운 S-커브. 색조 변화 없음.
  • none — 직접 복사. 사용자가 요청하지 않은 경우 기본값.

초상화, 자연, 제품, 뮤직 비디오, 다큐멘터리 등 다른 모든 것에 대해서는 직접 체인을 창안하세요. grade.py --filter '<raw ffmpeg>'는 모든 필터 문자열을 허용합니다.

하드 규칙: 세그먼트 추출 중에 적용 (사후 결합 시 두 번 인코딩되므로). 피부 톤을 테스트하지 않고 과격하게 적용하지 마세요.

자막 (요청 시)

자막에는 추론할 가치가 있는 세 가지 차원이 있습니다: 청킹(줄당 1/2/3/문장), 대소문자(대문자/제목/자연), 배치(하단 여백). 올바른 조합은 콘텐츠에 따라 다릅니다.

작동된 스타일 — 선택, 적응, 또는 창안:

bold-overlay — 짧은 형식 기술 출시, 빠른 템포 소셜 미디어. 2단어 청크, 대문자, 구두점에서 끊기, Helvetica 18 Bold, 흰색 윤곽선, MarginV=35. render.py는 이것을 SUB_FORCE_STYLE로 제공합니다.

FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35

natural-sentence (이 모드를 창안하는 경우) — 내러티브, 다큐멘터리, 교육. 4–7단어 청크, 문장 대소문자, 자연스러운 멈춤에서 끊기, MarginV=60–80, 더 큰 글꼴 사용.

…

[번역을 위해 잘림]

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

관련 스킬