음악 → 비디오 — 하나의 음악 기반 비트 동기화 비디오 워크플로우
이 스킬을 사용하여 음악 트랙을 비트에 동기화된 HyperFrames 비디오로 변환하세요. 트랙을 한 번 분석하고, 프레임을 배치하고, 각 프레임별 계획을 채운 후 각 프레임을 컴포지션으로 구축합니다. 입력은 음악 트랙과 선택적 사용자 이미지 또는 비디오입니다. 내레이션이나 웹사이트 캡처는 없습니다. 타이포그래피와 템플릿이 기본(완전한 비디오에 자산이 필요 없음)이며, 사용자가 제공하는 모든 미디어는 동일한 비트 그리드 위에 삽입됩니다.
당신은 오케스트레이터입니다. videos/<project>/ 디렉토리에서 작업하며, 단계를 순서대로 실행하고 각 게이트를 통과한 후에 다음 단계로 넘어가세요. 두 단계에서 사용자 입력이 필요합니다: Step 3 (계획 승인) 및 Step 6 (렌더 승인). Step 4를 제외한 모든 단계를 직접 수행하세요. Step 4에서는 프레임당 하나의 하위 에이전트를 파견합니다. 디자인 및 모션 규칙은 이 파일에 두지 말고 references/와 frame-worker 하위 에이전트에 보관하세요.
SKILL_DIR = 이 스킬 디렉토리입니다. PROJECT_DIR = videos/<project-name>/ 디렉토리입니다.
워크플로우: Step 0 설정 → hyperframes.json + assets/bgm.mp3; Step 1 분석 → audiomap.json; Step 2 스켈레톤 → STORYBOARD.md (프레임, 그룹은 TBD); Step 3 계획 → 완전한 STORYBOARD.md + frame.md; Step 4 구축 → compositions/frames/NN-*.html; Step 5 조립 → index.html; Step 6 렌더 → renders/video.mp4.
모든 것을 결정짓는 두 가지 아이디어
- 하나의 분석기, 그리고 그것을 신뢰하세요.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마세요. 에너지/밀도/롤/온셋/사일런스는 항상 신뢰할 수 있습니다.bpm과beats_sec은 음악이 진정으로 리드미컬할 때만 신뢰할 수 있습니다. 차분한 음악에서는 그리드는 트래커가 부과한 메트로놈일 뿐이므로, 대신 프레이즈와 에너지로 진행 속도를 정하고 절대 하드 컷하지 마세요. 어떤 경우인지 결정하는 것은 각 프레임의pacing입니다(Step 2). - 하나의 프레임 = 하나의 파일; 그룹은 내부에 존재합니다. Step 2는 트랙을 프레임으로 자르고, 각 프레임은 하나의 컴포지션 파일
compositions/frames/NN-<frame_id>.html이 되며, 하나의 frame-worker에 의해 구축됩니다. 프레임은 그룹(각각 템플릿 또는 모션 프리미티브 조합)으로 세분화될 수 있습니다. 추가 밀도는 그룹 _내부_에 들어가므로, 프레임 수는 개별 처리 방식을 추적하며 비트 수를 추적하지 않습니다. 빠른 트랙이 하위 에이전트 수를 폭발적으로 증가시키지 않습니다.
Step 0: 설정, BGM 및 입력
목표: 음악 소스를 설정하고, HyperFrames 프로젝트를 생성하며, 사용자가 제공한 미디어를 기록합니다.
음악이 핵심입니다. 다른 것보다 먼저 하나의 트랙을 설정하세요. 이 스킬은 빠르고 에너지가 넘치는 BGM에 맞춰져 있습니다. 강한 비트 그리드가 컷을 주도합니다(차분한 트랙도 작동하지만, 비트보다는 프레이즈로 진행 속도를 정하세요). 사용자가 오디오(음악 파일 또는 오디오를 추출할 비디오)를 제공했다면 그대로 사용하세요. 제공하지 않았다면 직접 생성하세요. 사용자 설명(예: "강력한 신스웨이브", "트랩 비트", "밝은 기업 분위기")에서 분위기를 선택하고 /hyperframes-media(references/bgm.md — 자격 증명이 있으면 HeyGen 검색, 아니면 로컬 Lyria/MusicGen; ElevenLabs 또는 다른 생성기도 작동)를 통해 트랙을 생성하세요. 생성 전에 npx hyperframes auth status를 실행하고 그 출력을 그대로 전달하세요(바꿔 말하거나 다시 쓰지 마세요). BGM이 HeyGen에서 오는지 로컬 MusicGen에서 오는지, 그리고 로그인하지 않은 경우 로그인 방법을 보여줍니다. 로그인하지 않은 경우 중단하고 사용자가 선택할 때까지 기다리세요 — 로그인하거나, 로컬 MusicGen을 사용하여 오프라인으로 계속 진행 — 트랙을 생성하기 전에; 리포지토리당 .env에 키를 작성하지 마세요. (자율 모드에서는 상태를 기록하고 오프라인으로 계속 진행하세요.) 표준 지침은 /hyperframes-media → Preflight를 참조하세요. 어느 쪽이든 트랙은 assets/bgm.mp3에 저장됩니다. 사용자가 제공한 이미지나 비디오를 준비하여 프레임이 비트 그리드 위에 삽입할 수 있게 하세요. 그렇지 않으면 타이포그래피가 전체 비디오를 담당합니다.
hyperframes.json이 없을 때만 초기화하세요. <project> 이름을 브리프에서 케밥-케이스(예: midnight-drive-loop)로 지정하세요. 타임스탬프는 절대 사용하지 마세요. init는 설치된 스킬을 GitHub의 최신 버전과 비교하고 업데이트가 필요한 경우 전역 세트를 업데이트합니다.
npx hyperframes init "videos/<project>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3" # 비디오에서 먼저 추출해야 할 수 있습니다
# 사용자가 이미지/비디오를 제공한 경우에만:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
브랜드(폰트 + 팔레트)는 Step 3에서 선택되며, 여기서 선택하지 않습니다. 장르나 트랙 유형을 미리 선택하지 마세요. 자산은 선택적 재료일 뿐이며, 장르는 프레임별 선택에서 결정됩니다.
게이트: hyperframes.json + assets/bgm.mp3가 존재하고, 가로세로비/길이/fps 및 (있는 경우) 자산 인벤토리가 기록되어 있습니다.
Step 1: 음악 분석
목표: 전체 비디오가 기반으로 하는 하나의 표준 타이밍 분석을 생성합니다.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마세요. 트랙을 한 번 읽고 audiomap.json을 작성합니다: 에너지 위상(레벨/밀도/느낌), 온셋 + onset_rate, 롤, 사일런스, hard_stops, key_moments, 프레이즈, 템포/그리드, audio.duration_sec. 결정적입니다. 동일한 파일은 항상 동일한 맵을 제공합니다. 대부분의 필드는 모든 음악에서 신뢰할 수 있습니다. bpm과 beats_sec은 음악이 진정으로 리드미컬할 때만 신뢰할 수 있으며, 이를 판단하는 것은 Step 2에서 내리는 결정입니다.
전제 조건: librosa, numpy, soundfile이 있는 Python 3이 필요합니다. 가져오기에 실패하면 분석기를 실행하기 전에 활성 Python 환경에 설치하세요:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
게이트: audiomap.json이 존재하고, audio.duration_sec이 알려져 있습니다.
Step 2: 프레임 스켈레톤 (구조만)
목표: 음악을 읽고 프레임을 배치합니다 — STORYBOARD.md의 스켈레톤.
references/frame-skeleton.md을 읽으세요. audiomap.json을 직접 STORYBOARD.md의 스켈레톤으로 변환하세요. 중간 JSON은 없습니다. 트랙을 실제 음악적 변화(hard_stops, SURGE/DROP key_moments, 롤의 가장자리, 온셋이 없는 구간, 큰 에너지 점프)에서 프레임으로 자르고, 모든 경계를 audiomap 앵커에 스냅하세요. 각 프레임에 대해 span_sec, pacing(Step 1의 신뢰 호출 결과 — 그리드가 실제일 때 beat_cut, 차분한 음악에 부과된 메트로놈일 때 phrase_flow), mood, 한 줄짜리 feel(Step 3이 템플릿과 일치시키는 일반적인 음악 상황)을 설정하세요. 여기서는 분류 및 배치만 수행하세요. 각 프레임의 ### Groups는 TBD (Step 3)로 남겨두고 프론트매터 style은 비워두세요. 템플릿, 카피, 색상, 폰트는 없습니다. 예상 프레임 수는 ~1–6개입니다.
게이트: 프레임이 트랙을 타일링합니다(첫 번째는 0에서, 마지막은 duration_s에서). 각 프레임은 span_sec + pacing + mood + feel을 가지고 있습니다. 모든 ### Groups는 TBD입니다. 어디에도 콘텐츠가 없습니다.
Step 3: 계획 채우기 (사용자 승인 필요)
목표: 스켈레톤을 승인된 완전한 STORYBOARD.md로 변환합니다.
references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md, 그리고 montage.md(사용자가 자산을 제공한 경우에만)를 읽으세요. 동일한 파일을 제자리에서 편집하면서 두 가지를 수행하세요:
- 브랜드를 선택하세요.
../hyperframes-creative/frame-presets/에서 하나의 사전 설정을 선택하세요.../hyperframes-creative/references/design-spec.md의 표를 사용하세요(트랙의 분위기와 일치시킵니다. 폰트와 색상만 중요합니다 — 템플릿이 구성을 소유합니다). 선택한 것을 수정하지 않고frame.md에 복사하고 프론트매터style(폰트 + 최대 4–6색 팔레트)을 채우세요. - 모든 프레임을 채우세요. 각 프레임의 그룹을 결정하고 각 그룹에 처리를 지정하세요: 카탈로그에서 일치하는 템플릿(바운드 파라미터 및 실제 audiomap 앵커 포함), 프리미티브 카탈로그의 자유 구성, 또는
pacing을 따르는 자산 처리. 카피를 작성하세요. 당신은 WHAT(템플릿/프리미티브 + 콘텐츠 + 앵커)을 소유합니다. frame-worker는 HOW를 소유합니다. 스토리보드에 밀리초 단위 트윈을 작성하지 마세요.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
모든 ✗(하드 오류: 기간 불일치, 프레임이 트랙을 타일링하지 않음, src 누락)를 수정하세요. 경고는 최선의 노력으로 처리하면 됩니다. 그런 다음 사용자에게 프레임별 요약을 보여주고 승인할 때까지 반복하세요.
게이트: frame.md는 수정되지 않은 사전 설정 복사본입니다. validate-plan.mjs가 0으로 종료됩니다. 사용자가 계획을 승인했습니다.
Step 4: 계획에서 프레임 구축
목표: 각 프레임을 독립적인 컴포지션 파일로 구축합니다.
compositions/frames/ 디렉토리를 생성하세요. sub-agents/frame-worker.md 및 ../hyperframes-core/references/subagent-dispatch.md를 읽으세요. 가능한 경우 병렬로(그렇지 않으면 웨이브로) 프레임당 하나의 frame-worker를 파견하세요. 각 worker는 정확히 하나의 프레임과 다음 컨텍스트를 받습니다:
PROJECT_DIR: <절대 경로>
frame_id: <NN-frame_id> # = 프레임 파일 이름, 예: 02-f2; 컴포지션 ID
블록: PROJECT_DIR/STORYBOARD.md의 `## Frame N — <frame_id>` 블록
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
재료: 각 그룹에 대해 <SKILL_DIR>/references/templates/<id>/index.html (템플릿) 및
<SKILL_DIR>/references/motion-primitives/<id>/ (자유); 준비된 자산/ (자산 그룹)
계약: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
캔버스: <w>×<h> 페이싱: <beat_cut|phrase_flow>
작성 위치: PROJECT_DIR/compositions/frames/<frame_id>.html
worker는 인용된 재료를 포크하고, 모든 앵커를 프레임-로컬 초(local_t = track_t − span_sec[0])로 변환하고, 그룹을 0ms 컷으로 게이트하고, 하나의 시크-세이프 프레임 파일을 작성합니다. worker는 hyperframes CLI를 절대 실행하지 않습니다. 해당 명령은 조립된 프로젝트에서 작동하며, 아직 존재하지 않으므로 잘못된 파일에서 보고할 것입니다. worker는 계약에 따라 작성하고 중지합니다. 조립 후(Step 6) 확인합니다. 각 worker가 반환되면 해당 파일이 디스크에 있는지 확인할 수 있습니다.
게이트: 모든 프레임에 대해 compositions/frames/NN-*.html이 디스크에 있습니다.
Step 5: 조립
목표: 구축된 프레임 + BGM을 재생 가능한 index.html로 연결합니다.
assemble-index.mjs는 결정적입니다. 하위 에이전트나 판단이 필요하지 않습니다. 각 프레임 파일을 누적 data-start에서 참조하고, assets/bgm.mp3를 트랙 11에 마운트하고, 프레임을 하드 컷합니다(프레임이 트랙을 간격 없이 타일링하므로 전환 인젝터가 없습니다).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
보고된 모든 ✗를 수정하세요. 프레임 파일이 누락되었거나 비어 있으면 해당 worker가 부분 파일을 작성한 것입니다. 다시 파견(Step 4)하고 재조립하세요.
게이트: index.html이 존재합니다. 총 기간 == audiomap.audio.duration_sec.
Step 6: 확인 및 렌더링
목표: 조립된 비디오를 확인하고, 사용자 승인을 받고, 최종 MP4를 렌더링합니다.
조립된 프로젝트에서 CLI를 실행하세요. 그것이 올바른 단위입니다(프레임별 worker는 실행할 수 없었습니다). lint는 구조를 확인하고, validate는 헤드리스 Chrome을 실행하며(JS 오류 및 누락된 자산 캐치), inspect는 프레임을 스냅샷합니다.
( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )
t=0, 각 프레임 시작, 가장 강력한 DROP/SURGE, 모든 hard_stops[].t, 마지막 프레임에서 검사하세요. 실패 시 가장 저렴한 안전한 수정을 직접 수행하세요. 문제가 있는 compositions/frames/NN-*.html을 편집하세요. 동기화 문제를 숨기기 위해 기간이나 오디오 타이밍을 절대 변경하지 마세요. 게이트를 통과한 후 사용자 검토를 위해 일시 중지하고, 승인 후에만 렌더링하세요:
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )
게이트: lint / validate / inspect 통과. 사용자 승인. renders/video.mp4가 오디오와 함께 존재하며, 기간 == audiomap.audio.duration_sec. 최종 응답은 MP4 경로와 기간을 명시합니다.
재개 테이블
| 가지고 있는 것 | 계속할 위치 |
|---|---|
assets/bgm.mp3만 있음 | Step 1 |
audiomap.json | Step 2 |
STORYBOARD.md (스켈레톤) | Step 3 |
STORYBOARD.md (완전) | Step 4 |
| 모든 프레임 파일 | Step 5 |
index.html | Step 6 |
빠른 참조
형식: 기본값은 가로 1920x1080, 세로 1080x1920, 정사각형 1080x1080. 캔버스는 스토리보드 프론트매터에서 한 번 설정합니다(canvas: { w, h, fps }).
스크립트는 scripts/ 아래에 있습니다: analyze-beatgrid.py (유일한 분석기), validate-plan.mjs (계획 확인), assemble-index.mjs (인덱스 조립), stage-assets.mjs (사용자 미디어 준비), lib/storyboard.mjs (벤더드 파서). 나머지는 hyperframes CLI입니다.
| 읽을 파일 | 시점 |
|---|---|
references/frame-skeleton.md | Step 2: 음악 읽기, 프레임 배치, 페이싱 설정 |
references/planning.md · storyboard-format.md | Step 3: 브랜드 선택, 각 프레임 채우기, 계획 작성 |
references/template-catalog.md | Step 3: 그룹당 템플릿 선택 |
references/motion-primitive-catalog.md | Step 3: 그룹당 모션 프리미티브 선택 |
references/montage.md | Step 3: 사용자 자산을 비트 그리드 위에 배치 |
sub-agents/frame-worker.md | Step 4: 각 프레임 구축 |
../hyperframes-core/references/subagent-dispatch.md | Step 4: frame-worker 파견 및 계약 |