music-to-video — 하나의 음악 기반 비트 동기화 비디오 워크플로우
이 스킬을 사용하면 음악 트랙을 비트에 동기화된 HyperFrames 비디오로 변환할 수 있습니다. 트랙을 한 번 분석하고, 프레임을 배치하고, 프레임별 계획을 수립한 후 각 프레임을 컴포지션으로 제작합니다. 입력은 음악 트랙과 선택적 사용자 이미지 또는 비디오입니다. 내레이션도 없고 웹사이트 캡처도 없습니다. 타이포그래피와 템플릿이 기본입니다(완전한 비디오에 자산이 필요하지 않음). 사용자가 제공하는 모든 미디어는 동일한 비트 그리드에 맞춰 컷인됩니다.
당신은 오케스트레이터입니다. videos/<project>/ 디렉토리에서 작업합니다. 단계를 순서대로 실행하고 각 게이트를 통과해야 다음 단계로 넘어갈 수 있습니다. 두 단계는 사용자가 필요합니다: Step 3(계획 승인) 및 Step 6(렌더링 승인). Step 4를 제외한 모든 단계는 직접 수행하며, Step 4에서는 프레임당 하나의 하위 에이전트를 파견합니다. 디자인 및 모션 규칙은 이 파일에 두지 않습니다. references/와 frame-worker 하위 에이전트에 있습니다.
SKILL_DIR = 이 스킬 디렉토리. PROJECT_DIR = videos/<project-name>/.
워크플로우: Step 0 설정 → hyperframes.json + assets/bgm.mp3; Step 1 분석 → audiomap.json; Step 2 스켈레톤 → STORYBOARD.md(프레임, 그룹 TBD); Step 3 계획 → 완전한 STORYBOARD.md + frame.md; Step 4 제작 → compositions/frames/NN-*.html; Step 5 조립 → index.html; Step 6 렌더링 → renders/video.mp4.
모든 것을 형성하는 두 가지 아이디어
- 하나의 분석기, 그리고 그것을 신뢰하세요.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마십시오. 에너지/밀도/롤/온셋/무음은 항상 신뢰할 수 있습니다.bpm과beats_sec은 음악이 진정으로 리드미컬할 때만 신뢰할 수 있습니다. 잔잔한 음악에서는 그리드가 트래커가 부과한 메트로놈이므로, 프레이즈와 에너지에 따라 페이스를 조정하고 절대 하드 컷하지 마십시오. 어떤 경우인지 판단하는 것은 각 프레임의pacing(Step 2)입니다. - 하나의 프레임 = 하나의 파일; 그룹은 내부에 있습니다. Step 2는 트랙을 프레임으로 자르고, 각 프레임은 하나의 컴포지션 파일
compositions/frames/NN-<frame_id>.html이 되며, 하나의 frame-worker가 제작합니다. 한 프레임은 그룹(각각 템플릿 또는 모션 프리미티브 조합)으로 세분화될 수 있습니다. 추가 밀도는 그룹 내부로 이동하므로 프레임 수는 비트가 아닌 고유한 처리 방식을 추적합니다 — 빠른 트랙이 하위 에이전트 수를 폭발적으로 증가시키지 않습니다.
Step 0: 설정, BGM 및 입력
목표: 음악 소스를 설정하고, HyperFrames 프로젝트를 생성하며, 사용자가 제공한 미디어를 확인합니다.
음악이 핵심입니다 — 다른 어떤 것보다 먼저 하나의 트랙을 설정하세요. 이 스킬은 빠르고 에너지 넘치는 BGM에 최적화되어 있습니다. 강력한 비트 그리드가 컷을 주도합니다(잔잔한 트랙도 작동하지만 비트보다 프레이즈에 따라 페이스를 조정하세요). 사용자가 오디오(음악 파일 또는 오디오를 추출할 비디오)를 제공한 경우 사용합니다. 그렇지 않은 경우 하나를 생성합니다. 사용자의 설명에서 분위기를 선택하고(예: "강렬한 신스웨이브", "트랩 비트", "긍정적인 기업용") /hyperframes-media를 통해 트랙을 생성합니다(references/bgm.md — 자격 증명이 있으면 HeyGen 검색, 그렇지 않으면 로컬 Lyria/MusicGen; ElevenLabs 또는 다른 생성기도 작동). 생성하기 전에 npx hyperframes auth status를 실행하고 그 출력을 그대로 전달하세요(의역하거나 다시 쓰지 마십시오) — BGM이 HeyGen에서 오는지 로컬 MusicGen에서 오는지, 그리고 로그인하지 않은 경우 로그인 방법을 보여줍니다. 로그인하지 않은 경우 중지하고 사용자가 선택할 때까지 기다리세요 — 로그인하거나 로컬 MusicGen으로 오프라인 계속 — 트랙을 생성하기 전; 저장소별 .env에 키를 작성하지 마십시오. (자율 모드에서는 상태를 확인하고 오프라인으로 계속합니다.) /hyperframes-media → Preflight에서 표준 지침을 참조하세요. 어느 쪽이든 트랙은 assets/bgm.mp3에 저장됩니다. 사용자가 제공한 이미지나 비디오를 스테이징하여 프레임이 비트 그리드에 짜여질 수 있도록 합니다. 그렇지 않으면 타이포그래피가 전체 비디오를 담당합니다.
hyperframes.json이 없는 경우에만 초기화합니다. <project> 이름은 브리프에서 케밥 케이스로 지정합니다(예: midnight-drive-loop — 절대 타임스탬프 사용 금지). init은 설치된 스킬을 GitHub의 최신 버전과 비교하고 오래된 경우 전역 세트를 업데이트합니다.
npx hyperframes init "videos/<project>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3" # 필요한 경우 먼저 비디오에서 추출
# 사용자가 이미지/비디오를 제공한 경우에만:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
브랜드(폰트 + 팔레트)는 여기가 아닌 Step 3에서 선택됩니다. 미리 장르나 트랙 유형을 선택하지 마세요 — 자산은 선택적 재료일 뿐이며, 장르는 프레임별 선택에서 나타납니다.
게이트: hyperframes.json + assets/bgm.mp3이 존재합니다. 종횡비/길이/fps 및 (있는 경우) 자산 인벤토리가 기록됩니다.
Step 1: 음악 분석
목표: 전체 비디오가 구축되는 하나의 표준 타이밍 분석을 생성합니다.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마십시오. 트랙을 한 번 읽고 audiomap.json을 작성합니다: 에너지 단계(레벨/밀도/느낌), 온셋 + onset_rate, 롤, 무음, hard_stops, key_moments, 프레이즈, 템포/그리드, 그리고 audio.duration_sec. 결정적입니다 — 동일한 파일은 항상 동일한 맵을 제공합니다. 대부분의 필드는 모든 음악에서 신뢰할 수 있습니다. bpm과 beats_sec은 음악이 진정으로 리드미컬할 때만 신뢰할 수 있으며, 이를 판단하는 것은 Step 2에서 내리는 결정입니다.
전제 조건: Python 3과 librosa, numpy, soundfile이 준비되어 있어야 합니다. 가져오기에 실패하면 분석기를 실행하기 전에 활성 Python 환경에 설치합니다:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
게이트: audiomap.json이 존재합니다. audio.duration_sec이 알려져 있습니다.
Step 2: 프레임 스켈레톤 (구조만)
목표: 음악을 읽고 프레임을 배치합니다 — STORYBOARD.md의 스켈레톤.
references/frame-skeleton.md를 읽으십시오. audiomap.json을 직접 STORYBOARD.md의 스켈레톤으로 변환합니다 — 중간 JSON은 없습니다. 실제 음악적 변화(hard_stops, SURGE/DROP key_moments, 롤의 가장자리, 온셋이 없는 구간, 큰 에너지 점프)에서 트랙을 프레임으로 자르고, 모든 경계를 audiomap 앵커에 스냅합니다. 각 프레임에 대해 span_sec, pacing(Step 1의 신뢰 여부 판단 — 그리드가 실제일 때 beat_cut, 잔잔한 음악에 부과된 메트로놈일 때 phrase_flow), mood, 한 줄의 feel(Step 3에서 템플릿과 매칭할 일반적인 음악 상황)을 설정합니다. 여기서는 분류하고 배치하기만 합니다. 모든 프레임의 ### Groups는 TBD (Step 3)으로 남겨두고, 머리말 style은 비워둡니다 — 템플릿, 복사본, 색상, 글꼴이 없습니다. 약 1~6개의 프레임을 예상합니다.
게이트: 프레임이 트랙을 타일링합니다(첫 번째는 0, 마지막은 duration_s). 각각 span_sec + pacing + mood + feel을 가지고 있습니다. 모든 ### Groups는 TBD입니다. 어디에도 콘텐츠가 없습니다.
Step 3: 계획 작성 (사용자 게이트)
목표: 스켈레톤을 승인된 완전한 STORYBOARD.md로 변환합니다.
references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md, 그리고 montage.md(사용자가 자산을 제공한 경우에만)를 읽으십시오. 동일한 파일을 편집하면서 두 가지 작업을 수행합니다:
- 브랜드를 선택합니다.
../hyperframes-creative/frame-presets/에서 하나의 프리셋을 선택합니다(../hyperframes-creative/references/design-spec.md의 표 사용 — 트랙의 분위기와 일치; 글꼴과 색상만 중요합니다 — 템플릿이 구성을 소유합니다). 변경 없이frame.md에 복사하고 머리말style(글꼴 + ≤4–6 스와치 팔레트)을 채웁니다. - 모든 프레임을 채웁니다. 그룹을 결정하고 각각에 처리를 부여합니다: 카탈로그의 일치하는 템플릿(바인딩된 매개변수와 실제 audiomap 앵커 포함), 프리미티브 카탈로그의 자유 구성, 또는
pacing을 준수하는 자산 처리. 복사본을 작성합니다. 당신은 WHAT(템플릿/프리미티브 + 콘텐츠 + 앵커)을 소유합니다. frame-worker는 HOW를 소유합니다 — 절대 스토리보드에 밀리초 트윈을 작성하지 마십시오.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
모든 ✗(하드 오류: 지속 시간 불일치, 트랙을 타일링하지 않는 프레임, 누락된 src)를 수정합니다. 경고는 최선의 노력입니다. 그런 다음 사용자에게 프레임별 요약을 보여주고 승인할 때까지 반복합니다.
게이트: frame.md는 변경되지 않은 프리셋 복사본입니다. validate-plan.mjs가 0으로 종료됩니다. 사용자가 계획을 승인했습니다.
Step 4: 계획에서 프레임 제작
목표: 모든 프레임을 독립적인 컴포지션 파일로 제작합니다.
compositions/frames/를 만듭니다. sub-agents/frame-worker.md와 ../hyperframes-core/references/subagent-dispatch.md를 읽으십시오. 가능한 경우 병렬로, 그렇지 않으면 웨이브로 프레임당 하나의 frame-worker를 파견합니다. 각 작업자는 정확히 하나의 프레임과 다음 컨텍스트를 받습니다:
PROJECT_DIR: <abs path>
frame_id: <NN-frame_id> # = 프레임 파일 stem(예: 02-f2); 컴포지션 ID
Your block: `## Frame N — <frame_id>` 블록 (PROJECT_DIR/STORYBOARD.md)
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materials: 각 그룹에 대해, <SKILL_DIR>/references/templates/<id>/index.html (템플릿) 및
<SKILL_DIR>/references/motion-primitives/<id>/ (자유); staged assets/ (자산 그룹)
Contracts: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Canvas: <w>×<h> Pacing: <beat_cut|phrase_flow>
Write to: PROJECT_DIR/compositions/frames/<frame_id>.html
작업자는 인용된 자료를 포크하고, 모든 앵커를 프레임 로컬 초(local_t = track_t − span_sec[0])로 변환하고, 0ms 컷으로 그룹을 게이트하고, 하나의 seek-safe 프레임 파일을 작성합니다. 작업자는 절대 hyperframes CLI를 실행하지 않습니다 — 해당 명령은 아직 존재하지 않는 조립된 프로젝트에서 작동하므로 잘못된 파일에 대해 보고합니다. 작업자는 계약에 따라 작성하고 중지합니다. 당신은 조립(Step 6) 후에 확인합니다. 각 작업자가 반환되면 파일이 디스크에 저장되었는지 확인할 수 있습니다.
게이트: 모든 프레임에 대해 compositions/frames/NN-*.html이 디스크에 있습니다.
Step 5: 조립
목표: 제작된 프레임 + BGM을 재생 가능한 index.html로 연결합니다.
assemble-index.mjs는 결정적입니다 — 하위 에이전트나 판단이 없습니다. 각 프레임 파일을 누적 data-start에서 참조하고, assets/bgm.mp3을 트랙 11에 마운트하며, 프레임 → 프레임을 하드 컷합니다(프레임이 간격 없이 트랙을 타일링하므로 트랜지션 인젝터가 없습니다).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
보고된 모든 ✗를 수정합니다 — 누락되거나 빈 프레임 파일은 해당 작업자가 부분 파일을 작성했음을 의미합니다. 재파견(Step 4)하고 재조립합니다.
게이트: index.html이 존재합니다. 총 지속 시간 == audiomap.audio.duration_sec.
Step 6: 확인 및 렌더링
목표: 조립된 비디오를 확인하고, 사용자 승인을 받고, 최종 MP4를 렌더링합니다.
조립된 프로젝트에서 CLI를 실행합니다 — 그것이 올바른 단위입니다(프레임별 작업자는 실행할 수 없었습니다). lint는 구조를 확인하고, validate는 헤드리스 Chrome을 실행하며(JS 오류 및 누락된 자산 포착), inspect는 프레임 스냅샷을 생성합니다.
( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )
t=0, 각 프레임 시작, 가장 강한 DROP/SURGE, 모든 hard_stops[].t, 마지막 프레임에서 검사합니다. 실패 시 가장 저렴한 안전 수정을 직접 수행합니다: 문제가 있는 compositions/frames/NN-*.html을 편집합니다. 동기화 문제를 숨기기 위해 지속 시간이나 오디오 타이밍을 변경하지 마십시오. 게이트가 통과하면 사용자 검토를 위해 일시 중지한 다음 승인 시에만 렌더링합니다:
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )
게이트: lint / validate / inspect 통과. 사용자 승인 완료. renders/video.mp4가 오디오와 함께 존재하며, 지속 시간 == audiomap.audio.duration_sec. 최종 답변은 MP4 경로와 지속 시간을 명시합니다.
재개 표
| 가지고 있는 것 | 계속할 위치 |
|---|---|
assets/bgm.mp3만 있음 | Step 1 |
audiomap.json | Step 2 |
STORYBOARD.md (스켈레톤) | Step 3 |
STORYBOARD.md (완전) | Step 4 |
| 모든 프레임 파일 | Step 5 |
index.html | Step 6 |
빠른 참조
형식: 기본적으로 가로 1920x1080; 세로 1080x1920; 정사각형 1080x1080. 캔버스는 스토리보드 머리말에서 한 번 설정합니다(canvas: { w, h, fps }).
스크립트는 scripts/ 아래에 있습니다: analyze-beatgrid.py (유일한 분석기), validate-plan.mjs (계획 확인), assemble-index.mjs (인덱스 조립), stage-assets.mjs (사용자 미디어 스테이징), lib/storyboard.mjs (벤더 파서). 나머지는 모두 hyperframes CLI입니다.
| 읽을 내용 | 시기 |
|---|---|
references/frame-skeleton.md | Step 2: 음악을 읽고, 프레임을 배치하고, 페이싱 설정 |
references/planning.md · storyboard-format.md | Step 3: 브랜드 선택, 각 프레임 채우기, 계획 작성 |
references/template-catalog.md | Step 3: 그룹당 템플릿 선택 |
references/motion-primitive-catalog.md | Step 3: 그룹당 모션 프리미티브 선택 |
references/montage.md | Step 3(사용자 제공 자산 포함 시): 자산 처리 선택 |
../hyperframes-creative/references/design-spec.md | Step 3: 브랜드 프리셋 선택 |
sub-agents/frame-worker.md | Step 4: 작업자 파견 방법 및 계약 |