music-to-video — 하나의 음악 기반, 비트 동기화 비디오 워크플로우
이 스킬은 음악 트랙을 비트에 동기화된 HyperFrames 비디오로 변환합니다. 트랙을 한 번 분석하고, 프레임을 배치한 다음, 각 프레임의 계획을 작성하고, 각 프레임을 컴포지션으로 제작합니다. 입력은 음악 트랙과 선택적인 사용자 이미지 또는 비디오입니다. 내레이션이나 웹사이트 캡처는 없습니다. 타이포그래피와 템플릿은 기본 구성입니다 (완전한 비디오에 에셋이 필요 없습니다). 사용자가 제공한 미디어는 동일한 비트 그리드 위에서 자동으로 편집됩니다.
당신은 오케스트레이터입니다. videos/<project>/ 디렉토리에서 작업합니다. 단계를 순서대로 실행하고 각 게이트를 통과한 후에 다음 단계로 넘어갑니다. 두 단계는 사용자 승인이 필요합니다: 3단계 (계획 승인) 및 6단계 (렌더링 승인). 4단계를 제외한 모든 단계를 직접 수행하며, 4단계에서는 프레임당 하나의 서브 에이전트를 파견합니다. 디자인 및 모션 규칙은 이 파일이 아닌 references/와 frame-worker 서브 에이전트에 저장됩니다.
SKILL_DIR = 이 스킬 디렉토리입니다. PROJECT_DIR = videos/<project-name>/입니다.
워크플로우: 0단계 설정 → hyperframes.json + assets/bgm.mp3; 1단계 분석 → audiomap.json; 2단계 골격 → STORYBOARD.md (프레임, 그룹 TBD); 3단계 계획 → 완성된 STORYBOARD.md + frame.md; 4단계 제작 → compositions/frames/NN-*.html; 5단계 조립 → index.html; 6단계 렌더링 → renders/video.mp4.
모든 것을 결정짓는 두 가지 핵심 개념
- 하나의 분석기, 그리고 그것을 신뢰하세요.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마세요. 에너지/밀도/롤/온셋/사일런스는 항상 신뢰할 수 있습니다.bpm과beats_sec은 음악이 진정으로 리드미컬할 때만 신뢰할 수 있습니다. 잔잔한 음악에서는 그리드는 트래커가 강제로 적용한 메트로놈에 불과하므로, 대신 프레이즈와 에너지로 박자를 맞추고 절대 하드컷하지 마세요. 어떤 경우에 해당하는지 판단하는 것은 각 프레임의pacing(2단계)입니다. - 하나의 프레임 = 하나의 파일; 그룹은 내부에 존재합니다. 2단계에서 트랙을 프레임으로 나누고, 각 프레임은 하나의 컴포지션 파일
compositions/frames/NN-<frame_id>.html이 되며, 하나의 frame-worker가 제작합니다. 프레임은 그룹으로 세분화될 수 있습니다 (각 그룹은 템플릿 또는 모션 프리미티브 조합입니다). 추가 밀도는 그룹 _내부_에 들어가므로, 프레임 수는 비트 수가 아닌 개별 처리 방식의 수를 추적합니다. — 빠른 트랙이 서브 에이전트 수를 폭발적으로 늘리지 않습니다.
0단계: 설정, BGM 및 입력
목표: 음악 소스를 설정하고, HyperFrames 프로젝트를 생성하며, 사용자가 제공한 미디어를 확인합니다.
음악은 핵심입니다 — 다른 어떤 것보다 먼저 하나의 트랙을 설정하세요. 이 스킬은 빠르고 에너지 넘치는 BGM에 최적화되어 있습니다. 강한 비트 그리드가 컷을 주도합니다 (잔잔한 트랙도 작동하지만, 비트 대신 프레이즈로 박자를 맞추세요). 사용자가 오디오(음악 파일 또는 오디오를 추출할 비디오)를 제공했다면 그것을 사용하세요. 그렇지 않으면 직접 생성하세요: 사용자의 설명에서 분위기를 선택하고(예: "강렬한 신스웨이브", "트랩 비트", "밝은 기업 분위기") /hyperframes-media (references/bgm.md — HeyGen 검색 (자격 증명이 있는 경우), 그렇지 않으면 로컬 Lyria / MusicGen; ElevenLabs 또는 다른 생성기도 가능)를 통해 트랙을 생성하세요. 생성하기 전에 npx hyperframes auth status를 실행하고 출력 내용을 그대로 전달하세요 (의역하거나 다시 작성하지 마세요) — BGM이 HeyGen에서 오는지 로컬 MusicGen에서 오는지, 그리고 로그인되지 않은 경우 로그인 방법을 보여줍니다. 로그인되지 않은 경우 중단하고 사용자가 선택할 때까지 기다리세요 — 로그인하거나 오프라인 상태에서 로컬 MusicGen으로 계속 진행하세요; 키를 저장소별 .env 파일에 기록하지 마세요. (자율 모드에서는 상태를 기록하고 오프라인으로 계속 진행하세요.) /hyperframes-media → Preflight에서 표준 지침을 확인하세요. 어느 쪽이든 트랙은 assets/bgm.mp3에 저장됩니다. 사용자가 제공한 이미지나 비디오를 준비하여 프레임이 비트 그리드 위에서 이를 사용할 수 있도록 하세요. 그렇지 않으면 타이포그래피가 전체 비디오를 담당합니다.
hyperframes.json이 없을 때만 초기화하세요. <project> 이름은 브리프에서 케밥-케이스로 지정하세요(예: midnight-drive-loop). 타임스탬프를 사용하지 마세요. init은 설치된 스킬을 GitHub의 최신 스킬과 비교하여 오래된 것이 있으면 전역 세트를 업데이트합니다.
npx hyperframes init "videos/<project>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3" # 필요한 경우 먼저 비디오에서 추출
# 사용자가 이미지/비디오를 제공한 경우에만:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
브랜드 (폰트 + 팔레트)는 3단계에서 선택되며, 여기서 선택하지 않습니다. 장르나 트랙 유형을 미리 선택하지 마세요. 에셋은 선택적 재료일 뿐이며, 장르는 프레임별 선택에서 결정됩니다.
게이트: hyperframes.json + assets/bgm.mp3이 존재합니다. 화면비/길이/fps 및 (있는 경우) 에셋 인벤토리가 기록됩니다.
1단계: 음악 분석
목표: 전체 비디오의 기반이 되는 유일한 정식 타이밍 분석 결과를 생성합니다.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마세요. 트랙을 한 번 읽고 audiomap.json을 작성합니다: 에너지 단계 (레벨/밀도/느낌), 온셋 + onset_rate, 롤, 사일런스, hard_stops, key_moments, 프레이즈, 템포/그리드 및 audio.duration_sec. 결정론적입니다 — 동일한 파일은 항상 동일한 맵을 생성합니다. 대부분의 필드는 모든 음악에서 신뢰할 수 있습니다. bpm과 beats_sec은 음악이 진정으로 리드미컬할 때만 신뢰할 수 있으며, 이를 판단하는 것은 2단계에서 내리는 결정입니다.
필수 조건: librosa, numpy, soundfile을 사용할 수 있는 Python 3. 가져오기에 실패하면 분석기를 실행하기 전에 활성 Python 환경에 설치하세요:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
게이트: audiomap.json이 존재합니다. audio.duration_sec이 확인됩니다.
2단계: 프레임 골격 (구조만)
목표: 음악을 읽고 프레임을 배치합니다 — STORYBOARD.md의 골격을 만듭니다.
references/frame-skeleton.md를 읽으세요. audiomap.json을 직접 STORYBOARD.md의 골격으로 변환하세요. 중간 JSON은 없습니다. 실제 음악적 변화(hard_stops, SURGE / DROP key_moments, 롤의 경계, 온셋이 없는 구간, 큰 에너지 변화)에서 트랙을 프레임으로 자르고, 모든 경계를 audiomap 앵커에 맞춥니다. 각 프레임에 대해 span_sec, pacing (1단계의 신뢰 호출 결과 — beat_cut (그리드가 실제인 경우), phrase_flow (잔잔한 음악에 강제로 적용된 메트로놈인 경우)), mood 및 한 줄 feel (3단계에서 템플릿과 매칭할 평범한 음악 상황)을 설정하세요. 여기서는 분류와 배치만 수행하세요. 모든 프레임의 ### Groups는 TBD (Step 3)로 남겨두고, 프론트매터 style은 비워두세요. 템플릿, 복사본, 색상 또는 폰트는 없습니다. 약 1~6개의 프레임을 예상하세요.
게이트: 프레임이 트랙을 타일링합니다(첫 번째는 0, 마지막은 duration_s). 각 프레임에는 span_sec + pacing + mood + feel이 있습니다. 모든 ### Groups는 TBD입니다. 어디에도 내용이 없습니다.
3단계: 계획 작성 (사용자 게이트)
목표: 골격을 승인된 완전한 STORYBOARD.md로 변환합니다.
references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md 및 montage.md (사용자가 에셋을 제공한 경우에만)를 읽으세요. 동일한 파일을 그 자리에서 편집하면서 두 가지 작업을 수행합니다:
- 브랜드를 선택하세요.
../hyperframes-creative/frame-presets/에서 트랙의 분위기와 일치하는 프리셋 하나를 선택하세요 (../hyperframes-creative/references/design-spec.md의 테이블 사용). 폰트와 색상만 중요합니다 — 템플릿이 구성을 담당합니다. 프리셋을frame.md에 수정하지 않고 복사하고, 프론트매터style(폰트 + 최대 4~6개 견본 팔레트)을 채우세요. - 각 프레임을 채우세요. 그룹을 결정하고 각 그룹에 처리를 할당하세요: 카탈로그에서 일치하는 템플릿 (바인딩된 매개변수와 실제 audiomap 앵커 포함), 프리미티브 카탈로그의 자유 구성, 또는
pacing을 준수하는 에셋 처리. 텍스트를 작성하세요. 당신은 무엇을 (템플릿/프리미티브 + 콘텐츠 + 앵커) 담당합니다. frame-worker는 어떻게 (HOW) 담당합니다. 밀리초 단위 트윈을 스토리보드에 절대 작성하지 마세요.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
모든 ✗ (하드 오류: 기간 불일치, 트랙을 타일링하지 않는 프레임, 누락된 src)를 수정하세요. 경고는 최선의 노력으로 처리하세요. 그런 다음 사용자에게 프레임별 요약을 보여주고 승인할 때까지 반복하세요.
게이트: frame.md는 변경되지 않은 프리셋 복사본입니다. validate-plan.mjs가 0으로 종료됩니다. 사용자가 계획을 승인했습니다.
4단계: 계획에서 프레임 제작
목표: 각 프레임을 독립적인 컴포지션 파일로 제작합니다.
compositions/frames/를 만드세요. sub-agents/frame-worker.md 및 ../hyperframes-core/references/subagent-dispatch.md를 읽으세요. 가능하면 병렬로, 그렇지 않으면 파도식으로 프레임당 하나의 frame-worker를 파견하세요. 각 워커는 정확히 하나의 프레임과 다음 컨텍스트를 받습니다:
PROJECT_DIR: <abs path>
frame_id: <NN-frame_id> # = 프레임 파일 스템, 예: 02-f2; 컴포지션 ID
Your block: `## Frame N — <frame_id>` 블록 in PROJECT_DIR/STORYBOARD.md
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
자료: 각 그룹에 대해 <SKILL_DIR>/references/templates/<id>/index.html (템플릿) 및
<SKILL_DIR>/references/motion-primitives/<id>/ (자유); 준비된 assets/ (에셋 그룹)
계약: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
캔버스: <w>×<h> 페이싱: <beat_cut|phrase_flow>
출력: PROJECT_DIR/compositions/frames/<frame_id>.html
워커는 인용된 자료를 포크하고, 모든 앵커를 프레임-로컬 초(local_t = track_t − span_sec[0])로 변환하며, 그룹을 0ms 컷으로 게이팅하고, 하나의 시크-세이프 프레임 파일을 작성합니다. 워커는 hyperframes CLI를 절대 실행하지 않습니다 — 해당 명령은 아직 존재하지 않는 조립된 프로젝트에서 작동하므로 잘못된 파일을 보고합니다. 워커는 계약에 따라 파일을 작성하고 중단합니다. 조립(6단계) 후에 확인합니다. 각 워커가 반환되면 파일이 디스크에 있는지 확인할 수 있습니다.
게이트: 모든 프레임에 대해 compositions/frames/NN-*.html이 디스크에 있습니다.
5단계: 조립
목표: 제작된 프레임 + BGM을 재생 가능한 index.html로 연결합니다.
assemble-index.mjs는 결정론적입니다. 서브 에이전트나 판단이 필요 없습니다. 각 프레임 파일을 누적 data-start에 참조하고, assets/bgm.mp3를 트랙 11에 마운트하며, 프레임 → 프레임을 하드컷합니다(프레임은 트랙을 간격 없이 타일링하므로 전환 인젝터가 없습니다).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
보고된 ✗를 수정하세요. 누락되었거나 빈 프레임 파일은 워커가 부분 파일을 작성했음을 의미합니다. 워커를 재파견(4단계)하고 다시 조립하세요.
게이트: index.html이 존재합니다. 총 지속 시간 == audiomap.audio.duration_sec.
6단계: 확인 및 렌더링
목표: 조립된 비디오를 확인하고, 사용자 승인을 받고, 최종 MP4를 렌더링합니다.
조립된 프로젝트에서 CLI를 실행하세요. 이것이 올바른 단위입니다. (프레임별 워커는 이를 실행할 수 없었습니다). lint는 구조를 확인하고, validate는 헤드리스 Chrome을 실행하며(JS 오류 및 누락된 에셋을 포착), inspect는 프레임 스냅샷을 촬영합니다.
( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )
t=0, 각 프레임 시작, 가장 강력한 DROP / SURGE, 모든 hard_stops[].t 및 마지막 프레임에서 검사하세요. 실패 시 직접 가장 저렴하고 안전한 수정을 적용하세요. 문제가 있는 compositions/frames/NN-*.html을 편집하세요. 동기화 문제를 숨기기 위해 지속 시간이나 오디오 타이밍을 절대 변경하지 마세요. 게이트가 통과되면 사용자 검토를 위해 일시 중지한 후 승인 시에만 렌더링하세요:
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )
게이트: lint / validate / inspect 통과. 사용자 승인 완료. renders/video.mp4가 오디오와 함께 존재하며, 지속 시간 == audiomap.audio.duration_sec. 최종 응답은 MP4 경로와 지속 시간을 명시합니다.
재개 테이블
| 보유 파일 | 다음 단계 |
|---|---|
assets/bgm.mp3만 | 1단계 |
audiomap.json | 2단계 |
STORYBOARD.md (골격) | 3단계 |
STORYBOARD.md (완성) | 4단계 |
| 모든 프레임 파일 | 5단계 |
index.html | 6단계 |
빠른 참조
형식: 기본값 가로 1920x1080; 세로 1080x1920; 정사각형 1080x1080. 스토리보드 프론트매터에서 캔버스를 한 번 설정하세요(canvas: { w, h, fps }).
스크립트는 scripts/ 아래에 있습니다: analyze-beatgrid.py (단일 분석기), validate-plan.mjs (계획 확인), assemble-index.mjs (인덱스 조립), stage-assets.mjs (사용자 미디어 준비), lib/storyboard.mjs (벤더드 파서). 그 외는 모두 hyperframes CLI입니다.
| 읽어야 할 문서 | 시점 |
|---|---|
references/frame-skeleton.md | 2단계: 음악을 읽고, 프레임을 배치하고, 페이싱 설정 |
references/planning.md · storyboard-format.md | 3단계: 브랜드를 선택하고, 각 프레임을 채우고, 계획 작성 |
references/template-catalog.md | 3단계: 그룹별 템플릿 선택 |
references/motion-primitive-catalog.md | 3단계: 그룹별 모션 프리미티브 선택 |
references/montage.md | 3단계: 사용자 제공 미디어가 있는 경우에만 |
sub-agents/frame-worker.md | 4단계: 프레임별 서브 에이전트 파견 지침 |
../hyperframes-core/references/sub-compositions.md | 4단계: 프레임 컴포지션 계약 |
../hyperframes-core/references/determinism-rules.md | 4단계: 결정론적 프레임 제작 규칙 |
../hyperframes-core/references/subagent-dispatch.md | 4단계: 서브 에이전트 파견 메커니즘 |
/hyperframes-media | 0단계: BGM 생성 또는 획득 |