music-to-video — 하나의 음악 기반, 비트 동기화 비디오 워크플로우
이 스킬을 사용하여 음악 트랙을 비트에 동기화된 HyperFrames 비디오로 변환하세요. 트랙을 한 번 분석하고, 프레임을 배치하고, 프레임별 계획을 채우고, 각 프레임을 컴포지션으로 빌드합니다. 입력은 음악 트랙과 선택적 사용자 이미지 또는 비디오입니다. 내레이션이나 웹사이트 캡처는 없습니다. 타이포그래피와 템플릿이 기본입니다(완전한 비디오는 자산이 전혀 필요하지 않음). 사용자가 제공하는 모든 미디어는 동일한 비트 그리드에 삽입됩니다.
당신은 오케스트레이터입니다. videos/<project>/ 디렉토리에서 작업하세요. 단계를 순서대로 실행하고 각 게이트를 통과한 후에 다음으로 넘어가세요. 두 단계는 사용자가 필요합니다: Step 3(계획 승인) 및 Step 6(렌더링 승인). Step 4를 제외한 모든 단계를 직접 수행하세요. Step 4에서는 프레임당 하나의 하위 에이전트를 파견합니다. 디자인 및 모션 규칙은 이 파일이 아닌 references/ 및 frame-worker 하위 에이전트에保存하세요.
SKILL_DIR = 이 스킬 디렉토리. PROJECT_DIR = videos/<project-name>/.
워크플로우: Step 0 설정 → hyperframes.json + assets/bgm.mp3; Step 1 분석 → audiomap.json; Step 2 스켈레톤 → STORYBOARD.md (프레임, 그룹 TBD); Step 3 계획 → 완전한 STORYBOARD.md + frame.md; Step 4 빌드 → compositions/frames/NN-*.html; Step 5 조립 → index.html; Step 6 렌더링 → renders/video.mp4.
모든 것을 형성하는 두 가지 아이디어
- 하나의 분석기, 그리고 당신은 그것을 신뢰합니다.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마십시오. 에너지/밀도/롤/온셋/사일런스는 항상 신뢰할 수 있습니다.bpm및beats_sec는 음악이 진정으로 리드미컬할 때만 신뢰할 수 있습니다. 잔잔한 음악에서는 그리드는 트래커가 적용한 메트로놈이므로 대신 프레이즈와 에너지로 박자를 맞추고 절대 하드 컷하지 마십시오. 어떤 경우에 해당하는지 결정하는 것은 각 프레임의pacing입니다(Step 2). - 하나의 프레임 = 하나의 파일; 그룹은 내부에 있습니다. Step 2는 트랙을 프레임으로 자르고, 각 프레임은 하나의 컴포지션 파일
compositions/frames/NN-<frame_id>.html이 되며, 하나의 frame-worker에 의해 빌드됩니다. 프레임은 그룹으로 세분화될 수 있습니다(각각 템플릿 또는 모션 프리미티브 조합). 추가 밀도는 그룹 _내부_로 들어가므로 프레임 수는 비트가 아닌 고유한 처리를 추적합니다 — 빠른 트랙이 하위 에이전트 수를 폭발적으로 증가시키지 않습니다.
Step 0: 설정, BGM 및 입력
목표: 음악 소스 설정, HyperFrames 프로젝트 생성, 사용자 제공 미디어 기록.
음악은 핵심입니다 — 다른 모든 것보다 먼저 하나의 트랙을 설정하세요. 이 스킬은 빠르고 에너지가 넘치는 BGM에 맞춰 조정되었습니다. 강력한 비트 그리드가 컷을 주도합니다(잔잔한 트랙도 작동하지만 비트보다는 프레이즈로 박자를 맞추세요). 사용자가 오디오(음악 파일 또는 오디오를 추출할 비디오)를 제공했다면 사용하세요. 그렇지 않으면 하나를 생성하세요: 사용자 설명(예: "짜릿한 신스웨이브", "트랩 비트", "밝은 기업용")에서 분위기를 선택하고 /hyperframes-media(references/bgm.md — 자격 증명이 있는 경우 HeyGen 검색, 그렇지 않으면 로컬 Lyria/MusicGen; ElevenLabs 또는 다른 생성기도 작동)를 통해 트랙을 생성하세요. 생성하기 전에 npx hyperframes auth status를 실행하고 그 출력을 그대로 전달하세요(의역하거나 다시 쓰지 마십시오) — BGM이 HeyGen에서 오는지 로컬 MusicGen에서 오는지와 로그인하지 않은 경우 로그인 방법을 보여줍니다. 로그인하지 않은 경우 중단하고 사용자가 선택할 때까지 기다리세요 — 로그인하거나 로컬 MusicGen으로 오프라인에서 계속 진행 — 트랙을 생성하기 전에; 리포지토리당 .env에 키를 작성하지 마십시오. (자율 모드에서는 상태를 기록하고 오프라인으로 계속 진행하세요.) /hyperframes-media → Preflight에서 표준 지침을 확인하세요. 어느 쪽이든 트랙은 assets/bgm.mp3에 저장됩니다. 사용자가 제공한 이미지나 비디오를 준비하여 프레임이 비트 그리드에 이를 통합할 수 있도록 하세요. 그렇지 않으면 타이포그래피가 전체 비디오를 담당합니다.
hyperframes.json이 없는 경우에만 초기화하세요. 브리프에서 프로젝트 이름을 케밥 케이스(예: midnight-drive-loop)로 지정하고, 타임스탬프를 사용하지 마십시오. init은 설치된 스킬을 GitHub의 최신 버전과 비교하고 오래된 것이 있으면 전역 세트를 업데이트합니다.
npx hyperframes init "videos/<project>" --non-interactive --example=blank
mkdir -p "$PROJECT_DIR/assets" "$PROJECT_DIR/renders"
cp "<user-music>" "$PROJECT_DIR/assets/bgm.mp3" # 필요한 경우 먼저 비디오에서 추출
# 사용자가 이미지/비디오를 제공한 경우에만:
node <SKILL_DIR>/scripts/stage-assets.mjs --from <dir> --hyperframes "$PROJECT_DIR" --into public
브랜드(글꼴 + 팔레트)는 여기서가 아니라 Step 3에서 선택됩니다. 장르나 트랙 유형을 미리 선택하지 마십시오. 자산은 선택적 재료일 뿐이며 장르는 프레임별 선택에서 나타납니다.
게이트: hyperframes.json + assets/bgm.mp3가 존재합니다. 종횡비/길이/fps 및 (있는 경우) 자산 인벤토리가 기록됩니다.
Step 1: 음악 분석
목표: 전체 비디오의 기반이 되는 하나의 표준 타이밍 분석 결과를 생성합니다.
analyze-beatgrid.py는 유일한 비트 분석기입니다. 다른 도구나 귀로 비트를 다시 측정하지 마십시오. 트랙을 한 번 읽고 audiomap.json을 작성합니다: 에너지 단계(레벨/밀도/느낌), 온셋 + onset_rate, 롤, 사일런스, hard_stops, key_moments, 프레이즈, 템포/그리드 및 audio.duration_sec. 결정론적입니다 — 동일한 파일은 항상 동일한 맵을 제공합니다. 대부분의 필드는 모든 음악에서 신뢰할 수 있습니다. bpm 및 beats_sec는 음악이 진정으로 리드미컬할 때만 신뢰할 수 있으며, 이를 판단하는 것은 Step 2에서 내리는 결정입니다.
전제 조건: librosa, numpy 및 soundfile을 사용할 수 있는 Python 3. 가져오기에 실패하면 분석기를 실행하기 전에 활성 Python 환경에 설치하십시오:
python3 -m pip install librosa numpy soundfile
python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
-o "$PROJECT_DIR/audiomap.json" --print
게이트: audiomap.json이 존재합니다. audio.duration_sec가 알려져 있습니다.
Step 2: 프레임 스켈레톤 (구조만)
목표: 음악을 읽고 프레임을 배치합니다 — STORYBOARD.md의 스켈레톤.
references/frame-skeleton.md를 읽으세요. audiomap.json을 직접 STORYBOARD.md의 스켈레톤으로 변환하세요. 중간 JSON은 없습니다. 실제 음악적 변화(hard_stops, SURGE/DROP key_moments, 롤의 가장자리, 온셋이 없는 구간, 큰 에너지 점프)에서 트랙을 프레임으로 자르고, 모든 경계를 오디오맵 앵커에 스냅합니다. 각 프레임에 대해 span_sec, pacing(Step 1의 신뢰 호출에 대한 판결 — 그리드가 실제인 경우 beat_cut, 잔잔한 음악에 적용된 메트로놈인 경우 phrase_flow), mood 및 한 줄의 feel(Step 3에서 템플릿과 일치시키는 일반 음악 상황)을 설정합니다. 여기서는 분류하고 배치하기만 하면 됩니다. 모든 프레임의 ### Groups를 TBD (Step 3)로 남겨두고 프론트매터 style은 비워두십시오. 템플릿, 텍스트, 색상 또는 글꼴이 없습니다. ~1–6개의 프레임을 예상하세요.
게이트: 프레임이 트랙을 타일링합니다(첫 번째는 0, 마지막은 duration_s). 각각 span_sec + pacing + mood + feel을 포함합니다. 모든 ### Groups는 TBD입니다. 어디에도 콘텐츠가 없습니다.
Step 3: 계획 채우기 (사용자 게이트)
목표: 스켈레톤을 승인된 완전한 STORYBOARD.md로 변환합니다.
references/planning.md, storyboard-format.md, template-catalog.md, motion-primitive-catalog.md 및 montage.md를 읽으세요(사용자가 자산을 제공한 경우에만). 동일한 파일을 제자리에서 편집하면서 두 가지 작업을 수행합니다:
- 브랜드 선택.
../hyperframes-creative/frame-presets/에서../hyperframes-creative/references/design-spec.md의 테이블을 사용하여 하나의 사전 설정을 선택하세요(트랙의 분위기와 일치시킴; 글꼴과 색상만 중요함 — 템플릿이 구성을 소유함). 수정하지 않고frame.md에 복사하고 프론트매터style(글꼴 + ≤4–6 스와치 팔레트)을 채우세요. - 모든 프레임 채우기. 그룹을 결정하고 각각에 처리를 제공하세요: 카탈로그의 일치하는 템플릿(바인딩된 매개변수 및 실제 오디오맵 앵커 포함), 프리미티브 카탈로그의 자유 구성, 또는
pacing을 따르는 자산 처리. 텍스트를 작성하세요. 당신은 WHAT(템플릿/프리미티브 + 콘텐츠 + 앵커)을 소유합니다. frame-worker는 HOW를 소유합니다. 스토리보드에 밀리초 트윈을 절대 작성하지 마십시오.
node <SKILL_DIR>/scripts/validate-plan.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--audiomap "$PROJECT_DIR/audiomap.json" --templates <SKILL_DIR>/references/templates
모든 ✗(하드 오류: 지속 시간 불일치, 프레임이 트랙을 타일링하지 않음, src 누락)를 수정하십시오. 경고는 최선의 노력입니다. 그런 다음 사용자에게 프레임별 요약을 보여주고 승인할 때까지 반복하십시오.
게이트: frame.md는 변경되지 않은 사전 설정 복사본입니다. validate-plan.mjs가 0으로 종료됩니다. 사용자가 계획을 승인했습니다.
Step 4: 계획에서 프레임 빌드
목표: 각 프레임을 독립적인 컴포지션 파일로 빌드합니다.
compositions/frames/를 생성하세요. sub-agents/frame-worker.md 및 ../hyperframes-core/references/subagent-dispatch.md를 읽으세요. 가능하면 병렬로(그렇지 않으면 웨이브로) 프레임당 하나의 frame-worker를 파견하세요. 각 작업자는 정확히 하나의 프레임과 다음 컨텍스트를 받습니다:
PROJECT_DIR: <abs path>
frame_id: <NN-frame_id> # = 프레임 파일 스템, 예: 02-f2; 컴포지션 id
Your block: PROJECT_DIR/STORYBOARD.md의 `## Frame N — <frame_id>` 블록
audiomap: PROJECT_DIR/audiomap.json
frame.md: PROJECT_DIR/frame.md
Materials: 각 그룹에 대해 <SKILL_DIR>/references/templates/<id>/index.html (템플릿) 및
<SKILL_DIR>/references/motion-primitives/<id>/ (자유); staged assets/ (자산 그룹)
Contracts: ../hyperframes-core/references/sub-compositions.md + determinism-rules.md
Canvas: <w>×<h> Pacing: <beat_cut|phrase_flow>
Write to: PROJECT_DIR/compositions/frames/<frame_id>.html
작업자는 인용된 자료를 포크하고, 모든 앵커를 프레임 로컬 초로 변환하며(local_t = track_t − span_sec[0]), 그룹을 0ms 컷으로 게이트하고, 하나의 탐색 가능한 프레임 파일을 작성합니다. 작업자는 hyperframes CLI를 절대 실행하지 않습니다 — 해당 명령은 아직 존재하지 않는 조립된 프로젝트에서 작동하므로 잘못된 파일에 대해 보고합니다. 작업자는 계약에 따라 작성하고 중지합니다. 조립 후(Step 6) 확인합니다. 각 작업자가 반환되면 파일이 디스크에 있는지 확인할 수 있습니다.
게이트: 모든 프레임에 대해 compositions/frames/NN-*.html이 디스크에 있습니다.
Step 5: 조립
목표: 빌드된 프레임 + BGM을 재생 가능한 index.html에 연결합니다.
assemble-index.mjs는 결정론적입니다. 하위 에이전트도 판단도 없습니다. 각 프레임 파일을 누적 data-start에서 참조하고, assets/bgm.mp3를 트랙 11에 마운트하고, 프레임에서 프레임으로 하드 컷합니다(프레임이 트랙을 간격 없이 타일링하므로 전환 인젝터가 없습니다).
node <SKILL_DIR>/scripts/assemble-index.mjs --storyboard "$PROJECT_DIR/STORYBOARD.md" \
--hyperframes "$PROJECT_DIR" --audiomap "$PROJECT_DIR/audiomap.json"
보고된 ✗를 수정하십시오. 누락되었거나 빈 프레임 파일은 작업자가 부분 파일을 작성했음을 의미합니다. 다시 파견(Step 4)하고 다시 조립하십시오.
게이트: index.html이 존재합니다. 총 지속 시간 == audiomap.audio.duration_sec.
Step 6: 확인 및 렌더링
목표: 조립된 비디오를 확인하고, 사용자 승인을 받고, 최종 MP4를 렌더링합니다.
조립된 프로젝트에서 CLI를 실행하십시오. 그것이 올바른 단위입니다(프레임별 작업자는 실행할 수 없었습니다). lint는 구조를 확인하고, validate는 headless Chrome을 실행하며(JS 오류 및 누락된 자산 포착), inspect는 프레임 스냅샷을 찍습니다.
( cd "$PROJECT_DIR" && npx hyperframes lint . && npx hyperframes validate . && npx hyperframes inspect . )
t=0, 각 프레임 시작, 가장 강한 DROP/SURGE, 모든 hard_stops[].t 및 마지막 프레임에서 검사하십시오. 실패 시 가장 저렴한 안전한 수정을 직접 수행하십시오: 문제가 있는 compositions/frames/NN-*.html을 편집하십시오. 동기화 문제를 숨기기 위해 지속 시간이나 오디오 타이밍을 절대 변경하지 마십시오. 게이트가 통과되면 사용자 검토를 위해 일시 중지한 다음 승인 시에만 렌더링하십시오:
( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )
게이트: lint / validate / inspect 통과. 사용자 승인. renders/video.mp4가 오디오와 함께 존재하며 지속 시간 == audiomap.audio.duration_sec. 최종 응답은 MP4 경로와 지속 시간을 명시합니다.
재개 테이블
| 현재 상태 | 계속할 단계 |
|---|---|
assets/bgm.mp3만 있음 | Step 1 |
audiomap.json | Step 2 |
STORYBOARD.md (스켈레톤) | Step 3 |
STORYBOARD.md (완전) | Step 4 |
| 모든 프레임 파일 | Step 5 |
index.html | Step 6 |
빠른 참조
형식: 기본적으로 가로 1920x1080; 세로 1080x1920; 정사각형 1080x1080. 스토리보드 프론트매터에서 캔버스를 한 번 설정하십시오(canvas: { w, h, fps }).
스크립트는 scripts/ 아래에 있습니다: analyze-beatgrid.py (유일한 분석기), validate-plan.mjs (계획 확인), assemble-index.mjs (인덱스 조립), stage-assets.mjs (사용자 미디어 준비), lib/storyboard.mjs (벤더드 파서). 그 외 모든 것은 hyperframes CLI입니다.
| 읽을 자료 | 시기 |
|---|---|
references/frame-skeleton.md | Step 2: 음악 읽기, 프레임 배치, 페이싱 설정 |
references/planning.md · storyboard-format.md | Step 3: 브랜드 선택, 각 프레임 채우기, 계획 작성 |
references/template-catalog.md | Step 3: 그룹당 템플릿 선택 |
references/motion-primitive-catalog.md | Step 3: 그룹당 모션 프리미티브 선택 |
references/montage.md | Step 3: 사용자 제공 자산이 있는 경우에만 |
sub-agents/frame-worker.md | Step 4: 각 프레임 하위 에이전트 파견 |
../hyperframes-creative/references/design-spec.md | Step 3: 브랜드 사전 설정 선택 |
중요 프레임워크 계약
- 결정론: 모든 분석기, 유효성 검사기 및 조립기는 결정론적입니다. 동일한 입력은 항상 동일한 출력을 생성합니다.
- 프레임 경계: 프레임은 트랙을 완벽하게 타일링합니다. 겹치거나 간격이 없습니다. 모든 프레임 경계는 오디오맵 앵커에 스냅됩니다.
- 하드 컷 전용: 프레임 간 전환이 없습니다. 비디오는 하나의 프레임에서 다음 프레임으로 하드 컷됩니다.
- 프레임당 단일 파일: 각 프레임은 하나의 독립적인 HTML 파일입니다. 추가 종속성이 없습니다.
- 사용자 승인 게이트: Step 3(계획) 및 Step 6(렌더링)은 진행 전에 명시적인 사용자 승인이 필요합니다.