HyperFrames 미디어
에셋을 생성하는 CLI 명령어(tts, bgm, transcribe, remove-background)와 함께, 트랜스크립트 데이터를 HTML에서 소비하고 애니메이션화하는 데 필요한 모든 기능을 제공합니다. 에셋을 컴포지션에 배치하려면 hyperframes-core를 참조하세요.
공급자 체인 (환경 변수에서 자동 감지)
TTS — npx hyperframes tts "..." 사용 가능한 첫 번째 공급자를 선택합니다:
| 순서 | 공급자 | 감지 조건 | 단어 타임스탬프 |
|---|---|---|---|
| 1 | HeyGen (Starfish) | $HEYGEN_API_KEY / hyperframes auth login | 예, 기본 제공 — --words narration.words.json을 전달하여 캡처 |
| 2 | ElevenLabs | $ELEVENLABS_API_KEY 설정됨 | 아니요 — 이후 transcribe 체인 |
| 3 | Kokoro-82M (로컬, 54개 음성) | 항상 (키 불필요) | 아니요 — 이후 transcribe 체인 |
설치된
hyperframes tts가 로컬 전용 빌드인 경우(--help에 "Kokoro-82M"이 표시되고--provider/--words플래그가 없음),$HEYGEN_API_KEY가 설정되어 있어도 자동으로 Kokoro로 폴백합니다. CLI 버전과 관계없이 HeyGen을 강제로 사용하려면 독립형scripts/heygen-tts.mjs스크립트를 사용하세요(references/tts.md참조).
BGM — npx hyperframes bgm --duration N:
| 순서 | 공급자 | 감지 조건 |
|---|---|---|
| 1 | Google Lyria (RealTime) | $GEMINI_API_KEY 또는 $GOOGLE_API_KEY 설정됨 |
| 2 | MusicGen (facebook/musicgen-small, 로컬) | Python transformers + torch + soundfile 설치됨 |
둘 다 --provider <이름>으로 오버라이드할 수 있습니다.
라우팅
| 작업 | 읽기 |
|---|---|
npx hyperframes tts — 공급자 체인, 음성 ID, words.json | references/tts.md |
| CLI 없이 HeyGen 사용 — 독립형 REST 스크립트 (wav + 단어) | scripts/heygen-tts.mjs (references/tts.md 참조) |
npx hyperframes bgm — Lyria vs MusicGen, 분위기 프롬프트, 조정 | references/bgm.md |
npx hyperframes transcribe — Whisper, 모델 규칙, 출력 형태 | references/transcribe.md |
npx hyperframes remove-background — 투명 컷아웃 | references/remove-background.md |
| TTS → 전사 → 캡션 (녹음된 음성 해설 없음) | references/tts-to-captions.md |
| 캡션 작성 — 스타일 감지, 레이아웃, 단어 그룹화, 종료 | references/captions/authoring.md |
| 트랜스크립트 처리 — 입력 형식, 품질 게이트, 정리, API | references/captions/transcript-handling.md |
| 캡션 모션 — 노래방, 마커 효과, 오디오 반응 | references/captions/motion.md |
| 모델 캐시, 시스템 종속성, 문제 해결 | references/requirements.md |
비-협상 규칙
- 음성 ID는 공급자에 따라 다릅니다.
am_michael은 Kokoro 전용입니다. HeyGen UUID는 Kokoro에서 작동하지 않습니다.--voice를 전달하는 경우, 사용자 환경이 변경될 때 공급자가 자동으로 변경되는 것을 방지하기 위해--provider도 함께 지정하십시오. - 항상
transcribe에--model을 전달하십시오. CLI 기본값인small.en은 비영어 오디오를 자동으로 번역합니다.references/transcribe.md→ "언어 규칙"을 참조하세요. - HeyGen은 단어 타임스탬프를 반환합니다. ElevenLabs / Kokoro는 반환하지 않습니다. 캡션이 필요한 경우, HeyGen에
--words를 전달하고 해당 JSON을 직접 사용하거나, 오디오 파일에 대해transcribe를 실행하십시오. 단어 데이터가 항상 있다고 가정하지 마십시오. - 캡션은
{ id, text, start, end }형식의 평면 단어 배열 형식을 사용합니다.references/transcribe.md→ "출력 형태"를 참조하세요. remove-background --background-output는 구멍을 뚫는(cut-out) 기능이며, 인페인팅(inpainting)이 아닙니다. "사람이 없는 장면"이 필요한 경우 다른 도구가 필요합니다.references/remove-background.md→ "적합하지 않은 경우"를 참조하세요.