HyperFrames 媒體
用於建立資源的 CLI 指令(tts、bgm、transcribe、remove-background),以及消費和動畫化 HTML 中轉錄資料所需的一切。若要將資源放入編排中,請參閱 hyperframes-core。
供應商鏈(從環境變數自動偵測)
TTS — npx hyperframes tts "..." 會選取第一個可用的供應商:
| 順序 | 供應商 | 偵測時機 | 逐字時間戳 |
|---|---|---|---|
| 1 | HeyGen (Starfish) | 設定 $HEYGEN_API_KEY / hyperframes auth login | 有,原生支援 — 傳遞 --words narration.words.json 以擷取 |
| 2 | ElevenLabs | 設定 $ELEVENLABS_API_KEY | 無 — 之後串接 transcribe |
| 3 | Kokoro-82M(本地,54 種語音) | 永遠可用(無需金鑰) | 無 — 之後串接 transcribe |
如果安裝的
hyperframes tts是僅限本地建置版本(其--help顯示「Kokoro-82M」且沒有--provider/--words旗標),則即使設定了$HEYGEN_API_KEY,它也會靜默地回退到 Kokoro。若無論 CLI 版本如何都要強制使用 HeyGen,請使用獨立腳本scripts/heygen-tts.mjs(請參閱references/tts.md)。
BGM — npx hyperframes bgm --duration N:
| 順序 | 供應商 | 偵測時機 |
|---|---|---|
| 1 | Google Lyria (RealTime) | 設定 $GEMINI_API_KEY 或 $GOOGLE_API_KEY |
| 2 | MusicGen(facebook/musicgen-small,本地) | 已安裝 Python: transformers + torch + soundfile |
可使用 --provider <名稱> 覆蓋兩者。
路由
| 任務 | 閱讀 |
|---|---|
npx hyperframes tts — 供應商鏈、語音 ID、words.json | references/tts.md |
| 不使用 CLI 的 HeyGen — 獨立 REST 腳本(wav + words) | scripts/heygen-tts.mjs(參閱 references/tts.md) |
npx hyperframes bgm — Lyria 與 MusicGen、情緒提示、調校 | references/bgm.md |
npx hyperframes transcribe — Whisper、模型規則、輸出結構 | references/transcribe.md |
npx hyperframes remove-background — 透明裁切 | references/remove-background.md |
| TTS → 轉錄 → 字幕(無錄製配音) | references/tts-to-captions.md |
| 字幕撰寫 — 樣式偵測、版面配置、詞彙分組、結束 | references/captions/authoring.md |
| 轉錄處理 — 輸入格式、品質閘、清理、API | references/captions/transcript-handling.md |
| 字幕動畫 — 卡拉 OK、標記效果、音訊反應式 | references/captions/motion.md |
| 模型快取、系統依賴、疑難排解 | references/requirements.md |
非可妥協規則
- 語音 ID 是供應商特定的。
am_michael只適用於 Kokoro;HeyGen 的 UUID 在 Kokoro 上無效。若傳遞--voice,也請固定--provider,以避免使用者環境變更時發生靜默的供應商漂移。 transcribe務必傳遞--model。 CLI 預設的small.en會靜默地翻譯非英語音訊。請參閱references/transcribe.md→ 「語言規則」。- HeyGen 返回逐字時間戳;ElevenLabs / Kokoro 則否。 當你需要字幕時,請對 HeyGen 傳遞
--words並直接使用該 JSON,或對音訊檔案執行transcribe。切勿假設逐字資料永遠存在。 - 字幕使用扁平的字詞陣列格式,包含
{ id, text, start, end }。請參閱references/transcribe.md→ 「輸出結構」。 remove-background --background-output是挖洞,非修補。 若需要「不含人物場景」,則需使用其他工具。請參閱references/remove-background.md→ 「何時不該使用此工具」。