HyperFrames Media
アセットを作成するCLIコマンド(tts、bgm、transcribe、remove-background)と、トランスクリプトデータをHTMLで消費・アニメーション化するために必要なすべての機能を提供します。コンポジションにアセットを配置するには、hyperframes-coreを参照してください。
プロバイダチェーン(環境変数から自動検出)
TTS — npx hyperframes tts "..." は利用可能な最初のプロバイダを選択します:
| 順位 | プロバイダ | 検出条件 | 単語タイムスタンプ |
|---|---|---|---|
| 1 | HeyGen(Starfish) | $HEYGEN_API_KEY / hyperframes auth login | はい、ネイティブ — --words narration.words.json で取得 |
| 2 | ElevenLabs | $ELEVENLABS_API_KEY が設定されている | いいえ — 後で transcribe をチェーン |
| 3 | Kokoro-82M(ローカル、54音声) | 常に(キー不要) | いいえ — 後で transcribe をチェーン |
インストールされている
hyperframes ttsがローカルのみのビルド(--helpに「Kokoro-82M」と表示され、--provider/--wordsフラグがない)の場合、$HEYGEN_API_KEYが設定されていても、静かにKokoroにフォールバックします。CLIバージョンに関係なくHeyGenを強制するには、自己完結型のscripts/heygen-tts.mjsを使用してください(references/tts.md参照)。
BGM — npx hyperframes bgm --duration N:
| 順位 | プロバイダ | 検出条件 |
|---|---|---|
| 1 | Google Lyria(RealTime) | $GEMINI_API_KEY または $GOOGLE_API_KEY が設定 |
| 2 | MusicGen(facebook/musicgen-small、ローカル) | Python transformers + torch + soundfile がインストール済み |
どちらも --provider <name> で上書き可能です。
ルーティング
| タスク | 参照先 |
|---|---|
npx hyperframes tts — プロバイダチェーン、音声ID、words.json | references/tts.md |
| CLIなしのHeyGen — 自己完結型RESTスクリプト(wav + words) | scripts/heygen-tts.mjs(references/tts.md参照) |
npx hyperframes bgm — Lyria vs MusicGen、ムードプロンプト、チューニング | references/bgm.md |
npx hyperframes transcribe — Whisper、モデルルール、出力形状 | references/transcribe.md |
npx hyperframes remove-background — 透明切り抜き | references/remove-background.md |
| TTS → 文字起こし → キャプション(録音されたナレーションなし) | references/tts-to-captions.md |
| キャプション作成 — スタイル検出、レイアウト、単語グループ化、終了 | references/captions/authoring.md |
| トランスクリプト処理 — 入力形式、品質ゲート、クリーンアップ、API | references/captions/transcript-handling.md |
| キャプションモーション — カラオケ、マーカーエフェクト、音声反応 | references/captions/motion.md |
| モデルキャッシュ、システム依存関係、トラブルシューティング | references/requirements.md |
非妥協ルール
- 音声IDはプロバイダ固有です。
am_michaelはKokoro専用。HeyGenのUUIDはKokoroでは動作しません。--voiceを渡す場合は、ユーザーの環境が変わったときの静かなプロバイダ変動を避けるために、必ず--providerも指定してください。 transcribeには必ず--modelを渡してください。 CLIのデフォルトsmall.enは非英語音声を静かに翻訳します。references/transcribe.md→ 「言語ルール」を参照。- HeyGenは単語タイムスタンプを返しますが、ElevenLabs / Kokoroは返しません。 キャプションが必要な場合は、HeyGenに
--wordsを渡してそのJSONを直接使うか、オーディオファイルに対してtranscribeを実行してください。単語データが常にあるとは想定しないでください。 - キャプションは
{ id, text, start, end }形式のフラットな単語配列を使用します。references/transcribe.md→ 「出力形状」を参照。 remove-background --background-outputは穴を開ける処理であり、インペインティングではありません。 「人物のいないシーン」が必要な場合は、別のツールが必要です。references/remove-background.md→ 「適切なツールではない場合」を参照。