Communitygithub.com

Army161/OpenMontage

HyperFramesコンポジション向けのオーディオおよびメディアアセットを作成するスキルです。共有オーディオエンジン(`scripts/audio.mjs`)を使用し、マルチプロバイダーTTS(HeyGen / ElevenLabs / Kokoroローカル)、背景音楽+効果音(デフォルトではHeyGenオーディオライブラリから取得、認証情報がない場合はローカルのLyria / MusicGenによるBGM生成とバンドルSFXライブラリにフォールバック)、Whisper文字起こし、背景除去、キャプション作成を提供します。ナレーション/TTS、BGM、SFX/効果音、文字起こし、キャプション/字幕/歌詞/カラオケ/単語ごとのスタイリング、音声およびプロバイダー選択、音楽ムードのプロンプトに使用します。

OpenMontage とは?

Army161/OpenMontageは、HyperFramesコンポジション向けのメディアアセット作成を一元管理するAIエージェントスキルです。このスキルの中核は`scripts/audio.mjs`という単一のオーディオエンジンで、TTS(テキスト読み上げ)、BGM(背景音楽)、SFX(効果音)の生成を統一的に処理します。HeyGen APIキーが利用可能な場合は、商用品質のTTS(単語レベルのタイムスタンプ付き)やBGM/SFXの検索を使用し、認証情報がない場合でもElevenLabsやローカルKokoro-82MモデルによるTTS、Lyria/MusicGenによるBGM生成、バンドルされたSFXライブラリに自動的にフォールバックするため、開発環境に関わらず一貫したワークフローを維持できます。特に、認証状態の事前確認(`npx hyperframes auth status`)を必須とし、開発者の選択を尊重する設計が特徴的です。Claude Code、Coderなどのプラットフォームで利用可能で、スキルの詳細なリファレンス(TTS、BGM、SFX、文字起こし、キャプション作成、背景除去など)が`references/`ディレクトリに整理されており、単一エンジンへの依存と非妥協ルール(例:音声IDはプロバイダー固有、文字起こしには必ずモデル指定が必要)が徹底されています。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Army161/OpenMontage/tree/HEAD/.agents/skills/hyperframes-media

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

HyperFrames Media

コンポジションに必要なオーディオおよびメディアアセット(ナレーション(TTS)、背景音楽+効果音、文字起こし、キャプション、背景除去)を作成し、そのデータをHTMLで利用・アニメーション化します。アセットをコンポジションに配置するには、hyperframes-coreを参照してください。

オーディオエンジン — TTS · BGM · SFX の単一ソース

ワークフローはオーディオを手動で作成したり、ベンダーコピーを使ったりしません。scripts/audio.mjs という単一のエンジンが、ニュートラルな audio_request.json を受け取り、audio_meta.json(および assets/voice|bgm|sfx 配下のアセット)を書き出します。

# <MEDIA_DIR> = このスキルのディレクトリ
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

3つの機能はすべて、1つのスイッチ(HeyGenの認証情報の有無)で動作が変わります。認証情報は $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen から解決されます(CLIからではありません)。

機能HeyGen認証情報あり認証情報なし
TTSHeyGen Starfish REST(ネイティブ単語タイムスタンプ)→ ElevenLabs → Kokoro(単語取得のために transcribe を連鎖)
BGMHeyGen音楽検索Lyria → MusicGenローカル生成(デタッチド)
SFXHeyGen効果音検索(min_score 0.4)バンドル21ファイルライブラリ(assets/sfx/)
  • リクエスト(audio_request.json):{ provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }。id は各行を呼び出し元のモデル(フレーム番号、シーンIDなど)に結び付けます。bgm.mode = retrieve | generate | none。省略すると自動判定(認証情報ありの場合は検索、それ以外は生成)。明示的な retrieve は厳格で、デタッチド生成を開始せずにスキップします(wait-bgm ステップがない呼び出し元向け)。
  • 出力(audio_meta.json、IDキー付き):{ tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }。
  • --only tts,bgm,sfx でサブセットを実行し、既存の --out にマージします(例:TTS+BGMを先に、SFXはキューができてから)。
  • BGM生成はデタッチドで起動されます(bgm_pending: true)。アセンブル前に scripts/wait-bgm.mjs を実行してください。
  • scripts/heygen-tts.mjs は同じコードの単発CLI(1テキスト→wav + words)で、リクエストファイルなしでHeyGen TTSだけが必要な場合に使用します。

完全なフラグリストと audio_meta.json スキーマは scripts/audio.mjs のヘッダーコメントにあります。以下の参照は、各機能のプロバイダーの詳細とエッジケースをカバーしています。

事前チェック — オーディオ生成前にサインイン状況を表示

音声やBGMを生成する前に、必ずこれを実行してください。完全なワークフロー内でも、単発の「BGM/ナレーションを生成して」というリクエストでも同様です。 HeyGen認証情報がないことは、サイレントにローカルエンジンにフォールバックする理由にはなりません。まずサインインを推奨し、ユーザーに判断を委ねてください。共有の事前チェックを実行し、その出力をそのまま中継してください。独自の「キーが見つかりません」プロンプトをでっち上げたり、リポジトリごとの .env にキーを書き込む提案をしたりしないでください。

npx hyperframes auth status
  • サインイン済み → アカウント情報が表示されます。処理を続行します。
  • 未サインイン(exit 1 は想定内です。「未サインイン」は正常な状態であり、失敗ではありません)→ 登録手順を案内するメッセージが表示されます。サインインを推奨します:npx hyperframes auth login はブラウザOAuthです。サインインしてアカウントを作成します(このリポジトリのCLIを通じて常に利用可能)。既存のHeyGen APIキー(app.heygen.com/settings/api から)を使用するには、npx hyperframes auth login --api-key を実行してください。共有の ~/.heygen に保存されます(リポジトリごとの .env は使用しません)。出力には、ローカルエンジンの音声/BGMがフォールバックする先と、依存関係が不足している場合の pip ヒントも含まれます。この出力をそのまま中継し、独自の言葉で言い換えないでください。 その後、STOPしてユーザーが選択するのを待ちます(サインインするか、「go」/「local」と言ってオフラインで続行するか)。何かを生成する前にこの判断を待ちます。これは通過的な注意事項ではなく、実際の意思決定ポイントです。他の質問に折りたたんだり、自分で先に進んだりしないでください。(例外:自律型/非対話モードでは、ステータスを記録してオフラインで続行します。)
  • npx hyperframes auth status --json は { configured, recommended_action, offline_engines } を返し、決定論的な分岐を可能にします。
  • CLIが実行できない場合(PATHにない、npx が取得できない)→ それでもサインインを推奨し(npx hyperframes auth login)、ユーザーの選択のためにSTOPしてください。「認証情報なし」をローカル生成の暗黙の許可として扱わないでください。

認証情報の解決、完全なキーの優先順位、およびローカル依存関係リストについては、references/requirements.md を参照してください。

プロバイダーチェーン(エンジンの背後にある詳細)

TTS — 利用可能な最初のプロバイダーが優先されます(エンジン、または npx hyperframes tts "..."):

順序プロバイダー検出条件単語タイムスタンプ
1HeyGen(Starfish)$HEYGEN_API_KEY / hyperframes auth loginはい、ネイティブ — --words narration.words.json を渡して取得
2ElevenLabs$ELEVENLABS_API_KEY が設定されているいいえ — 後で transcribe を連鎖します
3Kokoro-82M(ローカル、54音声)常に(キー不要)いいえ — 後で transcribe を連鎖します

公開されている hyperframes tts CLIは多くの場合ローカルのみのビルドです(--help に「Kokoro-82M」と表示され、--provider/--words がありません)。そのため、エンジンのHeyGenパスは scripts/heygen-tts.mjs(REST)であり、CLIではありません。CLIはKokoroパスでのみ使用されます。詳細は references/tts.md を参照してください。

BGM & SFX — デフォルトではHeyGenオーディオライブラリ(/v3/audio/sounds)から検索されます。認証情報はHeyGen TTSと同じで、認証情報がない場合は上記のスイッチに従ってフォールバックします。

アセットHeyGen type出力先フォールバック(認証情報なし)
BGMmusicassets/bgm/track.mp3(検索) · track.wav(生成)Lyria / MusicGen生成
SFXsound_effects(min_score 0.4)assets/sfx/<slug>.mp3バンドル21ファイルライブラリ(assets/sfx/* + manifest.json)

references/bgm.md および references/sfx.md を参照してください。

ルーティング

タスク参照箇所
オーディオエンジン — リクエスト/メタスキーマ、--only、スイッチscripts/audio.mjs(ヘッダーコメント)
npx hyperframes tts / heygen-tts.mjs — プロバイダー、音声、単語references/tts.md
BGM — HeyGen検索 + ローカルLyria/MusicGen生成references/bgm.md
SFX — HeyGen検索(min_score 0.4)+ バンドルローカルライブラリreferences/sfx.md
npx hyperframes transcribe — Whisper、モデルルール、出力形式references/transcribe.md
npx hyperframes remove-background — 透過切り抜きreferences/remove-background.md
TTS → 文字起こし → キャプション(録音ナレーションなし)references/tts-to-captions.md
キャプション作成 — スタイル検出、レイアウト、単語グループ化、終了references/captions/authoring.md
トランスクリプト処理 — 入力形式、品質ゲート、クリーンアップ、APIreferences/captions/transcript-handling.md
キャプションモーション — カラオケ、マーカーエフェクト、音声連動references/captions/motion.md
モデルキャッシュ、システム依存関係、トラブルシューティングreferences/requirements.md

非妥協ルール

  • 単一エンジン、ベンダーコピーなし。 scripts/audio.mjs(または単発のHeyGen TTSには heygen-tts.mjs)を介してオーディオを生成します。ワークフロー内でTTS/BGM/SFXを再実装しないでください。audio_request.json アダプターを作成し、エンジンを呼び出してください。
  • 「HeyGen利用可能」=解決可能な認証情報であり、CLIではありません。 スイッチ全体は heygenCredential() をキーにしています。公開されている hyperframes tts はKokoroのみの場合があり、hyperframes bgm / hyperframes sfx コマンドはそもそも存在しません。
  • 音声IDはプロバイダー固有です。 am_michael はKokoroのみ;HeyGenのUUIDはKokoroでは動作しません。--voice を渡す場合は、ユーザーの環境が変わったときにサイレントにプロバイダーが変わらないよう、--provider も必ず指定してください。
  • transcribe には必ず --model を渡してください。 デフォルトの small.en は非英語オーディオをサイレントに翻訳します。references/transcribe.md → 「言語ルール」を参照してください。
  • HeyGenは単語タイムスタンプを返しますが、ElevenLabs / Kokoroは返しません。 エンジンは後者2つに対して自動的に transcribe を連鎖します。スタンドアロンでは、--words をHeyGenに渡すか、オーディオファイルに対して transcribe を実行してください。
  • キャプションはフラットな単語配列形式 { id, text, start, end } を消費します。references/transcribe.md → 「出力形式」を参照してください。
  • remove-background --background-output は穴を開けるものであり、インペイントではありません。 「人物のいないシーン」が必要な場合、別のツールが必要です。references/remove-background.md → 「適さないケース」を参照してください。
  • BGM/SFXはデフォルトでHeyGen検索。認証情報がない場合のフォールバックは、BGMが生成、SFXがバンドルライブラリです。 /audio/sounds はテキストクエリでランク付けされます。効果音は具体的に指定してください(glass shatter など、dramatic sound ではありません)。該当なしの場合はスキップし、レンダリングをブロックしません。SFXは音声+BGMの下、音量約0.35に配置されます。references/sfx.md / references/bgm.md を参照してください。
  • ワークフローのキャプションHTMLは生成された出力として扱ってください。 プリセットベースの動画の場合、再利用可能なスキンソースは .hyperframes/caption-skin.html にあり、ワークフロースクリプトは compositions/captions.html を書き込みます。スキンを修正するために生成された compositions/captions.html を編集しないでください。ワークフローの captions.mjs を介して再構築するか、存在する場合はそのワークフローの明示的なオーバーライドメカニズムを使用してください。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Army161/OpenMontage

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax). Supports two gateways: HeyGen API and fal.ai API.

Army161/OpenMontage

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Army161/OpenMontage

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Army161/OpenMontage

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Army161/OpenMontage

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Army161/OpenMontage

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Army161/OpenMontage

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Army161/OpenMontage

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Army161/OpenMontage

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Army161/OpenMontage

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Army161/OpenMontage

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Army161/OpenMontage

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Army161/OpenMontage

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Army161/OpenMontage

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Army161/OpenMontage

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Army161/OpenMontage

Best practices for Remotion - Video creation in React

Army161/OpenMontage

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Army161/OpenMontage

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Army161/OpenMontage

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

Army161/OpenMontage

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

関連スキル