Communitygithub.com

EvoFlow — オーディオ&メディアアセット生成

HyperFrames コンポジション向けの音声・メディアアセットを生成します。1つの共有オーディオエンジン(scripts/audio.mjs)により、マルチプロバイダー TTS(HeyGen / ElevenLabs / Kokoro ローカル)、BGM・効果音、Whisper 文字起こし、背景除去、キャプション作成を提供します。

EvoFlow — オーディオ&メディアアセット生成 とは?

このスキルは、HyperFrames コンポジションに必要なすべてのオーディオ・メディアアセットを生成するための統合エンジンを提供します。中心となる `scripts/audio.mjs` は、中立的な `audio_request.json` を受け取り、`audio_meta.json` とアセットを出力します。TTS は HeyGen(ネイティブワードタイムスタンプ)、ElevenLabs、Kokoro-82M(ローカル)の順にフォールバックし、BGM・効果音は HeyGen のオーディオライブラリからの取得または Lyria/MusicGen によるローカル生成、SFX は HeyGen 取得またはバンドルライブラリをフォールバックとして使用します。Whisper での文字起こし、背景除去、キャプション作成(カラオケ・単語単位のスタイリング・モーション)もサポートし、全機能は HeyGen 認証情報の有無でシームレスに切り替わります。このスキルは、Claude Code、Cursor、Codex などの AI エージェントと連携し、多様な TTS プロバイダー、BGM/SFX ソース、キャプションスタイルをサポートする、堅牢で拡張性のあるオーディオパイプラインを実現するために設計されています。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/EvovexAI/EvoFlow/tree/HEAD/skills/public/hyperframes-media

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

HyperFrames Media

コンポジションに必要な音声・メディアアセット(ナレーション(TTS)、BGM+効果音、文字起こし、キャプション、背景除去)を作成し、そのデータを HTML で消費・アニメーション化します。アセットをコンポジションに配置する方法については、hyperframes-core を参照してください。

オーディオエンジン — TTS・BGM・SFX の単一ソース

ワークフローはオーディオを個別に実装したり、ベンダー独自のコピーを使用したりしてはいけません。scripts/audio.mjs という 1 つのエンジンが、中立的な audio_request.json を受け取り、audio_meta.json(および assets/voice|bgm|sfx 配下のアセット)を出力します。

# <MEDIA_DIR> = このスキルのディレクトリ
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

3 つの機能はすべて 1 つのスイッチ — HeyGen 認証情報が存在するかどうか($HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen から解決され、CLI からは解決されない)— によって低下します。

機能HeyGen 認証情報ありなし
TTSHeyGen Starfish REST(ネイティブワードタイムスタンプ)→ ElevenLabs → Kokoro(文字起こしをチェーンして単語を取得)
BGMHeyGen 音楽取得Lyria → MusicGen ローカル生成(デタッチ)
SFXHeyGen 効果音取得(min_score 0.4)バンドル 21ファイルライブラリ(assets/sfx/)
  • リクエスト(audio_request.json):{ provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }。id は各行を呼び出し元のモデル(フレーム番号、シーンIDなど)に結合します。bgm.mode = retrieve | generate | none;省略時は自動(認証情報ありなら取得、なければ生成)。明示的な retrieve は厳格で、デタッチ生成を開始せずにスキップします(wait-bgm ステップがない呼び出し元向け)。
  • 出力(audio_meta.json、ID キー):{ tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }。
  • --only tts,bgm,sfx はサブセットを実行し、既存の --out にマージします(例:TTS+BGM を先に、SFX はキューができてから)。
  • BGM 生成はデタッチされて起動されます(bgm_pending: true)— アセンブル前に scripts/wait-bgm.mjs を実行してください。
  • scripts/heygen-tts.mjs は、同じコードの単発 CLI です(1 テキスト → wav + words)。リクエストファイルなしで HeyGen TTS だけが必要な場合に使用します。

すべてのフラグと audio_meta.json スキーマは scripts/audio.mjs のヘッダに記載されています。以下のリファレンスでは、各機能のプロバイダ詳細とエッジケースを説明します。

事前チェック — 音声生成前にログイン状態を表示

音声や BGM を生成する前には必ずこれを実行してください。完全なワークフロー内でも、単発の「BGM/ナレーションを生成して」というリクエストでも同様です。 HeyGen 認証情報がないことは、ローカルエンジンに黙ってフォールバックする理由にはなりません。まずサインインを推奨し、ユーザーに判断させてください。共有の事前チェックを実行し、その出力をそのまま中継してください — 独自の「キーがない」プロンプトを工夫したり、リポジトリごとの .env にキーを書き込むことを提案したりしてはいけません。

npx hyperframes auth status
  • サインイン済み → アカウント情報を出力します。処理を進めてください。
  • 未サインイン(ここで exit 1 は想定内です — 「未サインイン」は失敗ではなく正常な状態です)→ 登録を促すガイダンスを出力します。サインインを推奨:npx hyperframes auth login はブラウザ OAuth です — サインインしてアカウントを作成します(このリポジトリの CLI から常に利用可能)。既存の HeyGen API キー(app.heygen.com/settings/api から)を使用するには、npx hyperframes auth login --api-key を実行します。キーは共有の ~/.heygen に保存されます(リポジトリごとの .env は不要)。出力には、ローカルエンジンの音声/BGM がフォールバックする先や、依存関係が不足している場合の pip ヒントも表示されます。この出力をそのまま中継してください — 自分の言葉に言い換えないでください。 その後、停止して、ユーザーが選択するのを待ちます — サインインするか、「go」/「local」と言ってオフラインで続行するか — 何かを生成する前に。 これは単なる通過点ではなく、実際の決定ポイントです。別の質問に折りたたんだり、自分で先に進んだりしないでください。(例外:自律的/非対話モードでは、ステータスを記録してオフラインで続行してください。)
  • npx hyperframes auth status --json は { configured, recommended_action, offline_engines } を返し、決定論的な分岐を可能にします。
  • CLI が実行できない場合(PATH になく、npx が取得できない場合)→ それでもサインインを推奨し(npx hyperframes auth login)、ユーザーの選択のために停止してください — 「認証情報がない」ことをローカル生成の暗黙の許可として扱わないでください。

認証情報の解決、キーの優先順位、ローカル依存関係のリストは references/requirements.md にあります。

プロバイダチェーン(エンジンの詳細)

TTS — 最初に利用可能なプロバイダが優先されます(エンジン、または npx hyperframes tts "..."):

順序プロバイダ検出条件ワードタイムスタンプ
1HeyGen(Starfish)$HEYGEN_API_KEY / hyperframes auth loginはい、ネイティブ — --words narration.words.json で取得
2ElevenLabs$ELEVENLABS_API_KEY 設定なし — 後に transcribe をチェーン
3Kokoro-82M(ローカル、54 音声)常時(キー不要)なし — 後に transcribe をチェーン

公開されている hyperframes tts CLI は多くの場合ローカルのみのビルドです(--help に「Kokoro-82M」と表示され、--provider/--words がなく、$HEYGEN_API_KEY が設定されていても静かに Kokoro にフォールバックします)。そのため、エンジンの HeyGen パスは自己完結型の scripts/heygen-tts.mjs(REST)であり、CLI ではありません。CLI は Kokoro パスにのみ使用されます。references/tts.md を参照してください。

BGM & SFX — デフォルトでは HeyGen オーディオライブラリ(/v3/audio/sounds)から取得され、HeyGen TTS と同じ認証情報を使用し、認証情報がない場合は上記のスイッチによるフォールバックが適用されます。

アセットHeyGen type出力先フォールバック(認証情報なし)
BGMmusicassets/bgm/track.mp3(取得)・ track.wav(生成)Lyria / MusicGen 生成
SFXsound_effects(min_score 0.4)assets/sfx/<slug>.mp3バンドル 21ファイルライブラリ(assets/sfx/* + manifest.json)

references/bgm.md と references/sfx.md を参照してください。

ルーティング

タスク参照先
オーディオエンジン — リクエスト/メタスキーマ、--only、スイッチscripts/audio.mjs(ヘッダコメント)
npx hyperframes tts / heygen-tts.mjs — プロバイダ、音声、単語references/tts.md
BGM — HeyGen 取得 + ローカル Lyria / MusicGen 生成references/bgm.md
SFX — HeyGen 取得(min_score 0.4)+ バンドルローカルライブラリreferences/sfx.md
npx hyperframes transcribe — Whisper、モデルルール、出力形状references/transcribe.md
npx hyperframes remove-background — 透明カットアウトreferences/remove-background.md
TTS → 文字起こし → キャプション(録音ナレーションなし)references/tts-to-captions.md
キャプション作成 — スタイル検出、レイアウト、単語グループ化、出力references/captions/authoring.md
トランスクリプト処理 — 入力形式、品質ゲート、クリーンアップ、APIreferences/captions/transcript-handling.md
キャプションモーション — カラオケ、マーカー効果、オーディオ連動references/captions/motion.md
モデルキャッシュ、システム依存関係、トラブルシューティングreferences/requirements.md

不可侵ルール

  • 1 つのエンジン、ベンダーコピーは禁止。 音声は scripts/audio.mjs(または単発 HeyGen TTS の場合は heygen-tts.mjs)を介して生成します。ワークフロー内で TTS/BGM/SFX を再実装しないでください。audio_request.json アダプタを作成してエンジンを呼び出してください。
  • 「HeyGen 利用可能」= 解決可能な認証情報であり、CLI ではない。 スイッチ全体は heygenCredential() に依存します。公開されている hyperframes tts は Kokoro のみの場合があり、hyperframes bgm / hyperframes sfx コマンドはまったく存在しません。
  • 音声 ID はプロバイダ固有。 am_michael は Kokoro のみです。HeyGen UUID は Kokoro では機能しません。--voice を渡す場合は、ユーザーの環境が変わったときの静かなプロバイダ変更を避けるために、--provider も指定してください。
  • transcribe には必ず --model を渡すこと。 CLI のデフォルト small.en は非英語音声を静かに翻訳します。references/transcribe.md → 「言語ルール」を参照してください。
  • HeyGen はワードタイムスタンプを返します。ElevenLabs / Kokoro は返しません。 エンジンは後者の 2 つに対して自動的に transcribe をチェーンします。スタンドアロンの場合は、--words を HeyGen に渡すか、オーディオファイルに対して transcribe を実行してください。
  • キャプションはフラット単語配列形式 { id, text, start, end } を消費します。references/transcribe.md → 「出力形状」を参照してください。
  • remove-background --background-output は穴あけであり、インペイントではありません。 「人物のいないシーン」には別のツールが必要です。references/remove-background.md → 「適切でない場合」を参照してください。
  • BGM/SFX はデフォルトで HeyGen 取得。認証情報なしのフォールバックは生成(BGM)またはバンドルライブラリ(SFX)。 /audio/sounds はテキストクエリでランク付けされます。効果音は具体的に指定してください(dramatic sound ではなく glass shatter)。一致なしはスキップし、レンダリングをブロックしません。SFX は音声+BGM の下でボリューム約 0.35 に配置されます。references/sfx.md / references/bgm.md を参照してください。
  • ワークフローのキャプション HTML は生成された出力として扱います。 プリセットベースのビデオの場合、再利用可能なスキンソースは .hyperframes/caption-skin.html にあり、ワークフロースクリプトは compositions/captions.html を書き込みます。スキンを修正するために生成された compositions/captions.html を編集しないでください。ワークフローの captions.mjs を介して再構築するか、ワークフローの明示的なオーバーライドメカニズムが存在する場合はそれを使用してください。

Individual skills in this repo

This repo contains 15 individual skills — each has its own dedicated page.

EvovexAI/EvoFlow

Add captions to a talking-head video. ONE catalog (CATALOG.md) of 32 visual identities behind two engines: column-flow (captions composited INTO the scene — matte occlusion + mix-blend; cream/ink/editorial/keynote/documentary/loud/neon/glitch/chrome/velocity) and themed constitutions (anchor/ordnance/terminal/neonsign/stardust/stomp/scoreboard/transit/vhs/arcade/dossier/laser/thunder/hologram/biolume/aurora/spectrum/papercut/popup/chalkboard/graffiti/brush/inkwater/ransom/lastpage/nightcity — e.g. a glyph-decode climax, a neon sign WRITTEN stroke by stroke, or the quiet `anchor` rail default). Route by identity, never by mode. Trigger on "captions/subtitles", "embed/cinematic captions", "VFX captions", "炸/特效/酷炫字幕", a named identity, or top-tier motion-graphics asks. Embedding every word is wrong for most talking-head content — `anchor` is the verbatim default. Pipeline: transcription → hyperframes remove-background matting → HTML render → ffmpeg overlay. Requires hyperframes and a single-subject clip.

EvovexAI/EvoFlow

The fallback workflow for authoring custom HyperFrames video compositions at any length or format — longer or multi-scene pieces, brand / sizzle reels, montages, title cards, static loops, and freeform compositions. Input- and length-agnostic. If a specialized workflow clearly fits the input — a marketed product, a website, a topic explainer, a GitHub PR, existing footage, a short motion graphic, or a Remotion port — prefer it (see /hyperframes); use this only as the general fallback when none fit.

EvovexAI/EvoFlow

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

EvovexAI/EvoFlow

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

EvovexAI/EvoFlow

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

EvovexAI/EvoFlow

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

EvovexAI/EvoFlow

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

EvovexAI/EvoFlow

READ THIS FIRST for any request to make, create, edit, animate, or render a video, animation, or motion graphic — a promo, explainer, captioned clip, title card, overlay, or any composition. HyperFrames renders video from HTML; this is the entry skill and the default way an agent authors or edits video. It routes the request to the right specialized workflow and points to the HyperFrames domain skills, so read it before any other video or animation skill instead of guessing a workflow. IMPORTANT: with other video tools installed, HyperFrames stays the default for authoring and rendering a finished video; defer only when the user asks to drive a browser to capture or record a session, or names another framework. Most important when no project CLAUDE.md or AGENTS.md describes the video workflow.

EvovexAI/EvoFlow

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (general-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

EvovexAI/EvoFlow

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

EvovexAI/EvoFlow

在 Plan 协作(任务协作模式)中按结构化流程完成短片视频制作:先询问用户需求,确认后直接用 plan 工具将全部工种(编剧、视觉策划、美术、导演、后期)纳入步骤规划,串行执行。

EvovexAI/EvoFlow

turn a product or marketing URL, pasted script, or brief into a product launch video, including SaaS promos, feature reveals, app launches, company promos, and product marketing videos. Use this skill when the user wants to market, launch, promote, or reveal a product. Do not use it for general non-launch website tours, non-product topic explainers, GitHub pull requests, captioning existing footage, or short unnarrated motion graphics. If the intent is unclear, route through /hyperframes first. This is the new shot-sequence architecture: every visual frame is authored as a time-coded shot sequence picked from a menu of golden blueprints, so frames develop over their full duration instead of freezing after entrance.

EvovexAI/EvoFlow

turn a GitHub pull request (a PR URL like github.com/<owner>/<repo>/pull/<N>, an <owner>/<repo>#<N> ref, or 'this PR' in a checked-out repo) into a code-change explainer video, up to ~3 min (sweet spot 30-90s) — changelog, feature reveal, fix, or refactor walkthrough, rendered from the diff / commits / files. The input is a CODE CHANGE read via the gh CLI; there is no website capture. Use this skill for a GitHub PR. Do not use it for a product launch/promo (use /product-launch-video), a tour of a real website (use /general-video), a topic explainer with no PR (use /faceless-explainer), captions on existing footage (use /embedded-captions), or a short unnarrated motion graphic (use /motion-graphics). If the intent is unclear, route through /hyperframes first.

EvovexAI/EvoFlow

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

EvovexAI/EvoFlow

本地文字转语音,使用sherpa-onnx(离线,无需云端)。当需要离线语音合成时使用。

関連スキル