Communitygithub.com

Aseel1600/Edit01

HyperFrames コンポジション向けの音声&メディアアセットを作成します。TTS(HeyGen / ElevenLabs / Kokoro)、BGM・効果音、文字起こし、背景除去、キャプション作成を統合したエンジンを提供。

Edit01 とは?

このスキルは、HyperFrames コンポジションに必要な音声・メディアアセット(ナレーションTTS、BGM、効果音、文字起こし、キャプション、背景除去)を生成・管理するための統合オーディオエンジンです。中核となる `scripts/audio.mjs` は、単一の `audio_request.json` を受け取り、`audio_meta.json` とアセットを出力します。TTSは HeyGen(ネイティブ単語タイムスタンプ対応)、ElevenLabs、ローカル Kokoro をプロバイダチェーンで切り替え、BGM・効果音は HeyGen からの取得(デフォルト)か、資格情報がない場合はローカルの Lyria/MusicGen による生成やバンドルされた21ファイルの SFX ライブラリにフォールバックします。文字起こしは Whisper、背景除去、キャプション作成(カラオケ・単語単位のスタイリング含む)もサポート。事前チェックとして `npx hyperframes auth status` でサインイン状態を確認し、資格情報がない場合もユーザーに選択を促します。各機能の詳細は `references/` 以下のドキュメントで管理。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Aseel1600/Edit01/tree/HEAD/.agents/skills/hyperframes-media

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

HyperFrames Media

コンポジションに必要な音声・メディアアセット(ナレーション(TTS)、BGM+効果音、文字起こし、キャプション、背景除去)を作成し、そのデータをHTMLで利用・アニメーション化します。アセットをコンポジションに配置するには hyperframes-core を参照してください。

オーディオエンジン — TTS・BGM・SFX の単一ソース

ワークフローは音声を手作業で生成したり、ベンダーのコピーを個別に持ちません。scripts/audio.mjs という単一のエンジンが存在し、中立的な audio_request.json を受け取り、audio_meta.json(と assets/voice|bgm|sfx 配下のアセット)を出力します。

# <MEDIA_DIR> = このスキルのディレクトリ
node <MEDIA_DIR>/scripts/audio.mjs --request ./audio_request.json --hyperframes . --out ./audio_meta.json

3つの機能はすべて、1つのスイッチ(HeyGen 資格情報の有無)で動作が変わります。資格情報は $HEYGEN_API_KEY / $HYPERFRAMES_API_KEY / ~/.heygen から解決され、CLIからは設定しません:

機能HeyGen 資格情報ありなし
TTSHeyGen Starfish REST(ネイティブ単語タイムスタンプ)→ ElevenLabs → Kokoro(transcribe を連鎖して単語タイムスタンプを取得)
BGMHeyGen 音楽検索Lyria → MusicGen ローカル生成(デタッチ)
SFXHeyGen 効果音検索(min_score 0.4)バンドルされた21ファイルのライブラリ(assets/sfx/)
  • リクエスト(audio_request.json): { provider?, lang?, speed?, lines: [{ id, text, sfx?: [names] }], bgm: { mode?, query?, prompt? } }。id は各行を呼び出し元のモデル(フレーム番号、シーンIDなど)に紐付けます。bgm.mode = retrieve | generate | none。省略時は自動(資格情報ありなら検索、なしなら生成)。明示的な retrieve は厳密で、デタッチ生成を開始せずにスキップします(wait-bgm ステップがない場合)。
  • 出力(audio_meta.json、id キー): { tts_provider, voice_id, bgm, bgm_pending, …, voices: [{ id, path, duration_s, words }], sfx: [{ id, name, file, source, offset_s, duration_s, volume }], total_duration_s }。
  • --only tts,bgm,sfx でサブセットを実行し、既存の --out にマージします(例:TTS+BGM を先に、SFX はキューができてから)。
  • BGM 生成はデタッチで起動されます(bgm_pending: true)。組み立て前に scripts/wait-bgm.mjs を実行してください。
  • scripts/heygen-tts.mjs は同じコードの単発CLIです(1テキスト→wav+単語タイムスタンプ)。リクエストファイルなしで HeyGen TTS だけ必要な場合に使用します。

完全なフラグ一覧と audio_meta.json のスキーマは scripts/audio.mjs のヘッダーコメントに記載されています。以下の参照は各機能のプロバイダ詳細とエッジケースをカバーします。

事前チェック — 音声生成前にサインイン状態を表示

ボイスやBGMを生成する前に、フルワークフロー内でも1回限りの「BGM/ナレーションを生成して」リクエストでも、必ずこれを実行してください。 HeyGen 資格情報がないことはローカルエンジンに黙ってフォールバックする理由にはなりません。まずサインインを推奨し、ユーザーに判断を委ねてください。共有の事前チェックを実行し、その出力をそのまま中継してください — 独自の「キーが見つかりません」プロンプトを作ったり、リポジトリごとの .env にキーを書き込む提案をしてはいけません:

npx hyperframes auth status
  • サインイン済み → アカウント情報が表示されます。続行してください。
  • 未サインイン(exit 1 は想定内 — 「サインインしていない」は通常の状態であり、失敗ではありません)→ 登録を優先するガイダンスが表示されます。サインインを推奨: npx hyperframes auth login はブラウザOAuthです — サインインしてアカウントを作成します(このリポジトリのCLIを通じて常に利用可能)。既存の HeyGen API キー(app.heygen.com/settings/api から)を使用するには、npx hyperframes auth login --api-key を実行します — 共有の ~/.heygen に保存されます(リポジトリごとの .env はありません)。出力には、ボイス/BGM がフォールバックするローカルエンジンと、依存関係がない場合の pip ヒントも一覧表示されます。この出力をそのまま中継してください — 自分の言葉で言い換えないでください。 その後、停止してユーザーが選択するのを待ってください — サインインするか、「go」または「local」と言ってオフラインで続行するか — 何かを生成する前に。 これは通過的な注意事項ではなく、実際の判断ポイントです。別の質問に折りたたんだり、自分で先に進んだりしないでください。(例外: 自律的/非対話モードでは、ステータスを記録してオフラインで続行します。)
  • npx hyperframes auth status --json は { configured, recommended_action, offline_engines } を返し、決定論的な分岐に使用します。
  • CLIが実行できない場合(PATH上にない、npx が取得できない)→ それでもサインインを推奨し(npx hyperframes auth login)、ユーザーの選択を待つために停止してください — 「資格情報なし」をローカル生成の無言の許可として扱わないでください。

資格情報の解決、完全なキーの優先順位、ローカル依存関係リストは references/requirements.md にあります。

プロバイダチェーン(エンジンの詳細)

TTS — 利用可能な最初のプロバイダが使用されます(エンジン、または npx hyperframes tts "..." の場合):

順序プロバイダ検出条件単語タイムスタンプ
1HeyGen(Starfish)$HEYGEN_API_KEY / hyperframes auth loginあり、ネイティブ — --words narration.words.json を渡して取得
2ElevenLabs$ELEVENLABS_API_KEY が設定されているなし — 後で transcribe を連鎖
3Kokoro-82M(ローカル、54ボイス)常に(キー不要)なし — 後で transcribe を連鎖

公開されている hyperframes tts CLI は、多くの場合ローカル専用ビルドです(--help に「Kokoro-82M」と表示され、--provider/--words なし)。そのため、エンジンの HeyGen パスには自己完結型の scripts/heygen-tts.mjs(REST)を使用し、CLIは使用しません。CLIは Kokoro パスにのみ使用されます。詳細は references/tts.md を参照してください。

BGM & SFX — デフォルトでは HeyGen オーディオライブラリ(/v3/audio/sounds)から検索されます。資格情報は HeyGen TTS と同じで、資格情報がない場合のフォールバックは上記のスイッチによります:

アセットHeyGen type出力先フォールバック(資格情報なし)
BGMmusicassets/bgm/track.mp3(検索)・track.wav(生成)Lyria / MusicGen 生成
SFXsound_effects(min_score 0.4)assets/sfx/<slug>.mp3バンドルされた21ファイルのライブラリ(assets/sfx/* + manifest.json)

詳細は references/bgm.md と references/sfx.md を参照してください。

ルーティング

タスク参照先
オーディオエンジン — リクエスト/メタスキーマ、--only、スイッチscripts/audio.mjs(ヘッダーコメント)
npx hyperframes tts / heygen-tts.mjs — プロバイダ、ボイス、単語references/tts.md
BGM — HeyGen 検索 + ローカル Lyria / MusicGen 生成references/bgm.md
SFX — HeyGen 検索(min_score 0.4)+ バンドルされたローカルライブラリreferences/sfx.md
npx hyperframes transcribe — Whisper、モデルルール、出力形式references/transcribe.md
npx hyperframes remove-background — 透明な切り抜きreferences/remove-background.md
TTS → 文字起こし → キャプション(録音されたナレーションなし)references/tts-to-captions.md
キャプション作成 — スタイル検出、レイアウト、単語グループ化、終了references/captions/authoring.md
トランスクリプト処理 — 入力形式、品質ゲート、クリーンアップ、APIreferences/captions/transcript-handling.md
キャプションモーション — カラオケ、マーカーエフェクト、音声反応references/captions/motion.md
モデルキャッシュ、システム依存関係、トラブルシューティングreferences/requirements.md

絶対ルール

  • 単一エンジン、ベンダーコピー禁止。 音声は scripts/audio.mjs(または1回限りの HeyGen TTS には heygen-tts.mjs)を使用して生成します。ワークフロー内で TTS/BGM/SFX を再実装しないでください — audio_request.json アダプターを書き、エンジンを呼び出してください。
  • 「HeyGen 利用可能」= 解決可能な資格情報であり、CLIではありません。 スイッチ全体は heygenCredential() に依存します。公開されている hyperframes tts は Kokoro 専用である可能性があり、hyperframes bgm / hyperframes sfx コマンドはまったく存在しません。
  • ボイスIDはプロバイダ固有です。 am_michael は Kokoro 専用。HeyGen の UUID は Kokoro では動作しません。--voice を渡す場合は、--provider も指定して、ユーザーの環境変更によるプロバイダの暗黙の切り替えを防いでください。
  • transcribe には常に --model を渡してください。 CLI のデフォルト small.en は非英語音声を黙って翻訳します。references/transcribe.md → 「言語ルール」を参照。
  • HeyGen は単語タイムスタンプを返します。ElevenLabs / Kokoro は返しません。 エンジンは後者の2つに対して自動的に transcribe を連鎖します。スタンドアロンでは、HeyGen に --words を渡すか、音声ファイルに対して transcribe を実行してください。
  • キャプションはフラットな単語配列形式 { id, text, start, end } を消費します。references/transcribe.md → 「出力形式」を参照。
  • remove-background --background-output は穴あけであり、インペイントではありません。 「人がいないシーン」には別のツールが必要です。references/remove-background.md → 「適切でない場合」を参照。
  • BGM/SFX のデフォルトは HeyGen 検索。資格情報がない場合のフォールバックは生成(BGM)またはバンドルライブラリ(SFX)。 /audio/sounds はテキストクエリで順位付けされます — 効果音は具体的に指定してください(dramatic sound ではなく glass shatter)。一致しない場合はスキップされ、レンダリングをブロックしません。SFX の音量はボイス+BGM の下で約0.35に設定されます。references/sfx.md / references/bgm.md を参照。
  • ワークフローのキャプションHTMLは生成された出力として扱ってください。 プリセットベースの動画の場合、再利用可能なスキンソースは .hyperframes/caption-skin.html にあり、ワークフロースクリプトが compositions/captions.html を書き込みます。スキンを修正するために生成された compositions/captions.html を編集しないでください。ワークフローの captions.mjs を通じて再構築するか、そのワークフローの明示的なオーバーライドメカニズムが存在する場合はそれを使用してください。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

Aseel1600/Edit01

Generate AI videos from text prompts using multiple provider gateways. Use when: (1) Generating videos from text descriptions, (2) Creating AI-generated video clips for content production, (3) Image-to-video generation with a reference image, (4) Choosing between video generation providers (VEO, Kling, Sora, Runway, Seedance, MiniMax, Gemini Omni). Supports gateways: HeyGen API, fal.ai API, Kling official direct API, and the Gemini API (Gemini Omni Flash).

Aseel1600/Edit01

Create AI avatar videos with precise control over avatars, voices, scripts, scenes, and backgrounds using HeyGen's v2 API. Use when: (1) Choosing a specific avatar and voice for a video, (2) Writing exact scripts for an avatar to speak, (3) Building multi-scene videos with different backgrounds per scene, (4) Creating transparent WebM videos for compositing, (5) Using talking photos as video presenters, (6) Integrating HeyGen avatars with Remotion, (7) Batch video generation with exact specs, (8) Brand-consistent production videos with precise control.

Aseel1600/Edit01

Use p5.js/canvas for local procedural character effects: particles, weather, squash/stretch, walk cycles, and environmental motion.

Aseel1600/Edit01

Review local character animation with schema checks, Playwright browser previews, frame sampling, and FFmpeg/ffprobe final output checks.

Aseel1600/Edit01

Create videos from a text prompt using HeyGen's Video Agent. Use when: (1) Creating a video from a description or idea, (2) Generating explainer, demo, or marketing videos from a prompt, (3) Making a video without specifying exact avatars, voices, or scenes, (4) Quick video prototyping or drafts, (5) One-shot prompt-to-video generation, (6) User says "make me a video" or "create a video about X".

Aseel1600/Edit01

Generate Mandarin and multilingual narration with Volcengine Doubao Speech 2.0. Use when creating Chinese voiceovers, when the user prefers Doubao/Volcengine/火山引擎/豆包 TTS, or when narration needs character-level timestamp metadata for subtitles.

Aseel1600/Edit01

Video and audio processing with FFmpeg. Use for format conversion, resizing, compression, audio extraction, and preparing assets for Remotion. Triggers include converting GIF to MP4, resizing video, extracting audio, compressing files, or any media transformation task.

Aseel1600/Edit01

Generate expressive, multilingual narration with fish.audio (S1 / S2-generation models) and reuse cloned voices via reference_id. Use when the user prefers fish.audio/Fish Audio TTS, wants a specific playground voice model, or needs high-emotion voice-clone narration.

Aseel1600/Edit01

Use when implementing Disney's 12 animation principles with Framer Motion in React applications

Aseel1600/Edit01

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). HyperFrames-native: single paused timeline, seek-safe, deterministic.

Aseel1600/Edit01

HyperFrames CLI dev loop. Use when running npx hyperframes init, add, catalog, capture, lint, validate, inspect, layout, snapshot, preview, play, render, publish, lambda, doctor, browser, info, upgrade, skills, compositions, docs, benchmark, telemetry, transcribe, tts, or remove-background, or when troubleshooting the HyperFrames build/render environment. Entry point for AWS Lambda cloud rendering (`hyperframes lambda deploy / render / progress / destroy / policies`).

Aseel1600/Edit01

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

Aseel1600/Edit01

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

Aseel1600/Edit01

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, registry discovery, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

Aseel1600/Edit01

Use when the user wants a short, design-led motion graphic where motion is the message: kinetic typography, stat or number count-up, chart/data-viz hit, logo sting, brand lockup, lower-third, callout, social overlay, animated headline/tweet/news item, motion poster, or quick captured-page highlight. Usually under 10s and up to ~30s, with no narration arc, voice-over, or live-action subject. Can render to MP4 or transparent overlay. Not for longer, multi-scene, narrated, or brand-reel pieces (use general-video), narrated website videos (website-to-video), topic explainers (faceless-explainer), product promos (product-launch-video), PR videos (pr-to-video), or captions on existing footage (embedded-captions). When unsure whether it's a quick motion-first piece or a longer / narrated treatment, see /hyperframes.

Aseel1600/Edit01

Use when the user has a music track (an audio file, or a video to pull audio from) and wants a beat-synced HyperFrames video, calm to hard-hitting. The music drives everything: one analyzer reads it once, the orchestrator lays out the frames and fills a per-frame plan, and one sub-agent builds each frame. Typography and templates are the floor — a complete video needs zero assets — but any images or videos the user supplies are cut into the frames on the same beat grid (beat-cut / ken-burns). The genre (lyric video, slideshow, kinetic promo) falls out of the per-frame choices; the pipeline never branches on it.

Aseel1600/Edit01

Best practices for Remotion - Video creation in React

Aseel1600/Edit01

Toolkit-specific Remotion patterns — custom transitions, shared components, and project conventions. For core Remotion framework knowledge (hooks, animations, rendering, etc.), see the `remotion-official` skill.

Aseel1600/Edit01

Port an existing Remotion (React) composition to HyperFrames HTML. Use ONLY when the user explicitly asks to port/convert/migrate/translate a Remotion source. Do NOT use: (a) authoring a new HyperFrames composition; (b) Remotion mentioned in passing; (c) Remotion code shared as reference only; (d) "same video as my Remotion one" without explicit migrate request — treat as fresh build. Doubt → `/general-video`. One-way, Remotion-only: no reverse export (HyperFrames→Remotion or any framework), no non-Remotion source (After Effects, Framer Motion, plain React/CSS) → out of scope, re-create via `/general-video`. Flags unsupported patterns (useState, useEffect, async calculateMetadata, third-party React libs, `@remotion/lambda`) and recommends runtime interop over lossy translation. Unsure whether to port vs. build fresh, or only a passing Remotion mention? → /hyperframes.

Aseel1600/Edit01

Animate SVG character rigs with GSAP, CSS transforms, Remotion frame control, and HyperFrames-compatible browser previews.

関連スキル