Communitygithub.com

sandeshrajbhandari/hyperframes-instruct

HyperFrames コンポジション内のオーディオミキシング(フェードイン/アウト、クロスフェード、トラックゲイン、ボリュームオートメーション、ダッキング、ボイスオーバーカーブ、EQ/コンプレッサー/リミッター/リバーブなどのエフェクトチェーン、サブミックスバス)を指示します。オーディオのソーシングや生成には使用しません。

hyperframes-instruct とは?

このスキルは、HyperFrames コンポジション内に既に配置されたオーディオをミキシングするための完全なツールセットを提供します。これは、個々のエフェクトプロセッサのスタックではなく、トラック間の関係(例:フェード、クロスフェード、トラックゲイン、ボリューム、オートメーション、ダッキング、ボイスオーバーカーブ)を定義することに重点を置いています。また、EQ、コンプレッサー、リミッター、ゲート、サチュレーション、ディレイ、リバーブ、コーラス、フェイザー、ビットクラッシュを含む包括的なエフェクトチェーン(`data-fx-chain`)をサポートしています。さらに、`<hf-audio-group>` 要素を使用して複数のトラックを一度に処理するサブミックスバスもサポートしています。このスキルは、ボイスオーバーが音楽の存在感を損なうことなく明瞭に聞こえるようにする、洗練されたボイスオーバーカーブ機能を備えています。これは、オーディオソーシング(`/media-use`)やクリップタイミング/トラックレイアウト(`/hyperframes-core`)には使用しないでください。プレビューとレンダリングは同一のWeb Audioグラフを使用するため、「調整して確認する」サイクルが不要になります。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/sandeshrajbhandari/hyperframes-instruct/tree/HEAD/.agents/skills/hyperframes-audio

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

プラグインのインストール: セットアップまたはフレッシュネスコマンドの前に、このスキルがHyperFramesプラグイン内にある場合は、プラグイン実行ルールに従ってください。スタンドアロンインストールの場合は、以下の更新手順を維持してください。

HyperFrames オーディオ

ミックスとは、プロセッサのスタックではなく、一連の関係性です。個々では問題なく聞こえる2つのトラックでも、一緒にすると聞くに堪えなくなることがあり、その修正は「どちらかを小さくする」ことではほとんどありません。それは、何を巡って争っているのかを見つけ出し、それを必要とする方に与えることです。ここにあるすべてのツールは、それらの関係性の1つを表現するために存在します。

エフェクトは data-fx-chain として要素に存在し、プレビューとレンダリングは同じWeb Audioグラフを実行します。ライブコンテキストではスタジオ、それが既に駆動しているブラウザ内のオフラインコンテキストではエンジンとして動作します。各エフェクトの実装は1つであるため、スクラブ中に聞こえるものが書き込まれるものです。二度調整する必要はありません。

クリップタイミングは /hyperframes-core の管轄です。オーディオ/ビデオのトリムとソース範囲は data-start、data-duration、data-media-start を使用し、クロスフェードは異なるトラック上のクリップをオーバーラップさせます。このスキルは、配置されたトラックのフェードイン/フェードアウト、クロスフェードエンベロープ、トラックゲイン/トラックボリューム、ボリュームおよびエフェクトオートメーション、ダッキング/ボイスオーバーカーブ、エフェクトチェーンを担当します。/media-use はソーシング、生成、プリプロセッシングを担当します。

定数 data-playback-rate(0.1..10)は、一致するオーディオ/ビデオ要素が同じタイミング、ソースオフセット、レートを使用する場合、画像とピッチ保持音声に対してレンダリングセーフです。スピードランプは data-automation 内の rate レーンです(docs/reference/speed-ramps 参照)。これは定数よりも優先され、プレビューとレンダリングでピッチを保持します。HyperFrames は自動的な波形同期やドリフト補正を提供しません。コピー可能なカット/クロスフェード/リタイムレシピについては、/hyperframes-core → references/creator-editing-recipes.md を使用してください。

3つの属性がすべてを保持します。オーディオ/ビデオ要素自体、または最初の2つについては <hf-audio-group> バス(「複数トラックのための1つのバス」を参照)上にあります。

属性保持するもの
data-fx-chainエフェクト(シグナル順)
data-automationこのトラックのボリュームまたはそのエフェクトパラメータ上のエンベロープ
data-fx-carveカーブ自体の設定(再導出可能にするため)

出荷されているエフェクトファミリーは、ゲイン、EQ(ハイパス、ローパス、ピーキング、シェルフ)、コンプレッサー、リミッター、ゲート、サチュレート、ディレイ、リバーブ、コーラス、フェイザー、ビットクラッシュです。

それぞれの正確なJSON、およびレーンが満たさなければならないルール:references/attributes.md。 パラメータ、範囲、単位を含むすべてのエフェクト:references/fx-registry.md。 聞こえないファイルの問題を特定する方法:references/diagnosis.md。 プリセット、名前付きジョブ、ワンノブプロファイル、症状から修正へのテーブル:references/presets.md — チェーンを手動で構築する前にこれを読んでください。なぜなら、通常はプリセットまたは名前付きジョブのいずれかが既に問題を特定しているからです。

どのように連携するか

2つのオーサリングサーフェスがそれらの属性を書き込み、2つのランタイムが同じビルダーを通じてそれらを読み取ります。この共有された中間層こそが、プレビューがレンダリングを予測する理由です。

flowchart TB
  voice["ボーカルトラック<br/>メディアファイル"]
  bed["音楽トラック<br/>メディアファイル"]

  subgraph AUTHOR["オーサリング — 属性を書き込む唯一のもの"]
    panel["スタジオ<br/>ボイスオーバーカーブコントロール"]
    script["scripts/carve.mjs<br/>ペアを検出"]
    analysis["core/audioCarve.ts<br/>carveProfile · analyseCarveBands<br/>analyseCarveDuck · analyseCarveDynamics"]
    panel --> analysis
    script --> analysis
  end

  voice --> analysis
  bed --> analysis

  subgraph ATTRS["音楽要素に書き込まれる"]
    carveAttr["data-fx-carve<br/>sources · strength"]
    chainAttr["data-fx-chain<br/>ピーキングxN + ゲイン、fromCarveタグ付き"]
    autoAttr["data-automation<br/>彫られたパラメータごとに1レーン"]
  end

  analysis --> carveAttr
  analysis --> chainAttr
  analysis --> autoAttr

  subgraph SHARED["1つの実装、両方で読み取られる"]
    build["audioFxGraph.ts · buildFxChain"]
    sched["audioFxAutomation.ts · scheduleChainAutomation"]
  end

  chainAttr --> build
  autoAttr --> sched

  build --> preview["プレビュー<br/>ライブAudioContext<br/>attachElementFxChain"]
  sched --> preview
  build --> render["レンダリング<br/>ヘッドレスブラウザ内のOfflineAudioContext<br/>applyAudioFxChain"]
  sched --> render

  preview --> heard["スクラブ中に聞こえる内容"]
  render --> wav["処理済みWAV<br/>+ ミックスがテールを通過させるためのchainTailSeconds"]
  wav --> mix["エンジン · audioMixer<br/>ボリュームレーンはここでPCMに焼き付けられ、グラフには含まれない"]
  mix --> out["レンダリングされたミックス"]

  edit["再生中の属性編集"] -.->|MutationObserver| preview

カーブ自体の設定は再生時に読み取られることはありません。再生されるのは、それによって生成されたチェーンとレーンです。data-fx-carve は、既存のカーブで強度を変更できるようにするために存在し、フィルターから逆推定する必要をなくします。

彫られた音楽トラック内では、信号は最初にディップを通過し、次にレベルマッチ、そして自分で構築したものを通過します。そのため、追加するリミッターは依然として最終的な天井として機能します。

flowchart LR
  src["デコード済み音楽"] --> p1["ピーキング<br/>400 Hz"]
  p1 --> p2["ピーキング<br/>1 kHz"]
  p2 --> p3["ピーキング<br/>1.6 kHz"]
  p3 --> g["ゲイン<br/>レベルマッチ"]
  g --> hand["独自のエフェクト<br/>例:リミッター"]
  hand --> dest["トラックゲイン、その後出力"]

  l1["レーン fx.n1.gain"] -.->|"その帯域における<br/>ボーカルのレベルのエンベロープ"| p1
  l4["レーン fx.n4.gain"] -.->|"音楽が全体的に<br/>どれだけダックするか"| g

まず、何が問題なのかを特定する

以下の表は「こもっている」というところから始まります。これは、誰かがすでに聴いてそう言ったことを前提としています。ファイルを渡されて「これを修正して」と言われた場合、そのような情報はなく、聴くこともできないため、測定する必要があります。すべてを支配する1つのルールがあります。

単一の未知の音声の絶対スペクトルを診断することはできません。 フォルマントは±10 dB、基本周波数は85~255 Hz、文は終わりに向かって5~6 dB低下します。これらのそれぞれは、それだけを見れば欠陥として読み取れますが、そのすべてが話者の特徴です。

したがって、比較してください。そして、同じファイル内の何かと比較してください。可能であればクリーンなオリジナル、そうでなければポーズ — ギャップで聞こえるものはすべて付加的なものであり、ギャップのスペクトルはチャンネルであって音声ではありません。公開された平均スペクトルや合成された制御音声と比較しても機能しません。2人の話者の違いはほとんどの欠陥よりも大きく、このガイダンスの背後にある評価で間違った答えの両方がまさにその原因でした。

オリジナルも使用可能な無音もない場合、静的な音色の欠陥は真に未決定です。その旨を伝え、適合する読み取り値を提供し、1つを選んでチェーンを構築しないようにしてください。

コマンド、トラップ、実績のあるレシピ:references/diagnosis.md。誰も説明していないファイルを診断する前に読んでください。

症状から始める

帯域と種類がわかったら、オーディオの問題を特定します。ほとんどの悪いオーディオはこれらのうち1つか2つであり、それぞれに出荷済みの回答があります。

聞こえ方使用するもの
低音のハムや重低音rumble-cut、または80 Hzの highpass
こもっている、胸に響くTame Boominess ジョブ (200 Hz)
こもっている、段ボールの向こう側Reduce Mud ジョブ (250 Hz)
言葉が聞き取りにくいAdd Clarity ジョブ (3 kHz)、または音楽を彫る
耳障りで疲れるSoften Harshness ジョブ (3.2 kHz)
特定の単語だけが極端に大きいコンプレッサーで Evenness、または Even Out Levels
文と文の間に部屋の響きroom-gate
ボーカルと音楽が競合するVoiceover carve — どちらかにEQをかけるのではない
ドライで、録音された感じがしないroom-tight または room-natural
単に「アマチュア」voice-clean(上記の4つを順に適用)

完全なカタログ、各プリセットの内容、帯域の用語、および意図的にカバーされていないもの(デエッシング、ノイズ除去、トーンマッチ):references/presets.md。

追加する前に減算し、フィルタリングした後にレベルを調整し、レベルの後に関係性を、その後にキャラクターと天井を最後に設定します。 各ステップは、次のステップが聞くものを変更します。ハイパスの前に設定されたコンプレッサーは、ランブルを追いかけることに時間を費やします。

名前ではなく問題に基づいてファミリーを選ぶ

フィルター(highpass、lowpass、peaking、lowshelf、highshelf)は、トラックが占有できる周波数を決定します。これは2つのソースが衝突した場合の最初のツールです。衝突は帯域で発生するためです。音楽トラックとボーカルの両方が1~3 kHzを必要としており、それを音楽トラックから取り除くことは、全体の音量を下げるよりもミックスへのダメージがはるかに少なくなります。ボーカルへのハイパスはランブルの標準的な修正です。ローパスは意図的に暗くしたりこもらせたりします。

ダイナミクス(gain、compressor、limiter、gate)は、トラックのレベルが時間とともにどのように動作するかを決定します。コンプレッションは大きい音と小さい音の間の距離を狭め、小さい音を持ち上げられるようにします。リミッターは天井です。何かを成形するわけではなく、何も超えさせないことを保証します。ゲートはしきい値以下のものを除去します。これが、フレーズ間の部屋の響きを消す方法です。gain は単純なレベルステージであり、トラックが邪魔にならないように移動する必要がある場合にオートメーションレーンが使用するものです。

非線形(saturate、bitcrush)は波形の形状を変更し、元々存在しなかった高調波を追加します。修正ではなく、トラックにキャラクターやザラツキが必要な場合に使用します。そして、それが生成的であることを覚えておいてください。薄いソースをより密度の高いものにしますが、クリーンにはしません。

時間ベース(delay、reverb、chorus、phaser)は、トラックを空間に配置したり、幅を与えたりします。これらはミックスを最も簡単に台無しにするものです。テールやデチューンされたコピーは、ボーカルが必要とする同じ空間を占有するからです。何か他のものの背後に置くべきものに使用し、ウェット量を単独で正しく聞こえる量よりも低く抑えてください。

チェーンはシリアルです。各エフェクトは、その前のエフェクトが生成したものを処理します。したがって、修正フィルタリングは早い段階で、キャラクターは中間で、リミッターは最後に配置し、実際に天井として機能できるようにします。

ボイスオーバーカーブ

解決する問題。 ボーカルの下で音楽トラックが流れていると、ボーカルが聞き取りにくくなります。反射的に音楽トラック全体をダックさせたくなりますが、それは機能しますが、音楽トラックの存在感をすべて犠牲にします。音楽はボイスオーバー全体にわたって弱々しくなります。しかし、ボーカルはスペクトル全体を必要としているわけではありません。実際に占有するいくつかの帯域だけが必要です。カーブはそれらの帯域のみを取り除き、音楽トラックは低域と高域を維持するため、音楽性を保ちながら、ボーカルは明瞭です。

これはエフェクトではなく、関係性です。 設定は処理されるトラックである音楽トラックに存在し、リッスンするボーカルを指定します。これはサイドチェインコンプレッサーとまったく同じです。小さくなるトラックを選択し、何を小さくするかを選択します。ボーカルトラックにカーブを決して設定しないでください。 自分自身に対して彫られたボーカルはバグであり、微妙なミックスの選択ではありません。

すべてのボイス、1つだけではない。 sources はリストです。なぜなら、音楽トラックは通常、シーケンス全体(ナレーター、インタビューの回答、2人目のプレゼンター)の下で流れるからです。これらは、何かが測定される前に音楽トラック自身のクロックに合計されます(mixCarveSources)。そのため、1つの分析ですべてをカバーします。帯域はそこにあるすべてのスピーチから得られ、エンベロープはそのいずれかが発生している場所で上昇します。音楽トラック中に決して再生されないボイスは除外されます。それらはマスクできません。

複数のクリップIDに対してカーブを設定するのは間違いです。クリップをグループ化し、グループに対してカーブを設定してください。 これはヒントではなく不変条件です。クリップを1つずつ指定することは、網羅的に正しくなければならず、次の編集までしか正しくありません。後で追加された4つ目のナレーションクリップはカーブの認識範囲外で再生され、音楽トラックはその下で静かにダックできません。代わりにグループを指定することで、メンバーシップは分析時に解決されるため、後でグループに追加されたクリップは、sources に触れることなくカバーされます。

<!-- ナレーションをグループ化し、そのグループに対して音楽トラックをカーブする -->
<audio id="vo-intro" data-audio-group="voiceover" …></audio>
<audio id="vo-middle" data-audio-group="voiceover" …></audio>
<audio id="vo-outro" data-audio-group="voiceover" …></audio>

<audio id="music" data-fx-carve='{"enabled":true,"sources":["voiceover"],"strength":0.8}' …></audio>

グループではなく2つ以上のプレーンなクリップIDを指定する sources リストは、audio_carve_ungrouped_sources リントルールによってキャッチされます。それでも機能しますが、クリップが追加されたときに静かに壊れるバージョンです。

カーブグループはボイスグループに保ってください。音楽トラック、SFX、音楽は含めないでください。 sources 内のグループIDは、すべての分析時に現在のメンバーに解決されます。そのため、指定したグループは、後で実際に取得されるグループになります。つまり、それが書かれたときに測定されたトラックではありません。これが問題を引き起こす2つのケースです。

  • 音楽トラックが自身のソースグループに含まれている。 自身がボイスとして渡され、自身のコンテンツに対して彫られます — 「トラックをそれ自身に対して彫らない」ルールが、再分析の1回後に発動します。
  • SFXまたは音楽クリップがボイスグループに含まれている。 次の分析でサイドチェインに入り、音楽トラックは風切り音の下でダックし始めます。属性を書き込んだ実行ではそれが測定されたことがなかったとしてもです。

どちらもカーブが書かれた時点では目に見えません。分析は検出したボイスを合計し、グループ解決を往復しないため、最初のパスは本当に正しく、次のパスだけが間違っています。したがって、各役割に独自のグループを割り当ててください。音楽トラックには music、ナレーションには voiceover、ヒットには sfx というように。そして、sources で指定されたグループにはボイスだけが含まれるようにしてください。

carve.mjs は、いずれかのケースを検出するとグループ形式での書き込みを拒否し、クリップIDを記録し、どのメンバーが妨害したかをstderrに出力します。その後、audio_carve_ungrouped_sources ルールが配置を指摘します。

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

sandeshrajbhandari/hyperframes-instruct

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

sandeshrajbhandari/hyperframes-instruct

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

sandeshrajbhandari/hyperframes-instruct

Use the HyperFrames CLI development loop: init, add, catalog, capture, lint, check, snapshot, compare, grade-compare, preview, play, present, beats, keyframes, single or batch render, publish, cloud, cloudrun, feedback, lambda, doctor, browser, info, upgrade, skills, compositions, timeline, history, clean, docs, benchmark, telemetry, transcribe, auth, tts, and remove-background. Also use when diagnosing build or render failures. validate, inspect, and layout are deprecated aliases; use check. Covers local, HeyGen-hosted cloud, AWS Lambda, and Google Cloud Run rendering.

sandeshrajbhandari/hyperframes-instruct

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

sandeshrajbhandari/hyperframes-instruct

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

sandeshrajbhandari/hyperframes-instruct

Use when a HyperFrames composition needs a punch-in, punch-out, zoom, reframe, Ken Burns treatment, camera move, visual match/whip handoff, or other seek-safe 2D/3D keyframes; also for GSAP, CSS keyframes, Anime.js, WAAPI, FLIP, paths, masks, SVG morph/draw, text trails, 3D depth, or `hyperframes keyframes` diagnostics. Don't use for broad scene strategy, brand design, media sourcing, captions, or general video planning.

sandeshrajbhandari/hyperframes-instruct

Search, install, and wire registry blocks and components into HyperFrames compositions. Use BEFORE hand-building any named visual — whenever a brief, a user, or a storyboard names a look, effect, treatment, or transition such as CRT scanlines, glitch, chromatic aberration, film grain, a shimmer sweep, a chart, a code or terminal window, a map, or a confetti burst — because roughly 400 hosted items already cover many of them and the search ranks all of them with nothing installed, no project, and no account. Also use when running hyperframes add or hyperframes catalog, installing one item or every block matching a tag, wiring an installed item into index.html, or working with hyperframes.json. Covers discovery, install locations, block sub-composition wiring, component snippet merging, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

sandeshrajbhandari/hyperframes-instruct

Mandatory entry point: read this first for any request to make, create, edit, animate, or render a video, animation, or motion graphic, including a promo, explainer, captioned clip, title card, overlay, slideshow or interactive deck, Remotion port, or any HyperFrames HTML composition. Also use it to inspect, diagnose, validate, preview, publish, or batch-render an existing HyperFrames project. Inputs may be a website URL, GitHub PR, Figma design or URL, text or brief, existing footage, or music. It resumes project state, captures intent when applicable, selects and installs the owning workflow, and routes domain capabilities. HyperFrames is the default output framework unless the user explicitly chooses another framework for the deliverable or asks only to record a browser session.

sandeshrajbhandari/hyperframes-instruct

Use when working with a person on a HyperFrames project in Studio: first, whether their message asks for a change at all (questions, loose ideas and "don't change anything" get an answer and a plan, not an edit); for a new film, the plan, storyboard and build order that the HyperFrames launch films follow; and how the timeline should be laid out so it reads well (one caption track, one element kind per track, every scene a sub-composition) and where captions and key content may sit (safe zones). Don't use for how to perform an individual edit (split, trim, retime, volume, copy, swap): that is `creator-editing-recipes.md` in `/hyperframes-core`.

sandeshrajbhandari/hyperframes-instruct

Agent Media OS, the single skill for every media need in a HyperFrames project. Resolve BGM, SFX, image, icon, brand logo, voice, color grade, or LUT into a frozen local file or paste-ready block + ledger record (one verb, `resolve`); generate via TTS / music / image models when the catalog misses; produce voiceover, transcription, captions, and background removal through one shared audio engine; operate on media (cut / reframe / transform); and reuse assets across projects. Also use for vague feedback that real footage looks dark, flat, boring, should feel retro/camcorder/print/ASCII, needs privacy, or needs a media reveal.

sandeshrajbhandari/hyperframes-instruct

A short, design-led motion graphic where motion is the message — kinetic typography, stat count-up, chart/data-viz hit, logo sting / brand lockup, lower-third / callout / social overlay, animated map (highlight regions, connect places, zoom to a location), animated tweet / news-article / headline, webpage / UI animation (scroll, cursor, callouts), or fusing a real image's geometry into a chart. Usually under 10s (up to ~30s), no narration or live-action subject; renders to MP4 or transparent overlay. Longer / narrated / multi-scene → /general-video. Unclear → /hyperframes.

関連スキル