Communitygithub.com

MattiaIppoliti/tia-skills

HyperFrames オーディオミックススキル。フェードイン/アウト、クロスフェード、トラックゲイン/ボリューム、ボリュームオートメーション、ダッキング、ボイスオーバーカーブ、および EQ、コンプレッサー、リミッターなどのエフェクトチェーンを適用します。

tia-skills とは?

このスキルは、HyperFrames コンポジション内のオーディオミックスを専門に扱います。具体的には、フェードイン/フェードアウト、クロスフェード、トラックゲインやボリューム調整、ボリュームオートメーション、ダッキング、ボイスオーバーカーブ(音楽がナレーションと競合しないように周波数を削る処理)、そして各トラックへのエフェクトチェーン(EQ、コンプレッサー、リミッター、ゲート、サチュレーション、ディレイ、リバーブ、コーラス、フェイザー、ビットクラッシュ)の適用を行います。特に重要なのは、オーディオミックスを単なるエフェクトの積み重ねではなく、トラック間の「関係性」として捉える点です。同じ音に聞こえるトラック同士がぶつかり合う問題に対して、単に音量を下げるのではなく、周波数帯域ごとに適切な処理を施すことで解決します。 このスキルは、主に HTML 要素上の `data-fx-chain`、`data-automation`、`data-fx-carve` という3つの属性を通じて機能します。プレビューとレンダリングは同じ Web Audio グラフを共有するため、シーク中に聞こえる音と最終出力が一致します。対応プラットフォームは HyperFrames フレームワーク(Remotion + React ベース)であり、`/hyperframes-core` がクリップのタイミングやトラックレイアウトを、`/media-use` が BGM や効果音のソーシングを担当するのに対し、このスキルは配置済みオーディオのミックス処理を担当します。 ボイスオーバーカーブは特に強力な機能で、ナレーションが占める周波数帯域のみを音楽ベッドから削ることで、音楽の存在感を保ちながら音声の明瞭性を向上させます。この関係性は `strength` パラメータ(0~1)一つで調整でき、デフォルトの0.25でも聴覚的に自然な効果が得られます。ミックス作業は「症状からスタートする」アプローチを推奨しており、ブーミー、こもった、耳障りなどの具体的な問題に対して、プリセットされたジョブやレシピを提供します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/MattiaIppoliti/tia-skills/tree/HEAD/skills/video/hyperframes-audio

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

⚠ 契約ステータス: クラフトは最新、コードは非対応

このスタックの出力フレームワークは Remotion + React (/hyperframes-core) です。 ここでのモーションクラフトは今でも有効です: タイミング、イージングの選択、動きの形状、命名されたルールと設計図。 コードは無効です: サンプルとアダプターは、廃止された HTML と一時停止された GSAP タイムラインランタイムに対して書かれています。

読み進める際は以下のように変換してください:

ここでの記述Remotion での記述
gsap.fromTo(el, {x:-40}, {x:0, duration:0.5})interpolate(frame, [0, SEC(0.5)], [-40, 0], {…"clamp"})
ease: "back.out(1.7)"spring({frame, fps, config:{damping}})、目視で調整
window.__timelines[id] に一時停止されたタイムラインなし; 全ての値は useCurrentFrame() の関数
クリップ上の data-start / data-duration<Sequence from> / durationInFrames(フレーム単位)
CSS キーフレームまたはトランジションフレームから派生したインライン style(CSS アニメーションはレンダリングされない)

このスキルのサンプルを未修正のまま Remotion プロジェクトに貼り付けないでください。

HyperFrames オーディオ

ミックスとは、プロセッサーの積み重ねではなく、関係性の集合です。個々では正しく聞こえる2つのトラックが、一緒になると聞くに堪えなくなることがあります。その修正方法は、ほとんどの場合「片方を下げる」ことではなく、それらが何を争っているのかを見つけ、それを必要とする方に与えることです。ここにあるすべてのツールは、それらの関係性の1つを表現するために存在します。

エフェクトは要素の data-fx-chain として存在し、プレビューとレンダリングは同じ Web Audio グラフを実行します。スタジオではライブコンテキストで、エンジンではそれが既に駆動しているブラウザ内のオフラインコンテキストで動作します。各エフェクトの実装は1つだけなので、シーク中に聞こえるものがそのまま書き出されます。二度調整する必要はありません。

クリップのタイミングは /hyperframes-core の管轄です: オーディオ/ビデオのトリムとソース範囲には data-start、data-duration、data-media-start を使用し、クロスフェードは異なるトラックのクリップを重ねます。このスキルは、配置済みトラックのフェードイン/フェードアウト、クロスフェードエンベロープ、トラックゲイン/トラックボリューム、ボリュームとエフェクトのオートメーション、ダッキング/ボイスオーバーカーブ、およびエフェクトチェーンを担当します。/media-use はソーシング、生成、前処理を担当します。

一定の data-playback-rate (0.1..5) は、映像とピッチ保存された音声が同じタイミング、ソースオフセット、レートで一致する場合、レンダリングセーフです。ソースの速度ランプはサポートされていません。レートエンベロープがないためです。派生した同期アセットを前処理してください。HyperFrames は自動的な波形同期やドリフト補正を提供しません。 コピー可能なカット/クロスフェード/リタイムのレシピについては、/hyperframes-core → references/editing-recipes.md を参照してください。

すべてを担う3つの属性があり、すべてオーディオ/ビデオ要素自体に付与されます:

属性保持するもの
data-fx-chainエフェクト、シグナル順
data-automationこのトラックのボリュームまたはエフェクトパラメータのエンベロープ
data-fx-carveカーブ自体の設定。再導出可能にするため

出荷済みのエフェクトファミリーは、ゲイン、EQ(ハイパス、ローパス、ピーキング、シェルフ)、コンプレッサー、リミッター、ゲート、サチュレート、ディレイ、リバーブ、コーラス、フェイザー、ビットクラッシュです。

各エフェクトの正確なJSONと、レーンが満たすべきルール: references/attributes.md。 すべてのエフェクトとそのパラメータ、範囲、単位: references/fx-registry.md。 聞こえないファイルの問題を解決する方法: references/diagnosis.md。 プリセット、名前付きジョブ、ワンノブプロファイル、症状から修正へのテーブル: references/presets.md — チェーンを手動で構築する前に読んでください。通常、プリセットまたは名前付きジョブのいずれかが既に問題を特定しているからです。

全体の仕組み

2つのオーサリングサーフェスがこれらの属性を書き込み、2つのランタイムが同じビルダーを通じてそれらを読み取ります。この共有された中間層こそが、プレビューがレンダリングを予測できる理由です。

flowchart TB
  voice["ボイストラック<br/>メディアファイル"]
  bed["音楽ベッド<br/>メディアファイル"]

  subgraph AUTHOR["オーサリング — 属性を書き込む唯一のもの"]
    panel["スタジオ<br/>ボイスオーバーカーブコントロール"]
    script["scripts/carve.mjs<br/>ペアを検出、デフォルトで動的"]
    analysis["core/audioCarve.ts<br/>carveProfile · analyseCarveBands<br/>analyseCarveDuck · analyseCarveDynamics"]
    panel --> analysis
    script --> analysis
  end

  voice --> analysis
  bed --> analysis

  subgraph ATTRS["ベッド要素に書き込まれる"]
    carveAttr["data-fx-carve<br/>source · strength · dynamic"]
    chainAttr["data-fx-chain<br/>peaking xN + gain、fromCarve タグ付き"]
    autoAttr["data-automation<br/>カーブされたパラメータごとに1レーン"]
  end

  analysis --> carveAttr
  analysis --> chainAttr
  analysis --> autoAttr

  subgraph SHARED["1つの実装、両方から読み取り"]
    build["audioFxGraph.ts · buildFxChain"]
    sched["audioFxAutomation.ts · scheduleChainAutomation"]
  end

  chainAttr --> build
  autoAttr --> sched

  build --> preview["プレビュー<br/>ライブ AudioContext<br/>attachElementFxChain"]
  sched --> preview
  build --> render["レンダリング<br/>ヘッドレスブラウザ内の OfflineAudioContext<br/>applyAudioFxChain"]
  sched --> render

  preview --> heard["シーク中に聞こえるもの"]
  render --> wav["処理済み WAV<br/>+ chainTailSeconds によりテールが出力に含まれる"]
  wav --> mix["エンジン · audioMixer<br/>ボリュームレーンはここで PCM に焼き込まれ、グラフにはない"]
  mix --> out["レンダリングされたミックス"]

  edit["再生中の属性編集"] -.->|MutationObserver| preview

カーブ自体の設定が再生時に読み取られることはありません。生成されたチェーンとレーンが再生されるものです。data-fx-carve は、既存のカーブの強さをフィルターから逆算する代わりに変更できるように存在します。

カーブされたベッド内部では、信号は最初にディップを通過し、次にレベルマッチ、その後自分で構築したものを通過します。これが、追加したリミッターが最後の天井として機能する理由です:

flowchart LR
  src["デコードされたベッド"] --> p1["ピーキング<br/>400 Hz"]
  p1 --> p2["ピーキング<br/>1 kHz"]
  p2 --> p3["ピーキング<br/>1.6 kHz"]
  p3 --> g["ゲイン<br/>レベルマッチ"]
  g --> hand["独自のエフェクト<br/>例: リミッター"]
  hand --> dest["トラックゲイン、出力へ"]

  l1["レーン fx.n1.gain"] -.->|"その帯域での<br/>ボイスのレベル<br/>エンベロープ"| p1
  l4["レーン fx.n4.gain"] -.->|"ベッドが<br/>全体的にどれだけ<br/>ダックするか"| g

スタティックカーブは、固定値でレーンのない同じグラフです。

最初に、何が問題かを見極める

以下の表は「音がこもっている」から始まります — これは誰かがすでに聴いてそう言ったことを前提としています。ファイルを渡されて「これを修正して」と言われた場合、あなたにはそのような説明はなく、聴くこともできません。したがって、測定する必要があります。すべてを支配するルールは1つです:

単一の未知のボイスの絶対スペクトラムは診断できません。 フォルマントは ±10 dB、基本周波数は 85~255 Hz で、文が終わるにつれて 5~6 dB 低下します。これらのすべてが単独では欠陥のように見えますが、すべて話者に起因するものです。

したがって、比較します。そして 同じファイル内 の何かと比較します: 可能であればクリーンなオリジナル、そうでなければ無音部分 — ギャップで聞こえるものはすべて付加的なものであり、ギャップのスペクトラムはボイスではなくチャンネルです。公開されている平均スペクトラムや合成された制御ボイスとの比較は機能しません: 2人の話者はほとんどの欠陥以上の差があり、このガイダンスの背後にある評価での2つの誤った回答は、まさにその比較から生じました。

オリジナルも使用可能な無音もない場合、静的な音色欠陥は真に決定不能です。その旨を伝え、1つを選んでチェーンを構築するのではなく、適合する読み取り値を提供してください。

コマンド、トラップ、実践的なレシピ: references/diagnosis.md。誰も説明していないファイルを診断する前に読んでください。

症状から始める

帯域と種類を特定したら、オーディオの問題を命名します。ほとんどの悪いオーディオはこれらの中の1つまたは2つであり、それぞれに出荷済みの回答があります:

状態使用するもの
下にハム音やドスンという音があるrumble-cut、または 80 Hz の highpass
こもっている、胸に響くTame Boominess ジョブ (200 Hz)
くぐもっている、段ボールの後ろReduce Mud ジョブ (250 Hz)
言葉が聞き取りにくいAdd Clarity ジョブ (3 kHz)、またはベッドをカーブ
耳障りで疲れるSoften Harshness ジョブ (3.2 kHz)
ある単語が他の単語よりずっと大きいコンプレッサーで Evenness、または Even Out Levels
文と文の間に部屋のノイズroom-gate
ボイスと音楽が競合しているVoiceover carve — どちらかのEQではない
ドライで、どこにも録音されていないように聞こえるroom-tight または room-natural
単に「アマチュア的」voice-clean(上記のうち4つを順に含む)

完全なカタログ、各プリセットの内容、帯域の用語集、および意図的にカバーされていないもの(デエッシング、ノイズ除去、トーンマッチ): references/presets.md。

追加する前に減算し、フィルタリングした後にレベル調整し、レベル調整した後に関係性を、関係性の後にキャラクターと天井を最後に。各ステップは、次のステップが聞くものを変えます。ハイパス前に設定されたコンプレッサーは、ランブルを追いかけることに時間を費やします。

名前ではなく問題でファミリーを選ぶ

フィルター (highpass、lowpass、peaking、lowshelf、highshelf) は、トラックが占有を許可される周波数を決定します。これは、2つのソースが衝突するための最初のツールです。なぜなら、衝突は帯域で発生するからです: ベッドとボイスの両方が 1~3 kHz を望み、それをベッドから奪うことは、全体を下げることがミックスに与えるダメージよりもはるかに少ないコストで済みます。ボイスへのハイパスはランブルの標準的な修正です; ローパスは意図的に暗くしたりこもらせたりします。

ダイナミクス (gain、compressor、limiter、gate) は、トラックのレベルが時間とともにどのように振る舞うかを決定します。コンプレッションは大きい音と小さい音の距離を狭め、小さい部分を持ち上げられるようにします。リミッターは天井です — 何かを形作るのではなく、何も通過させないことを保証します。ゲートはしきい値以下のものを削除します。これが文と文の間の部屋のノイズを消す方法です。gain は単純なレベルステージであり、トラックが邪魔にならないように移動する必要がある場合にオートメーションレーンが使用するものです。

非線形 (saturate、bitcrush) は波形の形状を変更し、元々なかった高調波を追加します。修正ではなくキャラクターやザラツキが必要な場合に使用します。そしてこれらは生成的であることを忘れないでください: 薄いソースをより密度の高いものにしますが、クリーンにはしません。

時間ベース (delay、reverb、chorus、phaser) はトラックを空間に配置するか、幅を与えます。これらはミックスを最も簡単に台無しにするものです。なぜなら、テールやデチューンされたコピーがボイスに必要な同じ部屋を占めるからです。他の何かの 背後 に座るべきものに使用し、ウェット量は単独で正しく聞こえるレベルよりも低く保ちます。

チェーンは直列です: 各エフェクトは、前のエフェクトが生成したものを処理します。したがって、修正フィルタリングは早い段階で、キャラクターは中間で、リミッターは最後に配置し、実際に天井として機能できるようにします。

ボイスオーバーカーブ

解決する問題。 音楽ベッドがボイスの下にあると、ボイスが聞き取りにくくなります。反射的にベッド全体をダックすることがありますが、これは機能し、ベッドの存在感をすべて犠牲にします — ボイスオーバー全体で音楽が弱くなります。しかし、ボイスは全スペクトラムを必要とするわけではありません。実際に占有する数少ない帯域だけが必要です。カーブはそれらの帯域だけを取り除き、ベッドは低域と高域を維持するため、ボイスが明瞭な間も音楽は音楽のままです。

エフェクトではなく関係性です。 設定は ベッド — 処理されるトラック — に保存され、聴くべきボイスを指定します。これはサイドチェインコンプレッサーとまったく同じです: 小さくなるトラックを選択し、何を小さくするかを選びます。決してボイストラックにカーブを設定しないでください。 自分自身に対してカーブされたボイスは、微妙なミックス選択ではなくバグです。

1つだけでなく、すべてのボイス。 sources はリストです。なぜなら、ベッドは通常シーケンス全体 — ナレーター、インタビューの回答、2人目のプレゼンター — の下で実行されるからです。それらは何かが測定される前にベッド自身のクロックにミックスされます (mixCarveSources)。したがって、1つの分析がすべてをカバーします: 帯域はそこにあるすべてのスピーチから得られ、エンベロープはそのいずれかが発生している場所で上昇します。ベッドと同時に再生されないボイスは除外されます。それらはベッドをマスクできません。

ワンノブ。 strength は 0..1 で、すべてを導出します: どのくらい深くカットするか、いくつの帯域、どのくらい広いか、明瞭性と生のボイスエネルギーのどちらを優先するか、レベルがどれだけ下がってもよいか、ボイスの下をどの程度狙うか。これらの6つは、実際のミックスでは常に連動して動きます。優しいカーブは、数少ない帯域での浅いカットとわずかなダッキングであり、ハードなカーブはより多くの帯域でのより深いカットです。したがって、それらは carveProfile に一度書き込まれる1つの関係性です。デフォルトは 0.25 です — 6 dB のレベルルームを持つ3つの帯域で 6 dB のディップ。穴のように聞こえることなく聞こえます。0.5 ではディップが 10 dB に達します。これはカーブがボイスのためのスペースとしてではなく、エフェクトとして聞こえ始めるポイントです。それ以上は、静かなボイスの下の大きなベッドのための意図的な領域です。0 はスペクトラルのみです — 1つの帯域、レベルマッチなし。

デフォルトでカーブ。 ナレーションの下で再生されるベッドはカーブを必要とします。時間があれば行う仕上げステップではありません。両方のトラックを配置し、以下のコマンドを実行し、聴いてください。音楽がその下に座るためのナレーションがない場合 — ミュージックビデオ、タイトルカード、トラックに合わせたモンタージュカット — はスキップしてください。

常にボイスに追従します。 静的モードはありません: 固定深度は一時停止ごとにベッドを薄くし、両方を聞いた後は静的モードを選ぶ理由はありません。

Individual skills in this repo

This repo contains 6 individual skills — each has its own dedicated page.

MattiaIppoliti/tia-skills

The technique catalog: five velocity-matched SEAMS (zoom-through, INVERSE zoom-through, cut-the-curve, waterfall cut, rack-focus blur-cut) plus the two in-scene techniques — waterfall ENTRY (staggered arrival cascades for title cards / segment openers) and the nudge curve (slow-fast-slow three-phase group slides). Covers partial-travel (~12% of frame) velocity matching via mirrored power4 eases, the Z scale-sign rule, size-scaled blur (10px text / 18-20px full-frame), word-by-word staggered cuts, cascade pacing by element weight, and the 10/65/25 slide ratio. Read before authoring any transition, text-beat handoff, kinetic text entry, or group reposition. [depth, zoom, inverse-zoom, scale-sign, mirrored-zoom, rack-focus, pacing, velocity, cut-the-curve, waterfall, stagger, cascade, kinetic-text, title-card, segment-opener, nudge, slide, easing, group-motion, z-depth, motion-graphics, cinematic, transition, blur, directional-continuity]

MattiaIppoliti/tia-skills

Import Figma content into a HyperFrames composition — rendered assets, brand tokens, components, storyboard sections → reconstructed motion (frames read as states, not slides) (REST/CLI), connector-assisted motion when available, and shaders from a connector or native export. Use when the user pastes a figma.com link or asks to bring a Figma design, frame, logo, brand, or animation into a video/composition.

MattiaIppoliti/tia-skills

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

MattiaIppoliti/tia-skills

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

MattiaIppoliti/tia-skills

Drive the Remotion CLI development loop: scaffold, studio, type-check, compositions, still probes, single and batch render, bundle, Lambda and Cloud Run rendering, benchmark, versions, upgrade, and GPU checks. Also use when diagnosing a build or render failure, or when looking for a capability the retired HyperFrames CLI used to own.

MattiaIppoliti/tia-skills

The composition contract for building one renderable Remotion project. Use for project structure, `<Composition>` registration, `<Sequence>` timing, layer/track ordering, scene components, props and schemas, framework-owned media playback, deterministic-render rules, and validation. Also covers Tailwind projects and the STORYBOARD.md / SCRIPT.md plan formats. Read before writing composition code.

関連スキル