HyperFrames オーディオ
ミックスとは、プロセッサの積み重ねではなく、一連の関係性です。個々には正しく聞こえる2つのトラックも、一緒にすると聞くに堪えないことがあります。その修正は、ほとんどの場合「どちらかを下げる」ことではなく、何を争っているかを見つけ、それを必要とする方に与えることです。ここにあるすべてのツールは、それらの関係性の一つを表現するために存在します。
エフェクトは、要素上の data-fx-chain として存在し、プレビューとレンダリングは同じ Web Audio グラフを実行します。スタジオではライブコンテキストで、エンジンではそれが既に駆動しているブラウザ内でオフラインコンテキストで動作します。各エフェクトの実装は1つだけなので、スクラブ中に聞こえるものが書き出されるものです。二度調整する必要はありません。
クリップのタイミングは /hyperframes-core が担当します。オーディオ/ビデオのトリムとソース範囲は data-start、data-duration、data-media-start を使用し、クロスフェードは異なるトラック上のクリップを重ねます。このスキルは、配置済みトラックのフェードイン/フェードアウト、クロスフェードエンベロープ、トラックゲイン/トラックボリューム、ボリュームとエフェクトのオートメーション、ダッキング/ボイスオーバーカーブ、およびエフェクトチェーンを担当します。/media-use は、ソーシング、生成、プリプロセッシングを担当します。
定数 data-playback-rate (0.1..10) は、画像とピッチ保存されたサウンドに対してレンダリングセーフであり、オーディオ/ビデオ要素が同じタイミング、ソースオフセット、レートを使用する場合に適用されます。スピードランプは data-automation 内の rate レーン (docs/reference/speed-ramps 参照) であり、定数よりも優先され、プレビューとレンダリングでピッチを保持します。HyperFrames は、自動的な波形同期やドリフト補正を提供しません。
コピー可能なカット/クロスフェード/リタイムレシピについては、/hyperframes-core → references/creator-editing-recipes.md を使用してください。
3つの属性がすべてを担います。これらはオーディオ/ビデオ要素自体に、または最初の2つについては <hf-audio-group> バスに設定されます(「複数トラックのための1つのバス」を参照)。
| 属性 | 保持するもの |
|---|---|
data-fx-chain | エフェクト(シグナル順) |
data-automation | このトラックの音量またはそのエフェクトパラメータ上のエンベロープ |
data-fx-carve | カーブ自体の設定(再導出可能にするため) |
出荷されるエフェクトファミリーは、ゲイン、EQ (ハイパス、ローパス、ピーキング、シェルフ)、コンプレッサー、リミッター、ゲート、サチュレート、ディレイ、リバーブ、コーラス、フェイザー、ビットクラッシュです。
それぞれの正確なJSON、およびレーンが満たすべきルール: references/attributes.md
すべてのエフェクトとそのパラメータ、範囲、単位: references/fx-registry.md
聞こえないファイルの問題を特定する方法: references/diagnosis.md
プリセット、名前付きジョブ、ワンノブプロファイル、および症状から修正へのテーブル: references/presets.md — チェーンを手動で構築する前にこれを読んでください。プリセットや名前付きジョブのいずれかが通常、すでに問題を特定しているからです。
全体の仕組み
2つのオーサリングサーフェスがこれらの属性を書き込み、2つのランタイムが同じビルダーを通じてそれらを読み取ります。この共有された中間層こそが、プレビューがレンダリングを予測できる理由です。
flowchart TB
voice["ボイストラック<br/>メディアファイル"]
bed["音楽ベッド<br/>メディアファイル"]
subgraph AUTHOR["オーサリング — 属性を書き込む唯一のもの"]
panel["スタジオ<br/>ボイスオーバーカーブコントロール"]
script["scripts/carve.mjs<br/>ペアを検出、デフォルトで動的"]
analysis["core/audioCarve.ts<br/>carveProfile · analyseCarveBands<br/>analyseCarveDuck · analyseCarveDynamics"]
panel --> analysis
script --> analysis
end
voice --> analysis
bed --> analysis
subgraph ATTRS["ベッド要素に書き込まれる"]
carveAttr["data-fx-carve<br/>source · strength · dynamic"]
chainAttr["data-fx-chain<br/>peaking xN + gain, fromCarve タグ付き"]
autoAttr["data-automation<br/>カーブされたパラメータごとのレーン"]
end
analysis --> carveAttr
analysis --> chainAttr
analysis --> autoAttr
subgraph SHARED["1つの実装、両方から読み取られる"]
build["audioFxGraph.ts · buildFxChain"]
sched["audioFxAutomation.ts · scheduleChainAutomation"]
end
chainAttr --> build
autoAttr --> sched
build --> preview["プレビュー<br/>live AudioContext<br/>attachElementFxChain"]
sched --> preview
build --> render["レンダリング<br/>OfflineAudioContext をヘッドレスブラウザで<br/>applyAudioFxChain"]
sched --> render
preview --> heard["スクラブ中に聞こえるもの"]
render --> wav["処理済み WAV<br/>+ chainTailSeconds でミックスがテールを通過させる"]
wav --> mix["エンジン · audioMixer<br/>ボリュームレーンはここで PCM に焼き込まれ、グラフではない"]
mix --> out["レンダリングされたミックス"]
edit["再生中の属性編集"] -.->|MutationObserver| preview
カーブ自体の設定は再生時に決して読み取られません。それが生成したチェーンとレーンが再生されるものです。data-fx-carve は、既存のカーブで強度を変更できるように存在し、フィルターから逆算して推測する必要をなくします。
カーブされたベッド内では、信号は最初にディップを通過し、次にレベルマッチ、次に自分で構築したもの(追加したリミッターが最後の天井として機能するのはそのためです)を通過します。
flowchart LR
src["デコードされたベッド"] --> p1["peaking<br/>400 Hz"]
p1 --> p2["peaking<br/>1 kHz"]
p2 --> p3["peaking<br/>1.6 kHz"]
p3 --> g["gain<br/>レベルマッチ"]
g --> hand["自分自身のエフェクト<br/>例:リミッター"]
hand --> dest["トラックゲイン、その後出力"]
l1["lane fx.n1.gain"] -.->|"その帯域での<br/>ボイスのレベルエンベロープ"| p1
l4["lane fx.n4.gain"] -.->|"ベッド全体が<br/>どの程度ダッキングするか"| g
静的カーブは、同じグラフに固定値があり、レーンがまったくないものです。
最初に、何が問題かを見極める
以下の表は「こもって聞こえる」から始まります。これは誰かがすでに聞いてそう言ったことを前提としています。ファイルを渡され「これを修正して」と言われた場合、そのような指示はなく、聞くこともできないため、測定する必要があります。すべてを支配するルールが1つあります。
単一の未知の音声の絶対スペクトルは診断できない。 フォルマントは ±10 dB、基本周波数は 85〜255 Hz、文の終わりに向けて 5〜6 dB 低下します。これらのすべてが単独では欠陥として読み取られ、それらのすべては話者のものです。
したがって、比較します。そして、同じファイル内の何かと比較します。クリーンなオリジナルが存在する場合はそれ、そうでなければポーズ(ギャップで聞こえるものはすべて付加的であり、ギャップのスペクトルは音声ではなくチャンネルです)と比較します。公開された平均スペクトルや合成された制御音声と比較することは機能しません。2人の話者はほとんどの欠陥よりも異なり、このガイダンスの背後にある評価における誤った回答は両方とも、まさにその原因から発生しました。
オリジナルも使用可能な無音もない場合、静的な音色の欠陥は本当に決定不能です。その旨を伝え、適合する測定値を提供し、1つを選んでその上にチェーンを構築することは避けてください。
コマンド、トラップ、および実践的なレシピ: references/diagnosis.md。説明のないファイルを診断する前に読んでください。
症状から始める
帯域と種類がわかったら、オーディオの問題を特定します。ほとんどの悪いオーディオはこれらの中の1つか2つであり、それぞれに出荷済みの回答があります。
| こう聞こえる場合 | これを試す |
|---|---|
| 下にハム音やドスンという音 | rumble-cut、または 80 Hz のhighpass |
| こもっている、胸に響く | Tame Boominess ジョブ (200 Hz) |
| くぐもっている、段ボールの向こう | Reduce Mud ジョブ (250 Hz) |
| 言葉が聞き取りにくい | Add Clarity ジョブ (3 kHz)、またはベッドをカーブ |
| 耳障りで疲れる | Soften Harshness ジョブ (3.2 kHz) |
| 一部の単語が他の単語よりはるかに大きい | コンプレッサーの Evenness、または Even Out Levels |
| 文の間の部屋の音 | room-gate |
| 声と音楽が競合している | ボイスオーバーカーブ — どちらかにEQをかけるのではない |
| ドライで、どこにも録音されていない感じ | room-tight または room-natural |
| ただ「アマチュア」 | voice-clean(上記のうち4つを順に組み合わせたもの) |
完全なカタログ、各プリセットの内容、帯域の語彙、および意図的にカバーされていないもの(デエッシング、ノイズ除去、トーンマッチ): references/presets.md。
追加する前に減算し、フィルタリング後にレベル調整し、レベル調整後に関係性を、関係性の後にキャラクターと天井を最後に。各ステップは、次のステップが聞くものを変更します。ハイパスの前に設定されたコンプレッサーは、ランブルを追いかけることに時間を費やします。
名前ではなく問題でファミリーを選ぶ
フィルター (highpass、lowpass、peaking、lowshelf、highshelf) は、トラックが占有を許可される周波数を決定します。これは、2つのソースが衝突する場合の最初のツールです。衝突は帯域で発生するためです。ベッドとボイスの両方が 1〜3 kHz を望み、それをベッドから奪うことは、ミックス全体を下げるよりもベッドの損失がはるかに少なくなります。ボイスへのハイパスはランブルに対する標準的な修正です。ローパスは意図的に暗くしたりくぐもらせたりします。
ダイナミクス (gain、compressor、limiter、gate) は、トラックのレベルが時間とともにどのように動作するかを決定します。圧縮は大きな音と小さな音の差を狭め、小さな部分を持ち上げられるようにします。リミッターは天井です。何も整形せず、何も通過させないことを保証します。ゲートはしきい値以下のものを除去します。これが、フレーズ間の部屋の音を消音する方法です。gain は単純なレベルステージであり、トラックが邪魔にならないように移動する必要がある場合にオートメーションレーンが乗るものです。
非線形 (saturate、bitcrush) は波形の形状を変更し、元々なかった高調波を追加します。トラックに修正ではなくキャラクターやグリットが必要な場合に使用します。そして、それが生成的であることを覚えておいてください。薄いソースをより密度を高くするのであって、クリーンにするわけではありません。
時間ベース (delay、reverb、chorus、phaser) はトラックを空間に配置したり、幅を与えたりします。これらはミックスを最も簡単に台無しにするものです。なぜなら、テールやデチューンされたコピーが、ボイスが必要とする同じ部屋を占めるからです。何か 他のものの後ろ に置くべきものに使用し、ウェット量は単独で正しく聞こえるよりも低く保ちます。
チェーンはシリアルです。各エフェクトは、前のエフェクトが生成したものを処理します。したがって、補正フィルタリングは早めに、キャラクターは中間に、リミッターは実際に天井として機能できる最後に配置します。
ボイスオーバーカーブ
それが解決する問題。 声の下にある音楽ベッドは、声を聞き取りにくくします。反射的にベッド全体をダッキングするのが、機能し、ベッドの存在感をすべて犠牲にします。音楽はボイスオーバーの間ずっと弱々しくなります。しかし、声はスペクトル全体を必要とするわけではありません。声が実際に占有するいくつかの帯域だけを必要とします。カーブはそれらの帯域のみを取り、ベッドは低域と高域を維持するため、声が明瞭でありながら、音楽は音楽のままです。
それはエフェクトではなく、関係性です。 設定は ベッド(処理されるトラック)に存在し、リッスンする声を指定します。これはサイドチェーンコンプレッサーとまったく同じです。小さくなるトラックを選択し、何がそれを小さくするかを選びます。決してボイストラックにカーブを置かないでください。 声を自分自身に対してカーブすることは、微妙なミックスの選択ではなく、バグです。
すべての声に対して、1つだけではありません。 sources はリストです。なぜなら、ベッドは通常、シーケンス全体(ナレーター、インタビューの回答、2番目のプレゼンター)の下で実行されるからです。これらは、何かが測定される前にベッド自身のクロックに合算されます (mixCarveSources)。そのため、1つの分析ですべてをカバーします。バンドは存在するすべての音声から得られ、エンベロープはそのいずれかが発生している場所で上昇します。ベッドが再生されている間に決して再生されない声は除外されます。それらはそれをマスクできません。
複数のクリップIDに対するカーブは間違っています。クリップをグループ化し、グループに対してカーブしてください。 これはヒントではなく、不変条件です。クリップを1つずつ指定することは、完全に正しい必要があり、次の編集までしか正しくありません。後で追加された4番目のナレーションクリップは、カーブの認識外で再生され、ベッドは静かにその下でダッキングに失敗します。代わりにグループを指定すると、メンバーシップは分析時に解決されるため、後でグループに追加されたクリップは sources に触れることなくカバーされます。
<!-- ナレーションをグループ化し、グループに対してベッドをカーブ -->
<audio id="vo-intro" data-audio-group="voiceover" …></audio>
<audio id="vo-middle" data-audio-group="voiceover" …></audio>
<audio id="vo-outro" data-audio-group="voiceover" …></audio>
<audio id="music" data-fx-carve='{"enabled":true,"sources":["voiceover"],"strength":0.8}' …></audio>
グループではなく2つ以上のプレーンなクリップIDを指定する sources リストは、audio_carve_ungrouped_sources リントルールによってキャッチされます。それでも機能しますが、クリップが追加されると静かに腐敗するバージョンです。
カーブグループはボイスグループのままにしてください。ベッド、SFX、音楽は含めないでください。 sources 内のグループIDは、その時点のすべてのメンバーにすべての分析で解決されるため、指定したグループは後で取得するグループになります。書き込まれたときに測定されたトラックではありません。2つの方法でそれが問題になります。
- ベッドが自身のソースグループ内にある場合。 それは自身に音声として渡され、自身の内容に対してカーブされます — 「トラックを自身に対して決してカーブしない」ルールが、1回の再分析後に発生します。
- SFX または音楽クリップがボイスグループにある場合。 次の分析でサイドチェーンに入り、ベッドはウーッという音の下でダッキングし始めます。属性を書き込んだ実行がそれを測定しなかったにもかかわらずです。
どちらもカーブが書き込まれた瞬間には見えません。分析は検出した音声を合算し、グループ解決を往復しないため、最初のパスは真に正しく、次のパスだけが間違っています。したがって、各役割に独自のグループを与えてください。music はベッド用、voiceover はナレーション用、sfx は効果音用です。そして、sources で指定されたグループには音声のみを含めてください。
carve.mjs は、これらのケースのいずれかを見たときにグループ形式の書き込みを拒否し、クリップIDを記録し、stderr にどのメンバーがブロックしたかを出力します。audio_carve_ungrouped_sources ルールは、CLI が測定したよりも広いカーブを静かに永続化するのではなく、その構成を指摘します。
この実行で除外された声は、これらのケースのいずれでもなく、...
[翻訳のため省略]