Hermesモデルルーティング
ライブアカウントの利用可能性と測定されたローカルパフォーマンスに基づいて、Hermesモデル、フォールバック、および補助ルートを構成します。一般的なリーダーボードではなく、構成されたルートを最適化します。
手順
-
推奨または変更を行う前に、アクティブな状態を確認します。
hermes-agentスキルをロードし、~/.hermes/config.yaml、hermes auth list、hermes fallback list、hermes config checkを検査します。- 認証済みモデルピッカーカタログまたはキャッシュから正確な無料モデルIDを検査し、そのリフレッシュ時間を記録し、
:freeの利用可能性は変動しやすいものとして扱います。 - 意図するすべてのローカルエンドポイントのライブタグを照会し、ベンチマークされた正確なタグを使用します。
-
ルートポリシーを確立します。
- デフォルトでは、現在利用可能な無料クラウドモデルは、ユーザーの明示的なポリシーがある場合にのみ、機密性の低い作業に対して使用します。
- プロプライエタリなリポジトリ、シークレット、顧客データ、プライベートイメージには、常に明示的なローカルルートを提供します。クラウドデフォルトはデータの機密性を推測できません。
- 独立してホストされているローカルエンドポイントは、順序付きの
fallback_providersに配置します。各エントリには、provider: customとエンドポイントの/v1ベースURLを使用します。
-
モデルをゲートして割り当てます。
- 最終的なHermesルートが使用するコンテキストウィンドウでベンチマークを実行し、それをほぼ満たし、プロンプト速度とデコード速度を別々に保存します。
- タイムアウトまたはデコードスループットによりゲートアウトされた候補は、比較ランキングおよびすべての自動ルートから除外します。これは、ベースモデルの能力の判断ではなく、そのホスト/コンテキストにはおそらく適さないという可能性としてのみ言及します。
- 圧縮、キュレーター、レビューのルートは、能力のあるローカルモデルに割り当てます。これらのモデルは、蓄積された会話またはリポジトリコンテキストを受け取ることができるためです。
- 承認、タイトル生成、プロファイル説明には、安価なローカルモデルを割り当てます。ただし、そのショートタスクのパフォーマンスが十分であることを確認した後に限ります。
- クラウドビジョンは非プライベートイメージにのみ使用し、利用可能な場合は明示的なローカルビジョンフォールバックを用意します。
-
レビュー可能な設定フラグメントを生成します。
- デフォルト、順序付きフォールバック、およびすべての補助タスクを、正確なプロバイダー/モデル/ベースURL値を持つ具体的なYAMLとして提供します。
- フラグメントが推奨されたのか適用されたのかを明記します。明示的な要求なしにアクティブなプロファイルを編集しないでください。
- 生成されたYAMLを検証します。適用された編集後は、
hermes config checkを実行し、hermes fallback listを読み返します。
落とし穴
- プライマリプロバイダーが選択されている場合は、明示的な補助
fallback_chainを構成します。Hermesは、明示的なルートの背後にある無関係な認証済みプロバイダーを静かに使い果たすことはありません。 - レガシーな単一のフォールバックキーではなく、
fallback_providersを使用します。リストは意図した順序を保持し、Hermesフォールバックマネージャーが書き込むものです。 - 無料クラウドのデフォルトとプライベートデータのルートは区別してください。アカウントの利用可能性は、プロプライエタリな入力を外部に送信する許可を与えるものではありません。
- ベンチマークゲートによって除外されたモデルを、自動フォールバックや補助ルートに配置しないでください。動作しきい値に違反するフォールバックは、単にダウンストリームに障害を移動させるだけです。
- 設定内の正確なモデルタグを保持します。同様の名前のOllamaタグは、組み込みコンテキスト、プロンプトテンプレート、または配置が異なる場合があります。