Apartment38/Agent-Skills (Hermes 模型路由設定)

Hermes 模型路由設定

從即時帳戶可用性與實測本機效能，設定 Hermes 模型、備援與輔助路由。最佳化已設定的路由，而非通用的排行榜。

程序

1. 在建議或變更前，先發現當前啟用狀態。

   • 載入 hermes-agent 技能，然後檢查 ~/.hermes/config.yaml、hermes auth list、hermes fallback list 及 hermes config check。
   • 檢查已驗證的模型選擇器目錄或快取，以取得確切的免費模型 ID，記錄其更新時間，並將 :free 可用性視為易變的。
   • 查詢每個預定本機端點的即時標籤，並使用曾用於基準測試的確切標籤。

2. 建立路由政策。

   • 僅在非敏感工作且使用者政策明確聲明時，才預設使用當前可用的免費雲端模型。
   • 對於私有程式碼庫、機密、客戶資料及私人圖片，務必提供明確的本機路由；雲端預設無法推斷資料敏感性。
   • 將獨立託管的本機端點放入排序好的 fallback_providers 中；每個條目使用 provider: custom 加上端點的 /v1 基本 URL。

3. 篩選與指派模型。

   • 以最終 Hermes 路由將使用的上下文視窗進行基準測試，幾乎填滿該視窗，並分別儲存提示與解碼速率。
   • 將任何因逾時或解碼吞吐量而被篩選掉的候選模型，從比較排序及所有自動路由中排除。僅提及該模型可能不適用於該主機/上下文，而非對基礎模型能力的判斷。
   • 將壓縮、策展與審查路由至能力足夠的本機模型，因為它們可以接收累積的對話或程式碼庫上下文。
   • 僅在確認其短任務效能足夠後，才將低成本的本機模型指派給審核、標題生成與個人資料描述。
   • 僅對非私人圖片使用雲端視覺模型，並在可用時提供明確的本機視覺備援。

4. 產生可審查的設定片段。

   • 以具體的 YAML 格式提供預設值、排序後的備援以及每個輔助任務，包含確切的 provider/model/base URL 值。
   • 說明該片段是建議還是已套用。未經明確要求，不得編輯當前活躍設定檔。
   • 驗證產生的 YAML；套用編輯後，執行 hermes config check 並回讀 hermes fallback list。

常見陷阱

• 當主要供應商已選定時，務必設定明確的輔助 fallback_chain；Hermes 不會在明確路由的背後，默默消耗其他無關且已驗證的供應商。
• 使用 fallback_providers 而非傳統的單數 fallback 鍵；列表能保留預期的排序，且這是 Hermes 備援管理器寫入的格式。
• 區分免費雲端預設值與私有資料路由；帳戶可用性不等於有權將專有輸入傳送至外部。
• 不要將被基準測試篩選掉的模型放入自動備援或輔助路由中；違反操作門檻的備援只會將中斷問題向後推移。
• 在設定中保留確切的模型標籤；命名相似的 Ollama 標籤可能在內建上下文、提示模板或佈局上有所不同。