Acheminement des modèles Hermes

Que fait Acheminement des modèles Hermes ?

Configurez le modèle Hermes principal, les itinéraires de repli et auxiliaires en fonction de la disponibilité des comptes en direct et des performances locales mesurées. Optimisez la route configurée, pas un classement générique.

Procédure

1. Découvrez l'état actif avant de recommander ou de modifier quoi que ce soit.

   • Chargez la compétence hermes-agent, puis inspectez ~/.hermes/config.yaml, hermes auth list, hermes fallback list et hermes config check.
   • Inspectez le catalogue ou le cache du sélecteur de modèle authentifié pour obtenir les identifiants exacts des modèles gratuits, enregistrez son heure de rafraîchissement et traitez la disponibilité :free comme volatile.
   • Interrogez les balises en direct de chaque point de terminaison local prévu et utilisez la balise exacte qui a été benchmarkée.

2. Établissez la politique de routage.

   • Par défaut, utilisez un modèle cloud gratuit actuellement disponible uniquement pour les travaux non sensibles lorsque c'est la politique déclarée de l'utilisateur.
   • Fournissez toujours un itinéraire local explicite pour les dépôts propriétaires, les secrets, les données clients et les images privées ; un cloud par défaut ne peut pas déduire la sensibilité des données.
   • Placez les points de terminaison locaux hébergés indépendamment dans fallback_providers ordonnés ; utilisez provider: custom plus l'URL de base /v1 de chaque point de terminaison pour chaque entrée.

3. Filtrez et assignez les modèles.

   • Benchmarquez à la fenêtre de contexte que la route Hermes finale utilisera, remplissez-la presque complètement et enregistrez les taux de prompt et de décodage séparément.
   • Excluez tout candidat filtré pour dépassement de délai ou débit de décodage du classement comparatif et de toutes les routes automatiques. Mentionnez-le uniquement comme probablement inadapté pour cet hôte/contexte, pas comme un jugement sur la capacité du modèle de base.
   • Acheminez la compression, le conservateur et la révision vers des modèles locaux capables car ils peuvent recevoir le contexte accumulé de la conversation ou du dépôt.
   • N'assignez des modèles locaux économiques à l'approbation, la génération de titres et la description de profil qu'après avoir confirmé que leurs performances pour les tâches courtes sont suffisantes.
   • Utilisez la vision cloud uniquement pour les images non privées, avec un repli local explicite pour la vision lorsqu'il est disponible.

4. Produisez un fragment de configuration vérifiable.

   • Donnez le modèle par défaut, les replis ordonnés et chaque tâche auxiliaire sous forme de YAML concret avec des valeurs exactes de fournisseur/modèle/URL de base.
   • Indiquez si le fragment a été recommandé ou appliqué. Ne modifiez pas le profil actif sans demande explicite.
   • Validez le YAML généré ; après une modification appliquée, exécutez hermes config check et lisez hermes fallback list.

Pièges à éviter

• Configurez une fallback_chain auxiliaire explicite lorsqu'un fournisseur principal est sélectionné ; Hermes ne consomme pas silencieusement les fournisseurs authentifiés non liés derrière une route explicite.
• Utilisez fallback_providers plutôt que l'ancienne clé de repli singulière ; la liste préserve l'ordre prévu et est ce que le gestionnaire de repli Hermes écrit.
• Gardez les valeurs par défaut cloud gratuit et les routes pour données privées distinctes ; la disponibilité du compte ne crée pas d'autorisation d'envoyer des entrées propriétaires en externe.
• Ne placez pas les modèles exclus par le filtre de benchmark dans les replis automatiques ou les routes auxiliaires ; un repli qui viole le seuil de fonctionnement ne fait que déplacer la panne en aval.
• Conservez la balise exacte du modèle dans la configuration ; des balises Ollama similaires peuvent différer dans le contexte intégré, le modèle de prompt ou le placement.