Apartment38/Agent-Skills

Hermes 모델 라우팅

라이브 계정 가용성과 측정된 로컬 성능을 기반으로 Hermes 모델, 폴백 및 보조 경로를 구성합니다. 일반적인 리더보드가 아닌 구성된 경로를 최적화합니다.

절차

1. 권장 또는 변경 전에 활성 상태를 파악합니다.

   • hermes-agent 스킬을 로드한 다음 ~/.hermes/config.yaml, hermes auth list, hermes fallback list, hermes config check를 검사합니다.
   • 인증된 모델 선택기 카탈로그 또는 캐시에서 정확한 무료 모델 ID를 검사하고, 새로 고침 시간을 기록하며, :free 가용성을 변동 가능한 것으로 처리합니다.
   • 모든 대상 로컬 엔드포인트의 라이브 태그를 쿼리하고 벤치마킹된 정확한 태그를 사용합니다.

2. 경로 정책을 수립합니다.

   • 민감하지 않은 작업에 대해서만 사용 가능한 무료 클라우드 모델을 기본값으로 사용하며, 이는 사용자가 명시한 정책인 경우에만 해당합니다.
   • 독점 저장소, 비밀, 고객 데이터 및 비공개 이미지에는 항상 명시적인 로컬 경로를 제공합니다. 클라우드 기본값은 데이터 민감도를 추론할 수 없습니다.
   • 독립적으로 호스팅되는 로컬 엔드포인트를 순서가 있는 fallback_providers에 배치합니다. 각 항목에 provider: custom과 엔드포인트의 /v1 기본 URL을 사용합니다.

3. 모델을 게이트하고 할당합니다.

   • 최종 Hermes 경로가 사용할 컨텍스트 윈도우에서 벤치마킹하고, 거의 채운 다음 프롬프트 및 디코드 속도를 별도로 저장합니다.
   • 시간 초과 또는 디코드 처리량으로 인해 게이트 처리된 후보는 비교 순위 및 모든 자동 경로에서 제외합니다. 기본 모델 성능에 대한 판단이 아니라 해당 호스트/컨텍스트에 적합하지 않을 가능성이 있다고만 언급합니다.
   • 압축, 큐레이터 및 검토 경로는 유능한 로컬 모델로 라우팅합니다. 이들은 누적된 대화 또는 저장소 컨텍스트를 수신할 수 있기 때문입니다.
   • 승인, 제목 생성 및 프로필 설명에는 값싼 로컬 모델을 할당하며, 해당 짧은 작업 성능이 충분한지 확인한 후에만 할당합니다.
   • 비공개 이미지가 아닌 경우에만 클라우드 비전을 사용하며, 사용 가능한 경우 명시적인 로컬 비전 폴백을 제공합니다.

4. 검토 가능한 구성 조각을 생성합니다.

   • 기본값, 순서가 지정된 폴백 및 모든 보조 작업을 정확한 provider/model/base URL 값과 함께 구체적인 YAML로 제공합니다.
   • 조각이 권장되었는지 아니면 적용되었는지 명시합니다. 명시적인 요청 없이 활성 프로필을 편집하지 마십시오.
   • 생성된 YAML의 유효성을 검증합니다. 적용된 편집 후 hermes config check를 실행하고 hermes fallback list를 다시 읽습니다.

함정

• 기본 공급자가 선택된 경우 명시적인 보조 fallback_chain을 구성하십시오. Hermes는 명시적 경로 뒤에 관련 없는 인증된 공급자를 자동으로 사용하지 않습니다.
• 레거시 단수 폴백 키 대신 fallback_providers를 사용하십시오. 목록은 의도된 순서를 유지하며, 이것이 Hermes 폴백 관리자가 기록하는 방식입니다.
• 무료 클라우드 기본값과 개인 데이터 경로를 구분하십시오. 계정 가용성이 독점 입력을 외부로 보낼 권한을 생성하지 않습니다.
• 벤치마크 게이트에서 제외된 모델을 자동 폴백 또는 보조 경로에 배치하지 마십시오. 운영 임계값을 위반하는 폴백은 단순히 다운스트림으로 장애를 이동시킬 뿐입니다.
• 구성에 정확한 모델 태그를 유지하십시오. 유사하게 명명된 Ollama 태그는 내장 컨텍스트, 프롬프트 템플릿 또는 배치가 다를 수 있습니다.