Itô Inference
ito-inference는 Itô 컴퓨팅에서 추론 서빙을 위한 유일한 정식 ECC 스킬입니다.
ito-serve를 명명하는 요청은 여기로 라우팅됩니다. 두 번째 ito-serve 스킬을 생성하거나 설치하지 마십시오.
ECC는 노드에 SSH로 접속하거나, 가중치를 다운로드하거나, 엔진을 실행하거나, 엔드포인트를 노출하지 않습니다.
또한 예약, 예비, 지출을 수행하지 않습니다.
현재 프로덕션 경계
현재 관리형 서빙은 제공되지 않습니다. ECC 브리지는 login, auth, find, status 및 명시적으로 제한된 evals만 노출합니다.
serve 동사는 없습니다. 정식 런타임은 inference를 지원되지 않는 호환성 프로브로만 문서화합니다. ECC는 이를 호출하거나 의존하지 않습니다.
MCP 표면은 auth, find, status만 노출합니다. 로컬에서 시행 가능한 보장은 ECC가 자격 증명을 보유한 정식 클라이언트를 해결하거나 생성하기 전에 serve를 거부한다는 것입니다.
따라서 인증이나 명령 호출 전에 중단하십시오. 누락된 기능을 보고하고 원래 에이전트로 돌아가십시오. 로컬 실행기, SSH 도우미, 브라우저 워크플로우, 구매 엔드포인트 또는 추적되지 않은 로컬 ito-serve 초안을 대체하지 마십시오.
필수 자격
서빙이 구현되면 첫 번째 게이트는 서버에서 확인된 완료된 예약입니다. 하네스 메모리, RFQ, 견적, 노드 IP 또는 SSH 접근은 자격 증명이 아닙니다. 백엔드는 인증된 계정, 예약, GPU 토폴로지, 리전, 패브릭, 기간 및 모델 정책에 바인딩된 새로운 서빙 적격성을 반환해야 합니다. 만료, 취소, 불일치, 불완전 또는 이미 해제된 예약은 확인 전에 실패로 종료됩니다.
향후 CLI 및 API 계약
의도된 명령 이름은 serve입니다. inference는 프로덕션 계약이 적용된 후에만 명시적으로 더 이상 사용되지 않는 호환성 별칭으로 남을 수 있습니다.
향후 핸드오프는 다음 명령과 동일해야 합니다.
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
검토된 매니페스트는 모델 개정판, 엔진 및 버전, 양자화, 텐서/파이프라인 토폴로지, 엔드포인트 노출 정책, 아티팩트 체크섬, 스토리지 상한, 런타임 제한, 선택적 TTFT/TPOT 목표 및 최대 증분 비용을 식별해야 합니다. 원시 API 키, SSH 키, 노드 암호 또는 베어러 토큰은 인수, 매니페스트, 로그, MCP 결과 또는 채팅에 속하지 않습니다.
클라이언트는 매니페스트 경로를 표준화하고, 심볼릭 링크를 거부하고, 링크를 따르지 않고 일반 파일을 열고, 적절한 소유권과 제한적인 권한을 요구하고, 제한된 크기를 적용하고, 열린 디스크립터에서 바이트를 해싱해야 합니다. 해당 다이제스트는 워크로드 변경 전에 확인에 바인딩된 다이제스트와 정확히 일치해야 합니다. 경로 스왑, 다이제스트 불일치, 너무 큰 파일 또는 변경 가능한 안전하지 않은 파일은 실패로 종료됩니다.
정식 API(ECC 아님)는 워크로드 생성을 소유하고 구조화된 JSON(ok, live_api_contacted, notice 및 data 또는 error 포함)을 반환해야 합니다. 서빙 데이터에는 안정적인 예약, 워크로드, 매니페스트 및 멱등성 ID와 상태 열거형이 포함되어야 합니다. 상태 확인과 모델 검사가 통과할 때까지 엔드포인트가 활성 상태라고 주장해서는 안 됩니다. 오류에는 비밀 없이 안정적인 코드와 안전한 메시지가 포함되어야 합니다.
확인 및 실행 게이트
워크로드 생성 전에 다음 모든 사항을 요구하십시오.
- 정식 백엔드의 새로운 자격 및 서빙 적격성.
- 검토 가능한 불변 매니페스트 및 결정적 다이제스트.
- 계정, 작업, 매니페스트 및 비용에 바인딩된 별도의 단일 사용 확인. 짧은 만료 및 재생 방지 포함. CLI 인수는 불투명하고 권한이 없는 확인 참조만 전달합니다. 서버는 대역 외에서 베어러 기능을 해결하고 소비합니다.
- 호출자가 제공한 멱등성 키. 워크로드와 원자적으로 예약됩니다.
- 서버 측 패브릭, 용량, 모델 정책, 스토리지 및 비용 검증.
인증은 신원이지 워크로드 권한이 아닙니다. 로그인, API 키, 견적 또는 완료된 예약은 서빙 확인을 대체하지 않습니다. 검사 및 계획 생성은 워크로드를 생성해서는 안 됩니다. 취소 및 정리는 각각 고유한 범위의 확인 및 멱등성 경계가 있는 별도의 변경입니다.
수명 주기 및 복구
동일한 정식 클라이언트가 테넌트 범위의 상태, 로그, 메트릭, 취소 및 정리 작업을 노출할 때까지 프로덕션 표면은 불완전합니다. 모든 작업에는 제한된 연결 및 전체 시간 초과, 취소 인식 오류 및 구조화된 출력이 필요합니다. 모호한 전송 실패 후에는 재시도 전에 멱등성 키로 상태를 쿼리하십시오. 첫 번째 응답이 손실되었다고 해서 두 번째 워크로드를 생성하지 마십시오. 취소된 자격 증명은 폴링을 중지하고 로그인을 자동으로 시작하지 않고 제어를 원래 에이전트에 반환합니다.
엔드포인트 상태, 모델 동일성 및 카나리 추론이 모두 통과한 후에만 ready를 보고하십시오. 중간 및 최종 실패 상태를 정직하게 보고하십시오. 정리는 관찰 가능해야 하며, 명시적으로 승인된 별도의 경제적 조치가 아닌 한 기본 예약을 해제하거나 수정해서는 안 됩니다.
제안된 백엔드 단계
이 단계는 ECC에 존재하는 코드가 아닌 미래 백엔드를 설명합니다.
- 자격, 토폴로지, 패브릭 및 비용 게이트 확인.
- 체크섬이 고정된 가중치를 백엔드 관리 스토리지로 가져오기.
- 검토 가능한 토폴로지/엔진 계획 생성 및 검증.
- ECC의 직접적인 루트 SSH가 아닌 공급자 제어 평면을 통해 시작.
- 준비, 상태 및 모델 동일성 테스트, SLO 카나리 실행 후 엔드포인트 및 수정된 구성 등록.
위의 모든 게이트 및 수명 주기 작업이 정식 런타임에 존재할 때까지, 이 스킬은 실패 시 종료되는 가용성 확인 및 문서 전달 상태를 유지합니다.