Itô 추론
ito-inference는 Itô 컴퓨팅에서 추론 제공을 위한 유일한 공식 ECC 스킬입니다. ito-serve를 명명하는 요청은 여기로 라우팅됩니다. 두 번째 ito-serve 스킬을 생성하거나 설치하지 마십시오. ECC는 노드에 SSH로 접속하거나, 가중치를 다운로드하거나, 엔진을 시작하거나, 엔드포인트를 노출하지 않으며, 예약, 예약 유지 또는 비용을 지불하지 않습니다.
현재 프로덕션 경계
현재 관리형 제공은 제공되지 않습니다. ECC 브리지는 login, auth, find, status 및 명시적으로 제한된 evals만 노출합니다. serve 동사는 없습니다. 공식 런타임은 inference를 지원되지 않는 호환성 프로브로만 문서화합니다. ECC는 이를 호출하거나 의존하지 않습니다. MCP 표면은 auth, find 및 status만 노출합니다. 로컬에서 시행 가능한 보장은 ECC가 자격 증명을 보유한 공식 클라이언트를 확인하거나 생성하기 전에 serve를 거부한다는 것입니다.
따라서 인증 또는 명령 호출 전에 중단하십시오. 누락된 기능을 보고하고 원래 에이전트로 돌아가십시오. 로컬 러너, SSH 헬퍼, 브라우저 워크플로우, 구매 엔드포인트 또는 추적되지 않은 로컬 ito-serve 초안을 대체하지 마십시오.
필수 자격
제공 기능이 구현되면 첫 번째 관문은 서버가 확인한 완료 예약입니다. 하네스 메모리, RFQ, 견적, 노드 IP 또는 SSH 액세스는 자격 증명이 아닙니다. 백엔드는 인증된 계정, 예약, GPU 토폴로지, 리전, 패브릭, 기간 및 모델 정책에 바인딩된 새로운 제공 적격성을 반환해야 합니다. 만료되거나, 취소되거나, 일치하지 않거나, 불완전하거나 이미 해제된 예약은 확인 전에 실패로 종료됩니다.
미래 CLI 및 API 계약
의도된 명령어 이름은 serve입니다. inference는 프로덕션 계약이 적용된 후 명시적으로 더 이상 사용되지 않는 호환성 별칭으로만 남을 수 있습니다. 미래의 핸드오프는 다음과 동등해야 합니다.
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
검토된 매니페스트는 모델 개정, 엔진 및 버전, 양자화, 텐서/파이프라인 토폴로지, 엔드포인트 노출 정책, 아티팩트 체크섬, 스토리지 상한, 런타임 제한, 선택적 TTFT/TPOT 목표 및 최대 증분 비용을 식별해야 합니다. 원시 API 키, SSH 키, 노드 비밀번호 또는 베어러 토큰은 인수, 매니페스트, 로그, MCP 결과 또는 채팅에 속하지 않습니다.
클라이언트는 매니페스트 경로를 표준화하고, 심볼릭 링크를 거부하고, 링크를 따르지 않고 일반 파일을 열고, 적절한 소유권과 제한적인 권한을 요구하고, 제한된 크기를 적용하고, 열린 디스크립터에서 바이트 해시를 생성해야 합니다. 해당 다이제스트는 워크로드 변경 전에 확인에 바인딩된 다이제스트와 정확히 일치해야 합니다. 경로 스와핑, 다이제스트 불일치, 초과 크기 파일 또는 변경 가능한 안전하지 않은 파일은 실패로 종료됩니다.
ECC가 아닌 공식 API가 워크로드 생성을 소유하고 ok, live_api_contacted, notice 및 data 또는 error가 포함된 구조화된 JSON을 반환해야 합니다. 제공 데이터에는 안정적인 예약, 워크로드, 매니페스트 및 멱등성 ID와 함께 상태 열거형이 포함되어야 합니다. 상태 및 모델 검사가 통과할 때까지 엔드포인트가 활성 상태라고 주장해서는 안 됩니다. 오류에는 안정적인 코드와 비밀을 포함하지 않는 안전한 메시지가 포함되어야 합니다.
확인 및 실행 게이트
워크로드 생성 전에 다음 모든 사항이 필요합니다.
- 공식 백엔드로부터의 새로운 자격 및 제공 적격성.
- 검토 가능한 변경 불가능한 매니페스트 및 결정적 다이제스트.
- 계정, 작업, 매니페스트 및 비용에 바인딩된 별도의 단일 사용 확인. 짧은 만료 및 재생 방지 기능이 있습니다. CLI 인수는 불투명하고 권한이 없는 확인 참조만 전달합니다. 서버는 대역 외에서 베어러 기능을 확인하고 소비합니다.
- 워크로드와 함께 원자적으로 예약된 호출자가 제공한 멱등성 키.
- 서버 측 패브릭, 용량, 모델 정책, 스토리지 및 비용 검증.
인증은 신원이며 워크로드 권한이 아닙니다. 로그인, API 키, 견적 또는 완료된 예약은 제공 확인을 대체하지 않습니다. 검사 및 계획 생성은 워크로드를 생성해서는 안 됩니다. 취소 및 정리는 자체 범위의 확인 및 멱등성 경계가 있는 별도의 변형입니다.
수명 주기 및 복구
동일한 공식 클라이언트가 테넌트 범위의 상태, 로그, 메트릭, 취소 및 정리 작업을 노출할 때까지 프로덕션 표면은 불완전합니다. 모든 작업에는 제한된 연결 및 전체 시간 초과, 해지 인식 오류 및 구조화된 출력이 필요합니다. 모호한 전송 실패 후에는 재시도하기 전에 멱등성 키로 상태를 쿼리합니다. 첫 번째 응답이 손실되었다는 이유만으로 두 번째 워크로드를 생성하지 마십시오. 해지된 자격 증명은 폴링을 중지하고 자동으로 로그인을 시작하지 않고 원래 에이전트에 제어를 반환합니다.
엔드포인트 상태, 모델 정체성 및 카나리 추론이 모두 통과한 후에만 ready를 보고합니다. 중간 및 최종 실패 상태를 정직하게 보고합니다. 정리는 관찰 가능해야 하며, 별도의 경제적 조치가 명시적으로 승인되지 않은 한 기본 예약을 해제하거나 수정해서는 안 됩니다.
제안된 백엔드 단계
이러한 단계는 ECC에 존재하는 코드가 아닌 미래 백엔드를 설명합니다.
- 자격, 토폴로지, 패브릭 및 비용 게이트를 확인합니다.
- 체크섬 고정 가중치를 백엔드 관리 스토리지로 가져옵니다.
- 검토 가능한 토폴로지/엔진 계획을 내보내고 검증합니다.
- ECC에서 직접 루트 SSH가 아닌 제공자 제어 평면을 통해 시작합니다.
- 웜업, 상태 및 모델 정체성 테스트, SLO 카나리 실행 후 엔드포인트 및 수정된 구성을 등록합니다.
위의 모든 게이트 및 수명 주기 작업이 공식 런타임에 존재할 때까지 이 스킬은 fail-closed 가용성 확인 및 문서 전달 역할을 합니다.