Itô 推理 是做什麼的?
ito-inference 是 ECC 中用於在 Itô 計算資源上進行推理服務的唯一標準技能。
指定 ito-serve 的請求會路由至此;請勿建立或安裝第二個 ito-serve 技能。ECC 永遠不會 SSH 到節點、下載權重、啟動推理引擎或暴露端點;它也不會處理預約、保留或花費事宜。
當前生產邊界
受管理的服務目前尚不可用。ECC 橋接器僅暴露 login、auth、find、status 及明確限制的 evals 操作。它沒有 serve 指令。標準執行時期文件僅將 inference 標記為不受支援的相容性探測;ECC 不會呼叫或依賴它。MCP 表面僅暴露 auth、find 和 status。本技能可在地端強制保證的是,ECC 會在解析或產生承載憑證的標準用戶端之前拒絕 serve。
因此,請在驗證或任何指令呼叫之前停止。回報缺少此功能,並將控制權交還給發起代理。切勿替換為本機執行器、SSH 輔助程式、瀏覽器工作流程、購買端點或任何未追蹤的 ito-serve 草稿。
必要的資格
當服務功能實作後,其第一個門檻是經伺服器驗證的完成預約。叢集記憶體、邀標書 (RFQ)、報價單、節點 IP 或 SSH 存取權均不能證明資格。後端必須傳回與已驗證帳戶、預約、GPU 拓撲、區域、網路架構、租期及模型政策綁定的最新服務資格。已過期、已撤銷、不符、不完整或已釋放的預約,在確認前會以失敗關閉。
未來 CLI 與 API 合約
預期的指令名稱是 serve;inference 僅在生產合約生效後,作為明確標示為已棄用的相容性別名保留。未來的移交必須等同於:
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
經審查的清單必須標明模型修訂版、引擎與版本、量化方式、張量/管線拓撲、端點暴露策略、工件校驗和、儲存上限、執行時期限制、可選的 TTFT/TPOT 目標以及最大增量成本。任何原始 API 金鑰、SSH 金鑰、節點密碼或 Bearer 權杖都不得出現在引數、清單、日誌、MCP 結果或聊天訊息中。
用戶端必須標準化清單路徑、拒絕符號連結、以不跟隨連結的方式開啟一般檔案、要求適當的擁有權與嚴格的權限、強制限制檔案大小,並從已開啟的描述元計算位元組雜湊。該摘要必須與繫結到確認中的摘要完全相等,之後才能進行任何工作負載變更。路徑置換、摘要不符、檔案過大或可變動的不安全檔案會以失敗關閉。
標準 API(而非 ECC)必須擁有工作負載的建立權,並回傳包含 ok、live_api_contacted、notice 以及 data 或 error 的結構化 JSON。服務資料必須包含穩定的預約 ID、工作負載 ID、清單 ID、冪等 ID 以及狀態列舉;在健康檢查與模型檢查通過之前,不得宣稱端點已上線。錯誤訊息必須包含穩定的錯誤代碼與安全的訊息,不得洩漏機密。
確認與執行門檻
在建立工作負載之前,必須滿足以下所有條件:
- 來自標準後端的最新資格與服務可用性。
- 可審查的不可變更清單與確定性摘要。
- 一個獨立的單次確認,與帳戶、動作、清單及成本綁定,具有短暫的有效期與重播保護。CLI 引數僅攜帶一個不透明、非授權的確認參考;伺服器會離線解析並消耗該承載能力。
- 由呼叫者提供的冪等金鑰,需與工作負載原子性地保留。
- 伺服器端的網路架構、容量、模型政策、儲存與成本驗證。
驗證是身分驗證,而非工作負載授權。登入、API 金鑰、報價單或完成的預約永遠不能取代服務確認。檢查與計畫產生不得建立工作負載。取消與清理是獨立的變更操作,各自有獨立的確認與冪等邊界。
生命週期與復原
在相同的標準用戶端公開租戶範圍的狀態、日誌、指標、取消與清理操作之前,生產表面仍不完整。每個操作都需要有限制的連線逾時與整體逾時、能感知撤銷狀態的錯誤訊息,以及結構化輸出。在發生不明確的傳輸失敗後,請先透過冪等金鑰查詢狀態,再進行重試;切勿僅僅因為第一個回應遺失就建立第二個工作負載。已撤銷的憑證會停止輪詢,並將控制權交還給發起代理,而不會自動開始登入。
只有在端點健康、模型身分與金絲雀推理測試均通過後,才能回報 ready。應誠實回報中間與最終的失敗狀態。清理必須是可觀察的,且不得釋放或修改底層的預約,除非該獨立的經濟行為已獲得明確授權。
提議的後端階段
以下階段描述的是未來的後端,而非 ECC 中現有的程式碼:
- 驗證資格、拓撲、網路架構與成本門檻。
- 將校驗和固定的權重提取至後端管理的儲存中。
- 產生並驗證可審查的拓撲/引擎計畫。
- 透過提供者控制平面啟動,絕不允許 ECC 直接以 root 身分 SSH 進入節點。
- 啟動、測試健康狀態與模型身分、執行 SLO 金絲雀測試,然後註冊端點與編輯過的設定。
在標準執行時期中的每個門檻與生命週期操作都實作完成之前,此技能仍只是一個失敗關閉的可用性檢查與文件移交。