Itô 推理 是做什麼的?
ito-inference 是 ECC 中唯一用於 Itô 計算推理服務的標準技能。要求命名為 ito-serve 的請求會路由到此處;請勿建立或安裝第二個 ito-serve 技能。ECC 絕不會 SSH 到節點、下載權重、啟動引擎或暴露端點;它也不會進行預約、保留或花費。
當前生產邊界
託管服務目前無法使用。ECC 橋接器僅暴露 login、auth、find、status 以及明確閘控的 evals。它沒有 serve 命令。標準執行環境僅將 inference 記錄為不受支援的相容性探測;ECC 不會呼叫或依賴它。MCP 表面僅暴露 auth、find 和 status。本地可強制執行的保證是,ECC 在解析或生成攜帶憑證的標準用戶端之前,會拒絕 serve。
因此,請在身份驗證或任何命令調用之前停止。回報缺少的功能並返回給發起代理。絕不要替代使用本機執行器、SSH 輔助工具、瀏覽器工作流程、購買端點或任何未追蹤的本地 ito-serve 草稿。
必要的授權
當服務實現時,其第一個關卡是伺服器驗證過的完整預約。記憶體、詢價單、報價、節點 IP 或 SSH 存取都不是授權的證明。後端必須返回綁定到已認證帳戶、預約、GPU 拓撲、區域、網路結構、租期和模型策略的最新服務資格。已過期、已撤銷、不匹配、不完整或已釋放的預約在確認前會失敗閉合。
未來 CLI 與 API 合約
預期的命令名稱是 serve;在生產合約落地後,inference 可能僅保留為明確棄用的相容性別名。未來移交必須等同於:
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
審查過的清單必須標識模型修訂版、引擎與版本、量化方式、張量/管線拓撲、端點暴露策略、工件校驗和、儲存上限、執行時間限制、可選的 TTFT/TPOT 目標以及最大增量成本。任何原始 API 金鑰、SSH 金鑰、節點密碼或持有者權杖都不應出現在參數、清單、日誌、MCP 結果或交談中。
用戶端必須規範化清單路徑、拒絕符號連結、開啟不跟隨連結的常規檔案、要求適當的所有權和限制性權限、強制限制大小,並從開啟的描述符中對位元組進行雜湊。該摘要必須與工作負載變更前綁定到確認中的摘要完全相等。路徑交換、摘要不匹配、檔案過大或可變的不安全檔案會失敗閉合。
標準 API(非 ECC)必須擁有工作負載創建權,並返回結構化 JSON,包含 ok、live_api_contacted、notice 以及 data 或 error。服務資料必須包含穩定的預約、工作負載、清單和冪等 ID,以及一個狀態列舉;在健康檢查和模型檢查通過之前,不得聲稱端點已上線。錯誤必須包含穩定的錯誤碼和安全的訊息,不得洩漏機密。
確認與執行關卡
在工作負載創建之前,需要滿足以下所有條件:
- 來自標準後端的最新授權和服務資格。
- 可審查的不可變清單和確定性摘要。
- 一個單次使用的確認,綁定到帳戶、動作、清單和成本,具有短暫的到期時間和重播保護。CLI 參數僅攜帶不透明、非授權的確認參考;伺服器會離線解析並消耗該承載能力。
- 呼叫者提供的冪等金鑰,與工作負載原子性地保留。
- 伺服器端的網路結構、容量、模型策略、儲存和成本驗證。
身份驗證是身份,而非工作負載授權。登入、API 金鑰、報價或完成的預約絕不能替代服務確認。檢查和計劃生成不得建立工作負載。取消和清理是獨立的變更操作,具有各自範圍的確認和冪等邊界。
生命週期與復原
在相同的標準用戶端公開租戶範圍的狀態、日誌、指標、取消和清理操作之前,生產表面是不完整的。每個操作都需要有界連線和總逾時、感知撤銷的錯誤以及結構化輸出。在出現模糊的傳輸失敗後,應先透過冪等金鑰查詢狀態再重試;絕不要僅僅因為第一個回應遺失就建立第二個工作負載。已撤銷的憑證會停止輪詢並將控制權返回給發起代理,而不會自動開始登入。
僅在端點健康、模型身份和金絲雀推理都通過後,才報告 ready。誠實地報告中間和最終的失敗狀態。清理必須是可觀察的,且不得釋放或修改底層預約,除非該獨立的經濟行為已獲得明確授權。
提議的後端階段
這些階段描述的是未來後端,而非 ECC 中現有的程式碼:
- 驗證授權、拓撲、網路結構和成本關卡。
- 將校驗和固定的權重提取到後端管理的儲存中。
- 發出並驗證可審查的拓撲/引擎計劃。
- 透過提供者控制平面啟動,絕不從 ECC 直接 root SSH。
- 預熱、測試健康與模型身份、執行 SLO 金絲雀,然後註冊端點和脫敏配置。
在標準執行環境中上述每個關卡和生命週期操作都存在之前,此技能將保持為失敗閉合的可用性檢查和文件移交。