Itô 推理 是做什么的?
ito-inference 是 ECC 中用于在 Itô 计算资源上进行推理服务的唯一规范技能。
请求命名 ito-serve 的路由将到达此处;请勿创建或安装第二个 ito-serve 技能。
ECC 从不 SSH 到节点、下载权重、启动引擎或暴露端点;它从不预订、预留或支出。
当前生产边界
托管服务今天不可用。ECC 桥接仅暴露 login、auth、find、status 和明确门控的 evals。
它没有 serve 动词。规范运行时将 inference 仅作为不受支持的兼容性探针记录;
ECC 不会调用或依赖它。MCP 表面仅暴露 auth、find 和 status。
本地可执行的保证是 ECC 在解析或生成承载凭据的规范客户端之前拒绝 serve。
因此,在认证或任何命令调用之前停止。报告缺失的能力并返回给原始代理。
绝不要替代本地运行器、SSH 辅助工具、浏览器工作流、购买端点或任何未追踪的本地 ito-serve 草案。
必需的授权
当服务实现时,其第一个门控是服务器验证的已完成预订。 利用内存、RFQ、报价、节点 IP 或 SSH 访问并非授权的证明。 后端必须返回绑定到经过认证的账户、预订、GPU 拓扑、区域、网络、期限和模型策略的最新服务资格。 过期、撤销、不匹配、不完整或已释放的预订在确认前失败关闭。
未来的 CLI 和 API 合约
预期的命令名称是 serve;在生产合约落地后,inference 可能仅作为明确弃用的兼容性别名保留。
未来的移交必须等同于:
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
审核后的清单必须标识模型修订版、引擎和版本、量化、张量/管道拓扑、端点暴露策略、工件校验和、存储上限、运行时限制、可选的 TTFT/TPOT 目标以及最大增量成本。 原始 API 密钥、SSH 密钥、节点密码或令牌不得出现在参数、清单、日志、MCP 结果或聊天中。
客户端必须规范化清单路径,拒绝符号链接,在不跟随链接的情况下打开常规文件,要求适当的所有权和限制性权限,强制执行有界大小,并从打开的描述符中对字节进行哈希。 该摘要必须恰好等于在确认中绑定的摘要,之后才能进行任何工作负载变更。 路径交换、摘要不匹配、文件过大或可变的不安全文件都会失败关闭。
规范 API(而非 ECC)必须拥有工作负载创建权,并返回结构化 JSON,包含 ok、live_api_contacted、notice 以及 data 或 error。
服务数据必须包含稳定的预订、工作负载、清单和幂等性 ID 以及状态枚举;
在健康检查和模型检查通过之前,不得声明端点已在线。
错误必须包含稳定的代码和安全的消息,不包含机密信息。
确认和执行门控
在工作负载创建之前,需要满足以下所有条件:
- 来自规范后端的最新授权和服务资格。
- 可审核的不可变清单和确定性摘要。
- 一个单独的一次性确认,绑定到账户、操作、清单和成本,并具有短过期时间和重放保护。CLI 参数仅携带一个不透明的、非授权确认引用;服务器在带外解析并消耗承载能力。
- 调用方提供的幂等性密钥,与工作负载原子性预留。
- 服务器端的网络、容量、模型策略、存储和成本验证。
认证是身份,而不是工作负载权限。登录、API 密钥、报价或已完成预订绝不能替代服务确认。 检查和计划生成不得创建工作负载。取消和清理是独立的变更操作,具有各自的作用域确认和幂等性边界。
生命周期和恢复
生产表面直到同一规范客户端暴露租户范围的状态、日志、指标、取消和清理操作时才完整。 每个操作都需要有界连接和总体超时、感知撤销的错误以及结构化输出。 在模糊的传输故障后,在重试之前通过幂等性密钥查询状态;绝不要仅仅因为第一个响应丢失而创建第二个工作负载。 撤销的凭据会停止轮询并将控制权返回给原始代理,而不会自动开始登录。
仅在端点健康、模型身份和金丝雀推理全部通过后报告 ready。
诚实报告中间和终端故障状态。清理必须是可观察的,并且不得释放或修改底层预订,除非该单独的经济操作得到明确授权。
提议的后端阶段
这些阶段描述了未来的后端,而不是 ECC 中存在的代码:
- 验证授权、拓扑、网络和成本门控。
- 将校验和固定的权重取回到后端管理的存储中。
- 生成并验证可审核的拓扑/引擎计划。
- 通过提供商控制平面启动,而不是从 ECC 直接 root SSH。
- 预热、测试健康和模型身份、运行 SLO 金丝雀,然后注册端点和编辑后的配置。
在规范运行时中存在每个门控和生命周期操作之前,此技能仍然是一个失败关闭的可用性检查和文档移交。