Itô 推理 是做什么的?
ito-inference 是 ECC 中用于推理服务的唯一规范技能。请求 ito-serve 将路由至此;不要创建或安装第二个 ito-serve 技能。ECC 从不通过 SSH 访问节点、下载权重、启动引擎或暴露端点;它从不预订、预留或消费资源。
当前生产边界
托管服务当前不可用。ECC 桥仅暴露 login、auth、find、status 以及显式门控的 evals。它没有 serve 动词。规范运行时仅将 inference 记录为不受支持的兼容性探测;ECC 不会调用或依赖它。MCP 表面仅暴露 auth、find 和 status。本地可执行的保证是:ECC 在解析或生成承载凭据的规范客户端之前拒绝 serve。
因此,在进行身份验证或任何命令调用之前停止。报告缺失的能力并返回到原始代理。切勿替换为本地运行器、SSH 辅助工具、浏览器工作流、购买端点或任何未跟踪的本地 ito-serve 草稿。
必需的权限
当服务实现后,其第一道关卡是服务器验证的已完成预订。内存、RFQ、报价、节点 IP 或 SSH 访问都不是权限的证明。后端必须返回与已验证账户、预订、GPU 拓扑、区域、网络、期限和模型策略绑定的新鲜服务资格。过期、撤销、不匹配、不完整或已释放的预订在确认前将失败关闭。
未来 CLI 和 API 合约
预期的命令名称是 serve;在生产合约落地后,inference 可能仅作为显式弃用的兼容性别名保留。未来的移交必须等效于:
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
已审查的清单必须标识模型版本、引擎和版本、量化、张量/管道拓扑、端点暴露策略、工件校验和、存储上限、运行时限制、可选的 TTFT/TPOT 目标和最大增量成本。原始 API 密钥、SSH 密钥、节点密码或承载令牌不属于参数、清单、日志、MCP 结果或聊天内容。
客户端必须规范化清单路径、拒绝符号链接、在不跟随链接的情况下打开常规文件、要求适当的权限和限制性权限、强制限制文件大小,并从打开的描述符中计算字节哈希。该摘要必须与在工作负载变更之前绑定到确认的摘要完全相等。路径交换、摘要不匹配、文件过大或可变的不安全文件将失败关闭。
规范 API(而非 ECC)必须拥有工作负载创建权,并返回包含 ok、live_api_contacted、notice 以及 data 或 error 的结构化 JSON。服务数据必须包含稳定的预订、工作负载、清单和幂等 ID 以及状态枚举;在健康检查和模型检查通过之前,不得声明端点处于活动状态。错误必须包含稳定的错误代码和安全消息,不包含秘密信息。
确认和执行门控
在创建工作负载之前,需要满足以下所有条件:
- 来自规范后端的最新资格和服务可用性。
- 可审查的不可变清单和确定性摘要。
- 一个单独的单向确认,绑定到账户、操作、清单和成本,具有短有效期和重放保护。CLI 参数仅携带一个不透明的、非授权的确认引用;服务器解析并消耗外部承载能力。
- 调用者提供的幂等键,与工作负载原子地预留。
- 服务器端的网络、容量、模型策略、存储和成本验证。
身份验证是身份的确认,而非工作负载的授权。登录、API 密钥、报价或已完成预订绝不能替代服务确认。检查和计划生成不得创建工作负载。取消和清理是独立的变更操作,具有各自的作用域确认和幂等边界。
生命周期和恢复
生产表面不完整,直到同一规范客户端暴露租户作用域的状态、日志、指标、取消和清理操作。每个操作都需要有限连接和总体超时、感知撤销的错误以及结构化输出。在模棱两可的传输故障后,在重试之前使用幂等键查询状态;绝不要仅仅因为第一个响应丢失就创建第二个工作负载。撤销的凭据停止轮询并将控制权返回给原始代理,无需自动启动登录。
仅在端点健康、模型身份和金丝雀推理全部通过后才报告 ready。诚实地报告中间和终端失败状态。清理必须是可观察的,并且不得释放或修改底层预订,除非该独立的经济操作已获得显式授权。
提议的后端阶段
这些阶段描述了未来的后端,而不是 ECC 中存在的代码:
- 验证资格、拓扑、网络和成本门控。
- 将校验和固定的权重提取到后端管理的存储中。
- 发出并验证可审查的拓扑/引擎计划。
- 通过提供商控制平面启动,而不是通过 ECC 直接 root SSH。
- 预热、测试健康和模型身份、运行 SLO 金丝雀,然后注册端点和修订后的配置。
在规范运行时中存在每个门控和生命周期操作之前,此技能仍然是一个失败关闭的可用性检查和文档交接。