Itô 推論 は何をしますか？
ito-inference は、Itô コンピュート上で推論サービングを行うための唯一の正規 ECC スキルです。ito-serve を名乗るリクエストはここにルーティングされます。2 つ目の ito-serve スキルを作成またはインストールしないでください。ECC はノードに SSH 接続したり、重みをダウンロードしたり、エンジンを起動したり、エンドポイントを公開したりすることはありません。また、予約、予約確保、支出を行うこともありません。
現在のプロダクション境界
管理サービングは現在利用できません。ECC ブリッジは login、auth、find、status、および明示的にゲートされた evals のみを公開しています。serve 動詞はありません。正規ランタイムは inference をサポートされていない互換性プローブとしてのみ文書化しており、ECC はそれを呼び出したり依存したりしません。MCP サーフェスは auth、find、status のみを公開します。ローカルで強制可能な保証は、ECC が資格情報を保持する正規クライアントを解決または起動する前に serve を拒否することです。
したがって、認証やコマンド呼び出しの前に停止してください。欠落している機能を報告し、元のエージェントに戻ってください。ローカルランナー、SSH ヘルパー、ブラウザワークフロー、購入エンドポイント、または追跡されていないローカルの ito-serve ドラフトに代用しないでください。
必要となる権限
サービングが実装された場合、その最初のゲートはサーバー検証済みの完了した予約です。ハーネスメモリ、RFQ、見積もり、ノード IP、SSH アクセスは権限の証明にはなりません。バックエンドは、認証されたアカウント、予約、GPU トポロジ、リージョン、ファブリック、期間、モデルポリシーにバインドされた、新しいサービング資格を返す必要があります。期限切れ、取り消し済み、不一致、不完全、または既に解放された予約は、確認前にクローズドで失敗します。
将来の CLI および API 契約
意図されたコマンド名は serve です。inference は、プロダクション契約が適用された後、明示的に非推奨となった互換性エイリアスとしてのみ残る可能性があります。将来のハンドオフは以下と同等でなければなりません：
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
レビューされたマニフェストは、モデルリビジョン、エンジンとバージョン、量子化、テンソル/パイプライントポロジ、エンドポイント公開ポリシー、アーティファクトチェックサム、ストレージ上限、実行時制限、オプションの TTFT/TPOT 目標、最大増分コストを特定する必要があります。生の API キー、SSH キー、ノードパスワード、ベアラートークンは、引数、マニフェスト、ログ、MCP 結果、チャットに含めてはなりません。
クライアントはマニフェストパスを正規化し、シンボリックリンクを拒否し、リンクをたどらずに通常のファイルを開き、適切な所有権と制限的なパーミッションを要求し、サイズを制限し、開かれたディスクリプタからバイトのハッシュを計算する必要があります。そのダイジェストは、ワークロードの変更前に確認にバインドされたダイジェストと完全に一致しなければなりません。パスのすり替え、ダイジェストの不一致、サイズ超過ファイル、または可変で安全でないファイルは、クローズドで失敗します。
正規 API（ECC ではない）がワークロード作成を所有し、ok、live_api_contacted、notice、および data または error を含む構造化 JSON を返す必要があります。サービングデータには、安定した予約、ワークロード、マニフェスト、冪等性 ID、および状態列挙型を含める必要があります。ヘルスチェックとモデルチェックが合格するまで、エンドポイントが稼働中であると主張してはなりません。エラーには、安定したコードと、秘密を含まない安全なメッセージを含める必要があります。
確認と実行ゲート
ワークロード作成前に、以下すべてを要求します：
- 正規バックエンドからの新しい権限とサービング資格。
- レビュー可能で変更不可能なマニフェストと決定論的ダイジェスト。
- アカウント、アクション、マニフェスト、コストにバインドされた、有効期限が短くリプレイ保護付きの、別個の単回使用確認。CLI 引数は、不透明で権限付与しない確認参照のみを運びます。サーバーはベアラー機能を帯域外で解決し消費します。
- 呼び出し元が提供し、ワークロードとアトミックに予約される冪等性キー。
- サーバー側のファブリック、キャパシティ、モデルポリシー、ストレージ、コストの検証。
認証はアイデンティティであり、ワークロード権限ではありません。ログイン、API キー、見積もり、完了した予約は、サービング確認の代用にはなりません。検査と計画生成はワークロードを作成してはなりません。キャンセルとクリーンアップは、それぞれスコープ付きの確認と冪等性境界を持つ別個の変更です。
ライフサイクルとリカバリ
同じ正規クライアントがテナントスコープのステータス、ログ、メトリクス、キャンセル、クリーンアップ操作を公開するまで、プロダクションサーフェスは不完全です。すべての操作には、制限付きの接続および全体タイムアウト、失効を認識するエラー、構造化出力が必要です。曖昧なトランスポート障害の後は、再試行する前に冪等性キーでステータスを照会してください。最初の応答が失われたという理由だけで 2 つ目のワークロードを作成しないでください。失効した資格情報はポーリングを停止し、自動的にログインを開始せずに元のエージェントに制御を戻します。
エンドポイントのヘルス、モデルアイデンティティ、カナリア推論のすべてが合格した後にのみ ready を報告してください。中間および最終的な障害状態を正直に報告してください。クリーンアップは観測可能でなければならず、明示的に承認された別個の経済的アクションでない限り、基礎となる予約を解放または変更してはなりません。
提案されるバックエンド段階
これらの段階は将来のバックエンドを説明するものであり、ECC に存在するコードではありません：
- 権限、トポロジ、ファブリック、コストゲートを検証します。
- チェックサム固定された重みをバックエンド管理ストレージにフェッチします。
- レビュー可能なトポロジ/エンジンプランを出力し検証します。
- プロバイダーコントロールプレーンを通じて起動します。ECC からの直接の root SSH は行いません。
- ウォームアップし、ヘルスとモデルアイデンティティをテストし、SLO カナリアを実行し、エンドポイントと秘匿設定を登録します。
上記のすべてのゲートとライフサイクル操作が正規ランタイムに存在するまで、このスキルはフェイルクローズドな可用性チェックとドキュメントハンドオフのままです。