Itô 推論 は何をしますか？
ito-inference は、Itô コンピュート上で推論サービングを行うための唯一の正規 ECC スキルです。ito-serve を指定するリクエストはここにルーティングされます。2 つ目の ito-serve スキルを作成またはインストールしないでください。ECC はノードに SSH 接続したり、ウェイトをダウンロードしたり、エンジンを起動したり、エンドポイントを公開したりしません。また、予約、リザーブ、支出を行うこともありません。
現在のプロダクション境界
マネージドサービングは現在利用できません。ECC ブリッジが公開するのは login、auth、find、status、および明示的にゲートされた evals のみです。serve 動詞はありません。正規ランタイムは inference をサポートされていない互換性プローブとしてのみ文書化しており、ECC はそれを呼び出したり依存したりしません。MCP サーフェスが公開するのは auth、find、status のみです。ローカルで強制可能な保証は、ECC が認証情報を保持する正規クライアントを解決または生成する前に serve を拒否することです。
したがって、認証やコマンド呼び出しの前に停止してください。欠落している機能を報告し、元のエージェントに戻ってください。ローカルランナー、SSH ヘルパー、ブラウザワークフロー、購入エンドポイント、または追跡されていないローカルの ito-serve ドラフトに代用しないでください。
必要な権限
サービングが実装された場合、その最初のゲートはサーバー検証済みの完了予約です。ハーネスメモリ、RFQ、見積もり、ノード IP、SSH アクセスは権限の証明にはなりません。バックエンドは、認証済みアカウント、予約、GPU トポロジ、リージョン、ファブリック、期間、モデルポリシーにバインドされた、新しいサービング適格性を返す必要があります。期限切れ、失効済み、不一致、不完全、または既に解放された予約は、確認前にクローズドで失敗します。
将来の CLI および API 契約
意図されたコマンド名は serve です。inference は、プロダクション契約が成立した後、明示的に非推奨とされた互換性エイリアスとしてのみ残る可能性があります。将来のハンドオフは以下と同等でなければなりません。
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
レビューされたマニフェストは、モデルリビジョン、エンジンとバージョン、量子化、テンソル/パイプライントポロジ、エンドポイント公開ポリシー、アーティファクトチェックサム、ストレージ上限、ランタイム制限、オプションの TTFT/TPOT 目標、最大増分コストを識別する必要があります。生の API キー、SSH キー、ノードパスワード、ベアラートークンは、引数、マニフェスト、ログ、MCP 結果、チャットに含めてはいけません。
クライアントはマニフェストパスを正規化し、シンボリックリンクを拒否し、リンクをたどらずに通常のファイルを開き、適切な所有権と制限付きパーミッションを要求し、サイズを制限し、開かれたディスクリプタからバイトをハッシュ化する必要があります。そのダイジェストは、ワークロードの変更前に確認にバインドされたダイジェストと正確に一致する必要があります。パスのスワップ、ダイジェストの不一致、サイズ超過ファイル、または可変で安全でないファイルはクローズドで失敗します。
ワークロード作成は正規 API（ECC ではありません）が所有し、ok、live_api_contacted、notice、および data または error を含む構造化 JSON を返す必要があります。サービングデータには、安定した予約、ワークロード、マニフェスト、冪等性 ID、および状態列挙型が含まれている必要があります。ヘルスチェックとモデルチェックが合格するまで、エンドポイントが稼働中であると主張してはいけません。エラーには安定したコードとシークレットを含まない安全なメッセージが含まれている必要があります。
確認と実行ゲート
ワークロード作成の前に、以下すべてが必要です。
- 正規バックエンドからの新しい権限とサービング適格性。
- レビュー可能な不変マニフェストと決定論的ダイジェスト。
- アカウント、アクション、マニフェスト、およびコストにバインドされた、短い有効期限とリプレイ保護を持つ個別の使い捨て確認。CLI 引数は不透明で非認可の確認参照のみを運びます。サーバーはベアラーケイパビリティを帯域外で解決および消費します。
- 呼び出し元が提供し、ワークロードとアトミックに予約される冪等性キー。
- サーバー側のファブリック、容量、モデルポリシー、ストレージ、およびコストの検証。
認証はアイデンティティであり、ワークロード権限ではありません。ログイン、API キー、見積もり、または完了予約は、サービング確認の代わりにはなりません。検査と計画生成はワークロードを作成してはいけません。キャンセルとクリーンアップは、それぞれスコープされた確認と冪等性境界を持つ個別の変更です。
ライフサイクルとリカバリ
同じ正規クライアントがテナントスコープのステータス、ログ、メトリクス、キャンセル、およびクリーンアップ操作を公開するまで、プロダクションサーフェスは不完全です。すべての操作には、制限された接続および全体的なタイムアウト、失効を認識するエラー、および構造化出力が必要です。あいまいなトランスポート障害の後は、最初の応答が失われたからといって 2 つ目のワークロードを作成するのではなく、冪等性キーでステータスを照会してから再試行してください。失効した認証情報はポーリングを停止し、自動的にログインを開始せずに元のエージェントに制御を戻します。
エンドポイントのヘルス、モデル ID、およびカナリア推論のすべてが合格した場合にのみ ready を報告してください。中間および最終の障害状態は正直に報告してください。クリーンアップは観測可能でなければならず、その個別の経済的アクションが明示的に承認されていない限り、基礎となる予約を解放または変更してはいけません。
提案されるバックエンドステージ
これらのステージは将来のバックエンドを説明するものであり、ECC に存在するコードではありません。
- 権限、トポロジ、ファブリック、およびコストゲートを検証します。
- チェックサム固定のウェイトをバックエンド管理ストレージにフェッチします。
- レビュー可能なトポロジ/エンジンプランを発行および検証します。
- プロバイダーコントロールプレーンを介して起動します。ECC から直接ルート SSH を使用しないでください。
- ウォームアップし、ヘルスとモデル ID をテストし、SLO カナリアを実行してから、エンドポイントと秘匿化された設定を登録します。
上記のすべてのゲートとライフサイクル操作が正規ランタイムに存在するまで、このスキルはクローズドで失敗する可用性チェックとドキュメントのハンドオフのままです。