Itô Inference
ito-inference es la única habilidad canónica de ECC para el servicio de inferencia sobre cómputo Itô. Las solicitudes que nombran ito-serve se enrutan aquí; no cree ni instale una segunda habilidad ito-serve. ECC nunca usa SSH a los nodos, descarga pesos, lanza un motor o expone un endpoint; nunca reserva, aparta o gasta.
Límite de producción actual
El servicio administrado no está disponible hoy. El puente ECC solo expone login, auth, find, status y evals explícitamente limitados. No tiene un verbo serve. El runtime canónico documenta inference solo como una sonda de compatibilidad no soportada; ECC no lo invoca ni depende de él. La superficie MCP solo expone auth, find y status. La garantía localmente ejecutable es que ECC rechaza serve antes de resolver o generar el cliente canónico con credenciales.
Por lo tanto, deténgase antes de la autenticación o cualquier invocación de comando. Informe de la capacidad faltante y regrese al agente originador. Nunca sustituya un ejecutor local, un asistente SSH, un flujo de navegador, un endpoint de compra o cualquier borrador local de ito-serve no rastreado.
Derecho requerido
Cuando el servicio esté implementado, su primera puerta será una reserva completada verificada por servidor. La memoria del arnés, una RFQ, un presupuesto, IPs de nodo o acceso SSH no son prueba de derecho. El backend debe devolver elegibilidad de servicio fresca vinculada a la cuenta autenticada, la reserva, la topología GPU, la región, el tejido, el plazo y la política de modelo. Las reservas caducadas, revocadas, no coincidentes, incompletas o ya liberadas fallan de forma segura antes de la confirmación.
Futuro contrato CLI y API
El nombre de comando previsto es serve; inference puede permanecer solo como un alias de compatibilidad explícitamente obsoleto después de que el contrato de producción esté disponible. La futura entrega debe ser equivalente a:
ecc ito serve \
--booking <server-verified-booking-id> \
--manifest <absolute-reviewed-json-file> \
--confirmation-ref <opaque-non-authorizing-reference> \
--idempotency-key <stable-retry-key> \
--json
El manifiesto revisado debe identificar la revisión del modelo, el motor y la versión, la cuantización, la topología tensor/pipeline, la política de exposición del endpoint, los checksums de artefactos, el límite de almacenamiento, los límites de tiempo de ejecución, los objetivos TTFT/TPOT opcionales y el costo incremental máximo. Ninguna clave API cruda, clave SSH, contraseña de nodo o token portador debe estar en argumentos, manifiestos, registros, resultados MCP o chat.
El cliente debe canonicalizar la ruta del manifiesto, rechazar enlaces simbólicos, abrir un archivo regular sin seguir enlaces, requerir propiedad adecuada y permisos restrictivos, aplicar un tamaño acotado y aplicar hash a los bytes del descriptor abierto. Ese resumen debe ser exactamente igual al resumen vinculado en la confirmación antes de cualquier mutación de la carga de trabajo. Un intercambio de ruta, una discrepancia de resumen, un archivo demasiado grande o un archivo mutable inseguro falla de forma segura.
La API canónica (no ECC) debe poseer la creación de la carga de trabajo y devolver JSON estructurado con ok, live_api_contacted, notice y data o error. Los datos de servicio deben incluir IDs estables de reserva, carga de trabajo, manifiesto e idempotencia, más un enumerado de estado; no debe afirmar que un endpoint está activo hasta que pasen las comprobaciones de salud y modelo. Los errores deben incluir un código estable y un mensaje seguro sin secretos.
Confirmación y puertas de ejecución
Antes de la creación de la carga de trabajo, requiera todo lo siguiente:
- Derecho fresco y elegibilidad de servicio del backend canónico.
- Un manifiesto inmutable revisable y resumen determinista.
- Una confirmación separada de un solo uso vinculada a cuenta, acción, manifiesto y costo, con una expiración corta y protección contra repetición. Los argumentos CLI llevan solo una referencia de confirmación opaca y no autorizante; el servidor resuelve y consume la capacidad portadora fuera de banda.
- Una clave de idempotencia proporcionada por el llamante, reservada atómicamente con la carga de trabajo.
- Validación del lado del servidor de tejido, capacidad, política de modelo, almacenamiento y costo.
La autenticación es identidad, no autoridad de carga de trabajo. Un inicio de sesión, clave API, presupuesto o reserva completada nunca sustituyen a la confirmación de servicio. La inspección y la generación de planes no deben crear una carga de trabajo. La cancelación y la limpieza son mutaciones separadas con sus propios límites de confirmación e idempotencia.
Ciclo de vida y recuperación
La superficie de producción está incompleta hasta que el mismo cliente canónico exponga operaciones de estado, registros, métricas, cancelación y limpieza con ámbito de inquilino. Cada operación necesita tiempos de espera de conexión y totales acotados, errores que reconozcan revocaciones y salida estructurada. Después de un fallo de transporte ambiguo, consulte el estado mediante la clave de idempotencia antes de reintentar; nunca cree una segunda carga de trabajo solo porque la primera respuesta se perdió. Una credencial revocada detiene el sondeo y devuelve el control al agente originador sin iniciar sesión automáticamente.
Solo informe ready después de que la salud del endpoint, la identidad del modelo y la inferencia de prueba pasen todas. Informe los estados de fallo intermedios y terminales honestamente. La limpieza debe ser observable y no debe liberar ni modificar la reserva subyacente a menos que esa acción económica separada haya sido explícitamente autorizada.
Etapas propuestas del backend
Estas etapas describen el backend futuro, no código que exista en ECC:
- Verificar derecho, topología, tejido y puertas de costo.
- Obtener pesos fijados por checksum en almacenamiento administrado por el backend.
- Emitir y validar un plan de topología/motor revisable.
- Lanzar a través del plano de control del proveedor, nunca SSH raíz directo desde ECC.
- Calentar, probar salud e identidad del modelo, ejecutar un canario SLO, luego registrar el endpoint y la configuración censurada.
Hasta que cada puerta y operación de ciclo de vida anterior exista en el runtime canónico, esta habilidad sigue siendo una verificación de disponibilidad que falla de forma segura y una entrega de documentación.