evaluar-lanzamiento-ai

Evaluar un lanzamiento de IA

Usa RAGOps como evaluador determinista. Trata su resultado como evidencia de lanzamiento, no como prueba de que un sistema es universalmente correcto o seguro.

Flujo de trabajo

1. Identifica el escenario, las respuestas o trazas candidatas, la línea base aceptada y los umbrales de política. No inventes elementos faltantes.
2. Lee references/commands.md al seleccionar el comando de RAGOps o interpretar los códigos de salida.
3. Inspecciona las entradas en busca de secretos o datos personales antes de ejecutar una evaluación. Mantén los informes generados privados a menos que el usuario apruebe compartirlos.
4. Ejecuta el comando aplicable más específico mediante python3 scripts/run_ragops.py ... desde este directorio de la habilidad.
5. Interpreta el código de salida 0 como PASS y el código de salida 2 como un BLOCK evaluado, no como un error de ejecución. Trata otros códigos distintos de cero como errores operativos.
6. Reporta la decisión, las compuertas fallidas, las diferencias métricas relevantes, las limitaciones de procedencia y la siguiente acción más pequeña.

Salvaguardas

• No debilites los umbrales, reemplaces la línea base aceptada ni omitas casos fallidos para obtener un aprobado.
• No afirmes corrección semántica cuando solo se hayan ejecutado comprobaciones léxicas o de citas.
• No ejecutes evaluaciones respaldadas por un proveedor a menos que el usuario suministre y autorice explícitamente la configuración del proveedor.
• No publiques, fusiones, etiquetes ni despliegues basándote únicamente en la salida de esta habilidad.
• Conserva los artefactos de entrada y los parámetros del comando en la evidencia final para que otro revisor pueda reproducir el resultado.

Salida

Devuelve una recomendación de lanzamiento concisa con: decision, evidence, failed_gates, limitations y next_action.