benchmark-optimization-loop

Bucle de Optimización con Benchmarks

Usa este skill para convertir "hazlo 20 veces más rápido" o "prueba 50 optimizaciones recursivas" en un bucle de medición acotado que realmente pueda mejorar un sistema.

Línea Base Requerida

No optimices hasta que existan:

• la operación que se está optimizando;
• la puerta de corrección que debe permanecer verde;
• la métrica: tiempo de ejecución, latencia p95, filas/segundo, costo/ejecución, memoria, tasa de error;
• la línea base actual;
• el presupuesto de búsqueda: variantes máximas, tiempo máximo, gasto máximo, impacto máximo en datos.

Si el usuario pide un objetivo poco realista, mantén la ambición pero haz que el bucle sea acotado y medible.

Bucle

1. Mide la línea base.
2. Identifica cuellos de botella a partir de evidencia.
3. Genera variantes que prueben una hipótesis cada una.
4. Ejecuta variantes con la misma forma de entrada.
5. Rechaza variantes que fallen en corrección, seguridad o reproducibilidad.
6. Promueve la variante segura más rápida.
7. Codifica el camino ganador en un script, comando, prueba, configuración o documento.
8. Vuelve a ejecutar la línea base y el ganador para confirmar el delta.

Tabla de Variantes

Registra las variantes de esta manera:

Variante   | Hipótesis               | Comando                        | Tiempo | ¿Correcta? | Notas
baseline   | ruta actual              | npm run job                    | 120s   | sí         | estable
batch-500  | menos viajes de ida/vuelta| npm run job -- --batch 500     | 42s    | sí         | ganador
parallel-8 | más workers              | npm run job -- --workers 8     | 31s    | no         | limitado por tasa

Búsqueda Recursiva

Para trabajo recursivo o de hiperparámetros:

• persiste cada ejecución en un registro;
• compara contra el ganador aceptado anterior, no solo contra la ejecución previa;
• mantén una comprobación de reserva o reproducción;
• detente cuando la mejora esté dentro del ruido, falle la corrección, el costo supere el presupuesto, o la búsqueda empiece a cambiar más variables de las que puede explicar.

Usa frases como "mejor variante segura medida" en lugar de "óptimo global" a menos que el espacio de búsqueda haya sido realmente exhaustivo.

Puerta de Promoción

Una variante no puede convertirse en la nueva predeterminada hasta que:

• las pruebas de corrección pasen;
• el delta de rendimiento se repita o explique;
• la reversión sea obvia;
• el cambio esté codificado en control de versiones o en un runbook duradero;
• el resumen final incluya comandos y mediciones exactas.