Ciclo de Otimização com Benchmark
Use este skill para converter "torne isso 20x mais rápido" ou "tente 50 otimizações recursivas" em um loop medido e limitado que pode realmente melhorar um sistema.
Linha de Base Necessária
Não otimize até que estes existam:
- a operação que está sendo otimizada;
- o teste de correção que deve permanecer verde;
- a métrica: tempo real, latência p95, linhas/s, custo/execução, memória, taxa de erro;
- a linha de base atual;
- o orçamento de busca: máximo de variantes, tempo máximo, custo máximo, impacto máximo nos dados.
Se o usuário pedir um alvo irrealista, mantenha a ambição mas torne o loop limitado e mensurável.
Loop
- Meça a linha de base.
- Identifique gargalos a partir de evidências.
- Gere variantes que testem uma hipótese cada.
- Execute variantes com a mesma forma de entrada.
- Rejeite variantes que falhem em correção, segurança ou reprodutibilidade.
- Promova a variante mais rápida e segura.
- Codifique o caminho vencedor em um script, comando, teste, configuração ou documento.
- Execute novamente a linha de base e o vencedor para confirmar o delta.
Tabela de Variantes
Acompanhe variantes assim:
Variante | Hipótese | Comando | Tempo | Correto? | Notas
baseline | caminho atual | npm run job | 120s | sim | estável
batch-500 | menos viagens de ida e volta | npm run job -- --batch 500 | 42s | sim | vencedor
parallel-8 | mais workers | npm run job -- --workers 8 | 31s | não | limitado por taxa
Busca Recursiva
Para trabalho recursivo ou de hiperparâmetros:
- persista cada execução em um registro;
- compare com o vencedor aceito anteriormente, não apenas a execução anterior;
- mantenha um conjunto de validação ou verificação de replay;
- pare quando a melhoria estiver dentro do ruído, a correção falhar, o custo exceder o orçamento, ou a busca começar a mudar mais variáveis do que pode explicar.
Use frases como "melhor variante segura medida" em vez de "ótimo global" a menos que o espaço de busca tenha sido realmente exaustivo.
Portão de Promoção
Uma variante não pode se tornar o novo padrão até que:
- os testes de correção passem;
- o delta de desempenho seja repetido ou explicado;
- o rollback seja óbvio;
- a mudança seja codificada no controle de origem ou em um runbook durável;
- o resumo final inclua comandos e medições exatos.