wan-huiyan/ml-feature-evaluator

O que ml-feature-evaluator faz?

Diagnóstico estruturado em 10 etapas para avaliação go/no-go de features em pipelines de ML em produção. Abrange gradiente de resultado, lacunas de cobertura, razão entropia/ganho, MI condicional, AUC incremental de CV e segurança temporal em 9 pontos. Uma skill para Claude Code.

Visão Geral

Esta skill implementa um processo de diagnóstico rigoroso de 10 etapas para determinar se uma nova feature deve ser integrada a um pipeline de ML em produção. A avaliação considera múltiplas dimensões críticas para garantir que a feature melhore o modelo sem introduzir riscos.

Etapas do Diagnóstico

1. Definição da Feature: Identificar e documentar a feature candidata, incluindo sua origem, tipo e domínio.
2. Avaliação do Gradiente de Resultado: Calcular o impacto da feature no resultado do modelo, medindo a variação na predição.
3. Análise de Lacunas de Cobertura: Verificar se a feature está disponível para todas as amostras relevantes, identificando possíveis vieses.
4. Cálculo da Razão Entropia/Ganho: Avaliar a informatividade da feature em relação à variável alvo, comparando entropia e ganho de informação.
5. Informação Mútua Condicional: Medir a dependência entre a feature e o alvo, condicionada a outras features existentes.
6. AUC Incremental de Validação Cruzada: Calcular o aumento na AUC do modelo ao adicionar a feature, validado por cross-validation.
7. Segurança Temporal em 9 Pontos: Verificar a estabilidade da feature ao longo do tempo, considerando 9 pontos de controle temporal.
8. Análise de Correlação: Examinar correlações com outras features para evitar multicolinearidade.
9. Teste de Significância Estatística: Aplicar testes estatísticos para confirmar a relevância da feature.
10. Decisão Final: Compilar os resultados e emitir uma recomendação go/no-go baseada em critérios pré-definidos.

Como Usar

Para utilizar esta skill no Claude Code, invoque-a com o nome wan-huiyan/ml-feature-evaluator e forneça os parâmetros necessários para a feature candidata. A skill gerará um relatório detalhado com as pontuações de cada etapa e a decisão final.

Critérios de Decisão

• Go: A feature atende a todos os critérios mínimos em cada etapa ou apresenta justificativa para exceções.
• No-Go: A feature falha em um ou mais critérios críticos sem justificativa adequada.

Exemplo de Saída

Etapa 1: Feature 'tempo_dia' definida.
Etapa 2: Gradiente de resultado = 0.35 (aceitável).
Etapa 3: Lacunas de cobertura: 5% (dentro do limite).
...
Decisão Final: GO