O que ai-dataset-quality-audit-agent-skill faz?
📊 Auditoria de Qualidade de Datasets de Treinamento de IA | Habilidade Codex de nível de produção para auditoria de datasets de pré-treinamento (equilíbrio, viés, vazamento, adequação ética). Vincula pontuações a estruturas nomeadas (NIST, Fichas Técnicas de Gebru) e usa um pipeline crawl4ai.
Visão Geral
Esta habilidade automatiza a auditoria de qualidade de datasets usados no treinamento de modelos de IA. Ela verifica:
- Equilíbrio: Distribuição de classes e representatividade.
- Viés: Presença de vieses demográficos ou culturais.
- Vazamento: Dados que podem vazar informações do futuro ou de fora do escopo.
- Adequação Ética: Alinhamento com princípios éticos e regulamentações.
Frameworks de Pontuação
As auditorias são vinculadas a frameworks reconhecidos:
- NIST: Diretrizes do National Institute of Standards and Technology para IA confiável.
- Fichas Técnicas de Gebru (Datasheets for Datasets): Estrutura documental para transparência de datasets.
Pipeline crawl4ai
O pipeline crawl4ai automatiza a coleta de metadados e a análise dos datasets, garantindo eficiência e reprodutibilidade.
Uso
Para usar esta habilidade, execute o agente Codex com as instruções apropriadas e forneça o caminho ou identificador do dataset a ser auditado.
Exemplo de Comando
codex audit dataset --path /caminho/para/dataset --framework nist
Saída
A habilidade gera um relatório detalhado em formato JSON ou Markdown, contendo pontuações para cada métrica, recomendações e referências aos frameworks utilizados.
Requisitos
- Acesso ao Codex ou ambiente compatível com agentes de IA.
- Dataset em formato suportado (por exemplo, CSV, JSON, Parquet).
- Conexão com a internet para uso do pipeline crawl4ai (se aplicável).