dungnotnull/ai-dataset-quality-audit-agent-skill

Que fait ai-dataset-quality-audit-agent-skill ?

📊 Audit qualité des jeux de données d'entraînement IA | Compétence Codex de niveau production pour auditer les jeux de données de pré-entraînement (équilibre, biais, fuite, conformité éthique). Lie les scores à des cadres nommés (NIST, Gebru's Datasheets) et utilise un pipeline crawl4ai.

Aperçu

Cette compétence automatise l'audit des jeux de données d'entraînement des modèles d'IA. Elle vérifie :

• Équilibre des classes et des catégories
• Biais potentiels (démographiques, culturels, etc.)
• Fuites de données (chevauchenment entre ensembles d'entraînement, de validation et de test)
• Conformité éthique par rapport aux cadres reconnus

Fonctionnement

1. Configuration : Définissez le chemin ou l'URL du jeu de données et les paramètres d'audit dans config.yaml.
2. Analyse : Le pipeline crawl4ai extrait les métadonnées et les échantillons.
3. Évaluation : Des scores sont calculés pour chaque dimension d'audit.
4. Rapport : Un rapport formaté est généré, liant les scores aux cadres NIST et Gebru.

Utilisation avec un agent IA

# Exemple d'invocation avec Codex
codex skill run dungnotnull/ai-dataset-quality-audit-agent-skill --input dataset.csv

Configuration

# config.yaml
dataset:
  path: "/chemin/vers/dataset.csv"
  format: "csv"
audit:
  frameworks:
    - nist
    - gebru
  dimensions:
    - balance
    - bias
    - leakage
    - ethical_fitness

Sortie

Le rapport est généré au format Markdown ou JSON, selon la configuration, et comprend :

• Scores individuels pour chaque dimension
• Liens vers les cadres de référence
• Recommandations pour améliorer la qualité

Dépendances

• Python 3.9+
• crawl4ai
• pandas
• scikit-learn

Licence

MIT