Que fait skill-harness ?
Tests différentiels par ablation de clauses pour les compétences LLM. Mesure si chaque clause d'un artefact de compétence produit un effet directionnel mesurable. Pré-alpha.
Description
Ce dépôt fournit un cadre de test pour analyser les compétences (skills) des agents LLM en effectuant des ablations systématiques de chaque clause. L'objectif est de déterminer si une clause individuelle contribue de manière significative au comportement attendu de l'agent.
Utilisation
pip install -r requirements.txt
python harness.py --skill chemin/vers/skill.md --tests dossier/tests/
Arguments
--skill: Chemin vers le fichier SKILL.md à tester.--tests: Dossier contenant les scénarios de test (format JSON).--output: (Optionnel) Fichier de sortie pour les résultats.
Fonctionnement
- Le fichier de compétence est parsé en clauses individuelles (chaque paragraphe, règle ou instruction).
- Pour chaque clause, une version sans cette clause est générée.
- Chaque version est exécutée sur les scénarios de test.
- Les résultats sont comparés à la version complète pour mesurer l'effet directionnel.
- Un rapport est généré indiquant les clauses ayant un impact significatif, négligeable ou nul.
Exemple de rapport
Clause 1 : "Réponds toujours en français" -> Effet fort (comportement modifié)
Clause 2 : "Utilise le style formel" -> Effet modéré
Clause 3 : "Évite les listes" -> Effet négligeable (peut être supprimé)
Statut
Pré-alpha. L'API et le format de sortie peuvent changer sans préavis. Les tests ne couvrent pour l'instant que des agents basés sur des fichiers Marklin. Les contributions sont les bienvenues.
Licence
MIT