Was macht skill-harness?
Klausel-Ablations-Differentialtest für LLM-Skills. Misst, ob jede Klausel eines Skill-Artefakts einen messbaren gerichteten Effekt erzeugt. Voralpha.
Motivation
Bei der Entwicklung von Skills für KI-Assistenten wie Claude Code, Cursor oder Codex können Artefakte viele Klauseln enthalten – Anweisungen, die das Verhalten des Modells steuern. Es ist oft unklar, ob jede einzelne Klausel tatsächlich eine signifikante Auswirkung hat oder ob sie redundant ist und die Ergebnisse nicht verändert. skill-harness adressiert diese Unsicherheit mittels systematischer Ablation.
Funktionsweise
Das Tool parst eine SKILL.md (oder eine beliebige Markdown-Datei mit Klauselstruktur) und extrahiert jede Klausel als separaten Absatz. Für jede Klausel wird ein Differentialtest durchgeführt:
- Kontrolltest (Ablation): Die Klausel wird aus dem Prompt entfernt.
- Baseline-Test: Der vollständige Prompt (alle Klauseln) wird verwendet.
- Vergleich: Der Modelloutput mit und ohne die Klausel wird verglichen.
Der messbare Richtungseffekt wird als Differenz der Bewertungsmetrik (z.B. Genauigkeit, Relevanz) zwischen Kontrolle und Baseline berechnet. Ein positiver Effekt bedeutet, dass die Klausel die Leistung steigert; ein negativer Effekt, dass sie sie verschlechtert.
Nutzung
pip install skill-harness # Noch nicht auf PyPI
skill-harness --skill pfad/zur/skill.md --beispiel "Dein Testbeispiel hier"
Voraussetzungen
- Python 3.8+
- Ein LLM-API-Endpunkt (z.B. Anthropic, OpenAI)
- Ein Testbeispiel (Prompt + erwartetes Ergebnis)
Plattformunterstützung
- Claude Code
- Cursor
- Codex (eingeschränkt)
Zustand
Voralpha. Die API und das Ausgabeformat können sich jederzeit ändern. Nicht für die Produktion empfohlen.
Lizenz
MIT