CommunityRecherche & Datenanalysegithub.com

sx4im/skillcheck

🧪 A/B-Tests für Agent Skills – Finde heraus, ob deine SKILL.md dem Modell wirklich hilft oder nur ein Placebo ist. Blind bewertete Tests, Bootstrap-Konfidenzintervalle, ein Urteil: HILFT / PLACEBO / SCHADET. Für Claude Code, Codex, Gemini CLI & Cursor Skills.

Was ist skillcheck?

sx4im/skillcheck ist ein Tool zum A/B-Testen von KI-Agenten-Skills, das entwickelt wurde, um die tatsächliche Wirksamkeit einer SKILL.md-Datei zu messen. Es führt blind bewertete Experimente durch, bei denen ein Modell mit und ohne die Skill-Datei getestet wird, und vergleicht die Ergebnisse statistisch. Anhand von Bootstrap-Konfidenzintervallen wird eine endgültige Bewertung abgegeben: HELPS (hilft), PLACEBO (kein Effekt) oder HARMS (schadet). Das Tool unterstützt gängige Agentenplattformen wie Claude Code, Codex, Gemini CLI und Cursor und bietet Entwicklern eine evidenzbasierte Methode, um die Qualität ihrer Skills zu validieren. So können unnötige oder kontraproduktive Anleitungen vermieden und die Effizienz der Agenten optimiert werden.

Funktioniert mit✓Claude Code✓Codex CLI✓Cursor✓Gemini CLI
npx skills add sx4im/skillcheck

Installed? Explore more Recherche & Datenanalyse skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht skillcheck?

🧪 A/B-Tests für deine Agent Skills – Finde heraus, ob deine SKILL.md dem Modell wirklich hilft oder nur ein Placebo ist. Blind bewertete Tests, Bootstrap-Konfidenzintervalle, ein Urteil: HILFT / PLACEBO / SCHADET. Für Claude Code, Codex, Gemini CLI & Cursor Skills.

Verwandte Skills