Skill – Taugt er was?
Kurz gesagt: Erkennt, ob ein Skill wirklich etwas tut oder nur schön klingt.
Im Markt gibt es viele Skills mit hohen Downloadzahlen, die nach der Installation nichts bewirken – die Dateien enthalten nur Floskeln wie „Risikostufe“ oder „Zugriffsstufe“, oder der Autor schreibt „Details folgen noch“. Sicherheitsscanner erkennen sie nicht, weil sie nichts stehlen – sie tun nur einfach nichts.
Dieses Skill prüft genau das.
Wann verwenden
- Du siehst einen Skill im Markt und bist unsicher → erst bewerten
- Nach der Installation spürst du keine Wirkung → prüfen, ob er leer ist
- Du hast viele Skills installiert und willst aufräumen → alle überprüfen und nach Punktzahl sortieren
- Du hast selbst einen Skill geschrieben und willst sicherstellen, dass andere ihn nutzen können → Selbsttest
Wie verwenden
pip install git+https://github.com/hsiu1214/skill-worth.git
(Noch nicht auf PyPI, direkt aus dem Repository installieren)
Einen noch nicht installierten Skill bewerten:
skill-worth check /pfad/zu/einem-skill
Alle bereits installierten Skills überprüfen (automatische Suche in WorkBuddy / Claude Code / Codex usw.):
skill-worth check
Marktübersicht anzeigen (lädt eine Reihe beliebter Skills herunter und testet sie, benötigt Internet):
skill-worth market --top 30
Nach dem Durchlauf wird im aktuellen Verzeichnis skill-worth-report.html erstellt. Doppelklick zum Öffnen. Mit --open direkt öffnen, mit --json out.json als JSON speichern.
Ohne Installation direkt aus dem Quellcode:
python -m skill_worth check /pfad/zu/skill
Ergebnis lesen
Drei Stufen:
| Stufe | Bedeutung | Vorgehen |
|---|---|---|
| Installieren (70+ Punkte) | Enthält funktionierenden Code oder vollständige Dokumentation | Installieren |
| Kommt darauf an (40–69) | Kein leeres Gerüst, aber mit Lücken | Nur installieren, wenn du genau diesen Bereich brauchst; nicht als Allheilmittel erwarten |
| Nicht installieren (unter 40) | Versprochene Funktionen nicht umgesetzt | Nicht installieren; falls bereits installiert, deinstallieren |
Zusätzlich zur Stufe gibt es eine Zusammenfassung und mehrere Begründungen. Hinter den Begründungen kann „Belege anzeigen“ geklickt werden – dort werden tatsächliche Dateianzahl, Zeilenanzahl und die fehlenden Dateien aufgelistet.
Bewertungskriterien
Kein Code heißt nicht nutzlos. Das ist der häufigste Fehler bei der Bewertung, daher wird es gesondert erklärt:
- Wissensorientiert: Eine Checkliste, eine Schreibmethode, ein Diagnoseprozess. Der Wert liegt im Text, Code ist nicht nötig.
skill-vetter(140.000 Downloads) besteht aus 140 Zeilen reiner Dokumentation – völlig in Ordnung. - Handlungsorientiert: Verspricht Daten zu scrapen, Engines auszuführen, Batch-Verarbeitung oder API-Aufrufe. Wenn hier kein Code vorhanden ist, ist der Skill leer.
Wenn du dir unsicher bist, lies die Selbstbeschreibung des Skills: Sagt er „hilft dir zu entscheiden“ → wissensorientiert; sagt er „sammelt Daten für dich“ → handlungsorientiert.
Fünf Dimensionen, gewichtet 100 Punkte:
| Dimension | Gewicht | Kriterium |
|---|---|---|
| Wesentliche Funktion | 40 | Vorhandensein von ausführbarem Code; bei reinen Dokumenten: Sind Schritte/Checklisten/Beispiele vollständig? |
| Behauptung geprüft | 25 | Stimmt das Gesagte mit der Realität überein? Sind die erwähnten Dateien tatsächlich vorhanden? |
| Klarheit der Beschreibung | 15 | Kann der Zweck in einem Satz erklärt werden? Sind es zu viele Triggerwörter? |
| Sicherheit | 10 | Enthält der Skill Löschoperationen, dynamische Ausführung oder hartcodierte Schlüssel? |
| Wartbarkeit | 10 | Ist die Verzeichnisstruktur vollständig? Enthält der Skill leere Textbausteine? |
Trifft einer der folgenden Punkte zu, wird der Skill sofort als „Nicht installieren“ eingestuft, unabhängig von der Gesamtpunktzahl:
- Der Autor schreibt explizit „noch nicht implementiert“
- Der Skill verspricht etwas Handlungsorientiertes, enthält aber keine einzige Codedatei
- Code-Dateien enthalten nur
pass/TODO/ leere Funktionen
Ein Punkt führt nur zu einem Hinweis, nicht zur sofortigen Ablehnung: Der im Dokument genannte Tool-Name stimmt nicht mit dem aktuellen Host überein. Tool-Namen variieren nämlich je nach Host – dieselbe Fetch-Funktion heißt hier WebFetch, dort web_fetch. Würde man das als schwerwiegenden Fehler werten, käme es zu plattformübergreifenden Fehlalarmen. Daher wird es nur in der Begründung vermerkt, damit du es selbst prüfen kannst.
Getestete Beispiele
| Skill | Ergebnis | Begründung |
|---|---|---|
multi-search-engine (2,04 Mio. Downloads) | Nicht installieren | Verspricht 16 Engines, null Skripte – Behauptung und Realität stimmen nicht überein |
summarize (46.000 Downloads) | Nicht installieren | 2 Dateien mit zusammen 3,5 KB; der Autor schreibt „automatisch aus Planungsspezifikation generiert, Details folgen noch“ |
skill-vetter (140.000 Downloads) | Installieren | Reine Dokumentation, aber mit 4-stufigem Prüfprotokoll + Ausgabeformat + direkt ausführbaren Befehlen |
self-improving-agent (86.000 Downloads) | Installieren | 5 echte Codedateien; Hook führt nur In-Memory-Injektion durch, keine externen Verbindungen |
Die ersten beiden haben zusammen über 2 Millionen Installationen, sind aber leer. Downloadzahlen und Qualität sind weitgehend unabhängig.
Marktdaten von Oktober 2026 (Stichprobe: 30 beliebte Skills mit ≥500 Installationen, 28 erfolgreich gescannt):
- 24 installieren, 1 kommt darauf an, 3 nicht installieren (11 %)
- Diese 28 Skills wurden insgesamt 552.000 Mal installiert, davon entfielen 105.000 auf die 3 als „Nicht installieren“ eingestuften
- Die Begründung für diese 3 war wortwörtlich identisch, und sie stammten alle aus derselben Spiegel-Synchronisation – eine Massenproduktion derselben Vorlage
Einschränkungen
- Führt nur eine statische Analyse durch, führt keinen der geprüften Skills aus
- Kann nicht beurteilen, „ob der Code richtig ist“, sondern nur, „ob er vorhanden ist“
- Skills mit sehr kurzer, aber präziser Beschreibung, die in der Praxis gut funktionieren, können unterschätzt werden
- Umgekehrt können schön geschriebene, aber schlecht benutzbare Skills zu hoch bewertet werden – dieses Tool prüft „vorhanden oder nicht“, nicht „gut oder schlecht“
Datenschutz
Bei der Berichterstellung werden automatisch absolute Pfade und interne Namensräume entfernt; skillsDir zeigt nur die letzten beiden Pfadteile an. Der Bericht kann bedenkenlos an andere weitergegeben werden.