Zhr65/SkillFresh

Fähigkeits-Abschreibungstabelle (skill-auditor)

Bei einem Modellwechsel geben installierte Skills / Plugins keine Fehler aus, sie werden nur leise schlechter. Dieser Skill macht das „Schlechterwerden" zu messbaren Zahlen.

Drei Bewertungen, jeweils mit Belegen

Frage des Nutzers	Wie wird beurteilt?	Wichtige Voraussetzung
Hat sich die Fähigkeit verschlechtert?	Gleiches Golden-Set mit neuem Modell erneut ausführen, Durchfallquote ≥20 Prozentpunkte und konsistente Richtung	Fingerabdruck unverändert. Ein geänderter Fingerabdruck bedeutet „wurde modifiziert", nicht „verschlechtert"
Ist der neue Skill/ das Plugin gut?	Ablationskontrolle (mit / ohne) + Akzeptanzrate, Nettonutzen berechnen	Ohne Kontrolle nur „fühlt sich gut an"
Passt es zu mir?	Auslösegenauigkeit (wird ausgelöst, wenn es soll, und nicht, wenn nicht) + Umgebungsabgleich + Stil-Baseline	Echte historische Prompts verwenden, keine erfundenen

Wie wird eingestellt

Wenn das Plugin bereits Tools registriert hat, werden die Tools direkt verwendet (dies ist der bevorzugte Weg):

• skill_audit_status — Abschreibungstabelle: Fingerabdruck / Baseline-Durchfallquote / Risiko / Bewertung
• skill_audit_recommend — Stark / Beobachten / Nicht verifiziert / Herabgestuft / Kandidat zum Ausmisten, fünf Stufen
• skill_audit_check — Ob sich das aktuelle Modell relativ zur letzten Regressions-Baseline geändert hat
• skill_audit_scan — Assets nach einer Neuinstallation neu erkennen
• skill_audit_suggest — Wenn die Bedürfnisse des Nutzers durch keine Assets abgedeckt werden, was soll ergänzt werden

Für Hosts ohne Tool-Oberfläche (z.B. solche, die nur einen Skill installiert haben) wird die CLI verwendet:

python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills

<data-dir> ist standardmäßig ~/.dsh/skill-auditor (kann mit SKILL_AUDITOR_HOME überschrieben werden). Die Engine ist reines Python 3.8+ der Standardbibliothek, ohne externe Abhängigkeiten.

Wenn der Nutzer keinen verfügbaren Skill / kein Plugin hat

Dies ist der aktive Mechanismus dieses Skills, warten Sie nicht, bis der Nutzer fragt:

1. Zuerst das Installationsregister prüfen – wenn bereits eine Abdeckung vorhanden ist, kein neues empfehlen (Doppelinstallation vermeiden);
2. Wirklich keine vorhanden → skill_audit_suggest --need "<Ein-Satz-Bedürfnis>";
3. Ausgabe: „Empfehlung für Neuzugang + Suchbegriff“, die Installation erfolgt nur mit Bestätigung des Nutzers, keine automatische Installation.

Harte Grenzen (müssen genau so gesagt werden, nicht als Schlussfolgerung verpackt)

• Eine Baseline mit K=1 ist eine Selbsteinschätzung, keine statistische Schlussfolgerung. Für ein Urteil über „Verschlechterung“ ist K≥3 erforderlich.
• Das Golden-Set kann synthetische Stichproben enthalten (wenn die Nutzerhistorie unzureichend ist). Synthetische Stichproben können testen, „ob die Struktur stimmt“, aber nicht, „ob es wie du aussieht“. Solche Stichproben sind in der Datei mit "synthetic": true gekennzeichnet.
• risk ist ein Stellvertreter für die Wartungsseite (Zeilenzahl + Tool-Abhängigkeiten), repräsentiert nicht den Wert. Hohes Risiko bedeutet nicht, dass etwas gelöscht werden sollte.
• Entfernung und Installation erst bestätigen; Entfernung priorisiert „Deaktivieren / Archivieren“, kein stilles Löschen.
• Herabstufungsursachen haben nur vier Kategorien, nicht erweitern: Tool-Aufruffehler → Tool-Beschreibung reparieren; Ausgabestruktur korrekt, Inhalt falsch → Anweisungen umschreiben; Sollte auslösen, aber nicht → Auslösebeschreibung ändern; Mitte korrekt, Endzustand falsch → erst dann könnte es eine Regression der Modellfähigkeit sein.

Aktionen nach der Bewertung

Bewertung	Aktion
strong	Behalten, kann oben empfohlen werden
watch	Behalten, bei nächster Modelländerung priorisiert neu ausführen
unverified	Erst Golden-Set erstellen (3–5 echte Prompts), dann bewerten, vorerst nicht entfernen
degraded	Erst Ursache zuordnen, dann entscheiden, ob umschreiben oder deaktivieren; nicht direkt löschen
prune-candidate	Keine Baseline + sehr hohe Wartungslast → Bewertung empfehlen, nicht automatisch löschen