Skill-Design-Review

Überprüfung des Skill-Designs

Ziel

Verwenden Sie eine Evaluierungsschleife, um festzustellen, ob ein Ziel-Skill noch existieren sollte, ob er die Aufgabenausführung tatsächlich verbessert und welche kleinste Änderung als nächstes vorgenommen werden sollte.

Bevorzugen Sie konkrete Tests gegenüber abstrakter Kritik. Das erwartete Ergebnis ist eine Entscheidung über die Disposition, eine ausgefüllte Bewertungstabelle und eine gezielte Aktion: behalten, vereinfachen, zusammenführen, umschreiben, löschen oder patchen des Skills, abhängig von den Beweisen und den Bearbeitungsberechtigungen des Benutzers.

Eingaben

Sammeln oder ableiten Sie diese Eingaben vor der Bewertung:

• Ziel-Skill-Pfad oder Skill-Name.
• Zwei realistische Testfälle mit unterschiedlichen Benutzerstilen. Jeder Testfall sollte die Benutzeranfrage und alle erforderlichen Eingabeartefakte, -dateien oder -kontexte enthalten, um ihn auszuführen.
• Erwartete Ausgabeform für jeden Testfall.
• Kandidatenüberlappung: jeder nahegelegene Skill, integrierte Fähigkeit, jedes Tool, Skript, jede Vorlage oder jede übergeordnete Anweisung, die den Ziel-Skill überflüssig machen könnte.

Wenn der Benutzer keine Testfälle bereitgestellt hat, entwerfen Sie zwei realistische Fälle aus dem Zweck des Skills und geben Sie an, dass sie abgeleitet wurden.

Evaluierungsschleife

1. Den Ziel-Skill inspizieren. Lesen Sie die SKILL.md vollständig. Lesen Sie referenzierte Dateien nur dann, wenn es nötig ist, um den zu testenden Workflow zu verstehen.

2. Notwendigkeit vor Verbesserung bewerten. Entscheiden Sie, ob der Skill einen dauerhaften Wert bietet, der über einen starken allgemeinen Agenten hinausgeht. Ein Skill ist es wert, behalten zu werden, wenn er mindestens eines davon bietet:

   • Nicht offensichtliches Domänenwissen, das ein allgemeiner Agent oft übersehen würde.
   • Einen wiederholbaren Workflow, der häufige Fehler verhindert.
   • Werkzeug-, Skript-, Asset-, Vorlagen- oder Datei-Routing-Wissen.
   • Ausgabestandards, die über Läufe hinweg stabil bleiben müssen.
   • Organisationsspezifische Urteile, Terminologie oder Prozesserinnerung.
   • Nachweise, dass die Verwendung des Skills die Qualität im Vergleich zu einer Basislinie ohne ihn verbessert.

   Ein Skill sollte vereinfacht, zusammengeführt, umgeschrieben oder gelöscht werden, wenn:

   • Er nur allgemeine Denkmuster wiederholt.
   • Ein Basis-Agent bereits gleich gut ohne ihn abschneidet.
   • Er lange Anweisungen hinzufügt, aber keinen messbaren Qualitätsgewinn bringt.
   • Er mit übergeordneten System-/Entwickleranweisungen in Konflikt gerät.
   • Er hauptsächlich veraltetes Tool-Verhalten oder veraltete Workflows konserviert.
   • Er sich stark mit einem anderen, stärkeren Skill überschneidet.

3. Tests vorbereiten. Verwenden Sie zwei Testfälle, die sich in Ton, Spezifität oder Artefakttyp unterscheiden. Fügen Sie mindestens eine gewöhnliche Anfrage und eine Grenz- oder mehrdeutige Anfrage hinzu.

4. Basislinienvergleich durchführen. Vergleichen Sie für jeden Testfall, wie die Aufgabe ohne den Ziel-Skill im Vergleich zu mit dem Ziel-Skill gehandhabt würde. Wenn eine saubere Basislinie unmöglich ist, weil der Skill bereits gelesen wurde, markieren Sie die Basislinie als "bestmöglich / kontaminiert", anstatt so zu tun, als sei sie unabhängig. Wenn unabhängige Sub-Agenten oder frische Aufgaben verfügbar und sicher zu verwenden sind, führen Sie den Durchlauf mit Skill getrennt vom Basislinien-Durchlauf durch. Übergeben Sie nur den Ziel-Skill, die Benutzeranfrage und die rohen Artefakte; übergeben Sie nicht die erwartete Diagnose oder den geplanten Fix.

5. Mit der Rubrik bewerten. Lesen Sie references/rubric.md vor der Zuweisung von Bewertungen. Bewerten Sie Skill-Notwendigkeit, Trigger-Verhalten, Workflow-Führung, Ausgabeformat und Inhaltsqualität. Fügen Sie kurze Belege für jede nicht perfekte Bewertung hinzu.

6. Eine Disposition wählen. Wählen Sie genau eine Disposition:

   • Behalten: Der Skill verbessert die Ergebnisse deutlich und ist nicht zu teuer.
   • Behalten, aber vereinfachen: Der Skill ist nützlich, hat aber überflüssige Anweisungen, schwache Beispiele oder veraltete Details.
   • Zusammenführen: Der Skill ist nützlich, gehört aber hauptsächlich in einen anderen, stärkeren Skill.
   • Umschreiben: Der Skill ist von der Intention her wertvoll, aber strukturell unklar oder irreführend.
   • Löschen: Der Skill bietet keinen messbaren Mehrwert gegenüber der Basislinie oder ist veraltet.
   • Patchen: Der Skill ist es wert, behalten zu werden, und hat eine einzige, enge, aber wirkungsvolle Lücke.

7. Überarbeiten und erneut ausführen. Wenn die Disposition Patch, Behalten aber vereinfachen, Zusammenführen, Umschreiben oder Löschen ist, nehmen Sie die kleinste, durch Belege gestützte Dateiänderung vor, die der Benutzer erlaubt. Für Zusammenführen oder Löschen entfernen Sie keine Inhalte, es sei denn, der Benutzer hat ausdrücklich um destruktive Bereinigung gebeten; andernfalls empfehlen Sie die genaue Zusammenführungs-/Löschaktion. Patchen Sie den Ziel-Skill nur dort, wo der Beleg eine Lücke zeigt, und führen Sie dann den betroffenen Test oder die Rubrikprüfung erneut durch. Dokumentieren Sie, ob sich die Bewertung geändert hat und warum. Wenn der Benutzer Bearbeitungen verbietet oder nur eine Überprüfung wünscht, patchen Sie keine Dateien. Beschreiben Sie stattdessen den kleinsten empfohlenen Patch und bewerten Sie das betroffene Kriterium als Trockenlauf-Projektion neu, wobei Sie die tatsächliche Datei deutlich als unverändert markieren.

Ausgabeformat

Geben Sie das Ergebnis in dieser Reihenfolge zurück:

1. Urteil Geben Sie an, ob der Skill bestanden, bedingt bestanden oder nicht bestanden hat, und nennen Sie die Disposition: Behalten, Behalten aber vereinfachen, Zusammenführen, Umschreiben, Löschen oder Patchen.

2. Bewertung der Notwendigkeit Geben Sie den dauerhaften Wert an, den der Skill bietet, welche Überschneidungen mit der Basisfähigkeit des Agenten oder benachbarten Skills bestehen und warum der Skill weiterhin Kontext belegen sollte oder nicht.

3. Testfälle Listen Sie die zwei Testfälle und die erwarteten Ausgabeformen auf.

4. Bewertungstabelle Stellen Sie eine Tabelle mit Kriterium, Bewertung, Beleg und Korrektur bereit.

5. Vergleich Fassen Sie den Unterschied zwischen mit Skill und ohne Skill zusammen.

6. Gezielte Aktion Beschreiben Sie die genaue vorgenommene Änderung oder empfehlen Sie die kleinste Aktion (behalten/vereinfachen/zusammenführen/umschreiben/löschen/patchen), wenn der Benutzer nur eine Überprüfung angefordert hat.

7. Ergebnis der erneuten Ausführung Geben Sie an, was sich nach der Überarbeitung geändert hat, einschließlich aller verbleibenden Risiken.

Urteilsregeln

• Bestanden, wenn alle erforderlichen Kriterien mit 2 bewertet werden und die Gesamtpunktzahl mindestens 9 von 10 ist.
• Bedingt bestanden, wenn die Gesamtpunktzahl 6-8 beträgt oder ein erforderliches Kriterium mit 1 bewertet wird.
• Nicht bestanden, wenn ein erforderliches Kriterium mit 0 bewertet wird oder die Gesamtpunktzahl unter 6 liegt.
• Erforderliche Kriterien sind Skill-Notwendigkeit, Trigger-Verhalten, Ausgabeformat und Inhaltsqualität.
• Optimieren Sie nicht nur für die Optik. Bevorzugen Sie Änderungen, die dem nächsten Agenten mitteilen, was zu tun ist, wann es zu tun ist und was zu produzieren ist.
• Halten Sie Überarbeitungen eng, messbar und an einen Testfehler gebunden.
• Bevorzugen Sie Lösch- oder Zusammenführungsempfehlungen gegenüber einer Verfeinerung, wenn der Skill keinen messbaren Anstieg gegenüber einem Basis-Agenten mehr erzeugt.