Was macht forge-skill?
51 eigenständige Fähigkeiten für KI-Codierungsagenten. 27 enthalten AST/Shell-Verifikatoren. -72% verifier-sichtbarer Müll auf Sonnet 4.6, -58% auf Haiku 4.5 (20 adversarialische Eingabeaufforderungen, 3 Durchläufe/Arm).
Übersicht
forge-skill bietet eine kuratierte Sammlung von 51 Skills, die KI-Agenten in die Lage versetzen, präzise Codierungsaufgaben auszuführen. Das Besondere: 27 dieser Skills sind mit automatischen Verifikatoren ausgestattet, die entweder auf AST-Ebene (Abstract Syntax Tree) oder über Shell-Befehle prüfen, ob die Agentenausgabe korrekt ist. Unnötige oder falsche Codefragmente (slop) werden so zuverlässig eliminiert.
Hauptmerkmale
- 51 Opinionierte Skills – von einfachen Refactorings bis zu komplexen Framework-Integrationen.
- 27 Verifikatoren – eingebaut und sofort einsatzbereit.
- Deutliche Reduktion von „Slop“:
- Sonnet 4.6: -72% verifier-sichtbarer Müll
- Haiku 4.5: -58% verifier-sichtbarer Müll
- Getestet unter extremen Bedingungen: 20 adversarialische Prompts, 3 Durchläufe pro Arm.
Skill-Definition
Jeder Skill wird als Markdown-Datei mit YAML-Frontmatter definiert. Die Frontmatter enthält Metadaten wie name, description, version und platforms (z.B. cursor, claude-code, codex).
Beispiel einer Skill-Definition
---
name: refactor-to-typescript
version: 1.0.0
description: Konvertiert JavaScript-Dateien in TypeScript mit korrekten Typannotationen.
platforms: [cursor, claude-code]
verifier: ast
---
# Refactor to TypeScript
Wandelt eine angegebene `.js`-Datei in `.ts` um, fügt Typannotationen hinzu und entfernt `any`.
## Ausführung
```bash
npx ts-morph convert --input <datei.js> --output <datei.ts>
Validierung
npx tsc --noEmit <datei.ts>
## Verifikatoren
Verifikatoren können entweder **AST** oder **Shell** sein. Ein AST-Verifikator parst den generierten Code und prüft bestimmte Strukturen (z.B. dass keine `any`-Typen vorhanden sind). Ein Shell-Verifikator führt ein benutzerdefiniertes Kommando oder Skript aus und erwartet Exit-Code 0.
### Beispiel AST-Verifikator (YAML)
```yaml
verifier: ast
ast_rules:
- rule: forbid-type-any
message: „Verwende explizite Typen statt any.“
Beispiel Shell-Verifikator (YAML)
verifier: shell
shell_command: "npm test"
Installationshinweise
- Repository klonen:
git clone https://github.com/f4rkh4d/forge-skill.git - Skills in den Agenten importieren: Je nach Plattform lege die Markdown-Dateien im entsprechenden Skills-Ordner ab.
- Verifikatoren aktivieren: Falls nicht standardmäßig aktiviert, konfiguriere den Agenten so, dass er die
verifier-Felder auswertet.
Plattformunterstützung
- Claude Code
- Cursor
- Codex
- Weitere Agenten mit benutzerdefinierten Skill-Systemen (eigenständige Integration erforderlich)
Leistung & Qualität
Die Effektivität der Verifikatoren wurde anhand von 20 adversarialischen Prompts gemessen, die bewusst darauf ausgelegt sind, Agenten zu Fehlern zu verleiten. Mit 3 Durchläufen pro Arm ergab sich:
| Modell | Reduktion des verifier-sichtbaren Mülls |
|---|---|
| Sonnet 4.6 | -72% |
| Haiku 4.5 | -58% |
Mitwirken
Verbesserungsvorschläge und Pull Requests sind willkommen! Bitte stelle sicher, dass neue Skills mit einem Verifikator ausgestattet sind und die bestehenden Tests bestanden werden.
Lizenz
MIT