Banner-Wang/prompt-smith

Was macht prompt-smith?

Schreibe, optimiere und teste Prompts durch automatische, messbare Iteration – eine modellunabhängige Fähigkeit für Claude Code, Codex und Cursor.

Beschreibung

Banner-Wang/prompt-smith ermöglicht es KI-Agenten, Prompts durch einen automatisierten, messbaren Iterationsprozess zu verbessern. Der Agent generiert mehrere Prompt-Varianten, führt sie mit einem Zielmodell aus, bewertet die Ausgaben anhand benutzerdefinierter Metriken und optimiert den Prompt basierend auf diesen Bewertungen. Dieser Zyklus wird wiederholt, bis eine optimale Version erreicht ist.

Hauptfunktionen

• Automatische Iteration: Der Agent erstellt, testet und verfeinert Prompts ohne manuelles Eingreifen.
• Messbare Optimierung: Bewertung erfolgt anhand von Metriken wie Bewertung, Relevanz, Kreativität oder benutzerdefinierten Metriken.
• Modellunabhängig: Funktioniert mit verschiedenen LLMs (z.B. Claude, GPT-4, Gemini).
• Konfigurierbar: Parameter wie Anzahl der Iterationen (max_iterations), Modell (model), Temperatur (temperature) und Metriken (metrics) sind anpassbar.

Unterstützte Plattformen

• Claude Code
• Codex
• Cursor

Verwendung

1. Initialen Prompt bereitstellen: Definiere einen Start-Prompt (z.B. "Generiere eine E-Mail-Betreffzeile für eine Verkaufsförderung").
2. Parameter konfigurieren: Lege Modell, Temperatur, max_iterations und metrics fest.
3. Optimierung starten: Der Agent führt die Iteration durch und protokolliert jede Version mit Bewertungen.
4. Ergebnisse übernehmen: Der optimierte Prompt und die dazugehörigen Ausgaben werden ausgegeben.

Beispielkonfiguration

prompt: "Erstelle eine überzeugende E-Mail-Betreffzeile für ein neues Produkt."
model: "claude-3-opus-20240229"
temperature: 0.8
max_iterations: 5
metrics:
  - Relevanz
  - Kreativität
  - Aufforderungsrate

Benutzerdefinierte Metriken

Du kannst eigene Metriken für die Bewertung definieren. Metriken müssen als Funktionen implementiert werden, die einen Prompt, eine Ausgabe und eine Referenz erhalten und einen numerischen Wert zurückgeben (0–1).

def benutzerdefinierte_metrik(prompt, output, referenz):
    # Benutzerdefinierte Bewertungslogik
    return 0.85

Fehlerbehandlung

• Timeout: Bei Überschreitung des Zeitlimits wird eine Warnung protokolliert und die aktuelle Iteration übersprungen.
• Ungültiges Modell: Wenn das Modell nicht verfügbar ist, weicht der Agent auf ein Standardmodell aus.
• Schlechte Bewertung: Bei konstant niedrigen Werten kann die Optimierung frühzeitig beendet werden.

Lizenz

MIT