KnightMafiaLau/llm-recall-protocol-skill

Was macht llm-recall-protocol-skill?

Claude Code-Fähigkeit: Selbstentwickelnde LLM-Recall-Testumgebung. Multi-Rollen-Abfragen × Quellenattribution × LLM-spezifische Quellenverzerrungsanalyse. Passt die Abfragebibliothek bei jedem Durchlauf an.

Übersicht

Dieses Skill ermöglicht es Claude Code, als robuste Testplattform für die Rückruffähigkeiten von Large Language Models (LLMs) zu fungieren. Es führt Multi-Rollen-Abfragen durch, attribuiert Antworten zu ihren Quellen und erstellt ein Verzerrungsprofil für jedes getestete LLM. Die Abfragebibliothek wird nach jedem Durchlauf dynamisch angepasst, um eine fortlaufende Verbesserung und Anpassung an die LLM-Leistung zu gewährleisten.

Verwendung

1. Initialisierung: Führen Sie den folgenden Befehl aus, um die Recall-Testumgebung zu starten:

   claude recall-protocol init
   

2. Ausführung: Führen Sie den Test mit:

   claude recall-protocol run
   

3. Analyse: Sehen Sie sich die Ergebnisse an:

   claude recall-protocol analyze
   

Konfiguration

• RECALL_PROTOCOL_QUERY_LIBRARY: Pfad zur initialen Abfragebibliothek (JSON-Format).
• RECALL_PROTOCOL_SOURCE_DATABASE: Pfad zur Quelldatenbank (JSON-Format).
• RECALL_PROTOCOL_LLM_TARGETS: Kommagetrennte Liste der zu testenden LLM-Endpunkte.
• RECALL_PROTOCOL_ADAPTATION_THRESHOLD: Schwellenwert (float) für die Anpassung der Abfragebibliothek (Standard: 0.8).

Funktionsweise

Das Skill verwendet eine mehrstufige Pipeline:

1. Abfragegenerierung: Erstellt Multi-Rollen-Abfragen aus der initialen Bibliothek.
2. Antwortsammlung: Sendet jede Abfrage an die konfigurierten LLM-Ziele.
3. Quellenattribution: Ordnet die Antworten den vordefinierten Quellen zu.
4. Verzerrungsanalyse: Berechnet für jedes LLM ein Quellenverzerrungsprofil.
5. Bibliotheksanpassung: Aktualisiert die Abfragebibliothek basierend auf Verzerrungsprofilen und Leistung.
6. Berichterstellung: Erstellt Zusammenfassungen und Visualisierungen der Ergebnisse.

Beispiele

# Test mit zwei LLMs und eigener Abfragedatei durchführen
claude recall-protocol run --queries ./custom_queries.json --targets "gpt-4,claude-3"

Unterstützte Plattformen

• Claude Code
• LLM-Endpunkte mit OpenAI-kompatiblen APIs

Lizenz

MIT