Was macht perform_comparison_1c_rag_mcp?
Benchmarking der Leistung von RAG- und RLM-basierten MCP-Servern für 1C-Codebasen mittels automatisierter E2E-Tests zur Optimierung der KI-Assistenten-Integration.
Beschreibung
Dieses Skill automatisiert den Leistungsvergleich zwischen RAG- und RLM-basierten MCP-Servern in 1C-Entwicklungsumgebungen. Es führt End-to-End-Tests durch, die reale KI-Interaktionen mit 1C-Code simulieren, und sammelt Metriken wie Antwortlatenz, Genauigkeit der Retrievals und Speicherverbrauch. Der Skill zielt darauf ab, die Auswahl und Konfiguration von MCP-Servern zu optimieren, um eine bessere Integration mit KI-Code-Assistenten zu ermöglichen.
Anwendungsfälle
- Leistungsvergleich: Vergleichen Sie RAG- und RLM-MCP-Server unter identischen Bedingungen, um den besten Kandidaten für Ihre 1C-Projekte zu ermitteln.
- Integrationstests: Stellen Sie sicher, dass KI-Assistenten effektiv mit 1C-Codebasen interagieren, indem automatisierte E2E-Tests ausgeführt werden.
- Optimierung: Identifizieren Sie Engpässe oder suboptimale Konfigurationen, um die Reaktionsfähigkeit und Genauigkeit der KI zu verbessern.
Plattform
Dieses Skill ist für die Verwendung mit KI-Agenten wie Claude Code, Cursor oder Codex konzipiert. Es erfordert eine Umgebung mit unterstützten MCP-Server-Implementierungen und Test-Frameworks.
Arbeitsablauf
- Konfiguration: Richten Sie die zu testenden MCP-Server (RAG und RLM) sowie die 1C-Codebasis ein.
- Ausführung: Der Skill führt eine Reihe automatisierter E2E-Tests aus, die Anfragen an jeden Server richten.
- Metrik-Erfassung: Es werden Daten wie Antwortzeit, Genauigkeit, Relevanz und Skalierbarkeit gesammelt.
- Berichterstellung: Die Ergebnisse werden als strukturierte Daten (z. B. JSON) ausgegeben, z. B. Latenz, Durchsatz und Fehlerquoten.
Abhängigkeiten
- MCP-Server-Implementierungen (RAG und RLM)
- 1C-Entwicklungsumgebung (optional, für reale Codebasen)
- Automatisierte Test-Frameworks (z. B. Jest, Mocha oder benutzerdefinierte Skripte)
- KI-Assistent-Integration (für E2E-Simulation)
Verwendung
# Beispiel-Befehl (Platzhalter)
perform_comparison --rag-server <url> --rlm-server <url> --test-suite <path>
Weitere detaillierte Anweisungen finden Sie in der begleitenden Dokumentation.