Best Practices für den umfassenden Forschungsagenten
Dieser Skill adressiert typische Fehler in mehrstufigen Forschungstasks: unbehandelte Tool-Fehler, fehlende Validierung, undurchsichtige Argumentation und voreilige Schlussfolgerungen. Er bietet strukturierte Protokolle für Quellenvalidierung, Fehlerbehebung und Denktransparenz, die die Forschungsqualität und Zuverlässigkeit erheblich verbessern.
Wann aktivieren
- Task beinhaltet Web-Recherche mit search, read_url oder fetch-Operationen
- Task erfordert das Sammeln von Informationen aus mehreren Quellen
- Task hat explizite Anforderungen an Vollständigkeit oder Verifizierung
- Task beinhaltet Dateioperationen, die Validierung benötigen (save, write, read)
- Jeder Recherche- oder Informationsbeschaffungs-Workflow mit 3+ Tool-Interaktionen
Kernkonzepte
- Validierungs-Checkpoints: Explizite Überprüfungsschritte an Phasenübergängen, um Tool-Ausgaben, Quellenrelevanz und Informationsvollständigkeit vor dem Fortfahren zu bestätigen
- Fehlerbehebungsprotokolle: Verbindliche Anerkennung und Behandlung von Tool-Fehlern mit Ausweichstrategien anstelle von stillem Fortfahren
- Quellenrückverfolgbarkeit: Klare Nachverfolgung, welche Quellen tatsächlich abgerufen wurden vs. aus Vorwissen referenziert, um Halluzinationen zu vermeiden
- Substanzielle Denkblöcke: Detaillierte Argumentationsspuren, die Erkenntnisse, Zusammenhänge, Lücken und Entscheidungsbegründungen in jedem Schritt dokumentieren
- Quellenübergreifende Validierung: Überprüfung zentraler Behauptungen anhand mehrerer Quellen mit expliziter Kennzeichnung von Konsens, Widersprüchen und Informationslücken
Zu vermeidende Muster
- Stilles Tool-Versagen: Ein Tool-Aufruf gibt einen Fehler zurück (404, Timeout, ungültige URL), aber der Agent fährt fort, ohne dies zu erwähnen, und verpasst möglicherweise kritische Informationen. Fehler immer protokollieren und Wiederherstellung versuchen oder die Lücke dokumentieren.
- Vage Vollständigkeitsbehauptungen: Der Agent erklärt 'Ich habe genug Informationen' oder 'Die Recherche ist umfassend', ohne anzugeben, was gelernt wurde, welche Quellen die Behauptungen stützen oder welche Lücken bestehen. Ersetzen durch spezifische Zusammenfassungen der Abdeckung.
- Unvalidierte Quellenauswahl: Der Agent liest URLs aus Suchergebnissen, ohne zuerst Relevanz, Glaubwürdigkeit oder Aktualität zu bewerten. Dies verschwendet Tool-Aufrufe auf minderwertige Quellen. Quellen vor dem vertieften Lesen immer bewerten und priorisieren.
- Generische Denkblöcke: Der Denkblock enthält nur nächste Aktionsbeschreibungen ('Jetzt werde ich nach X suchen') ohne Analyse dessen, was gelernt wurde, wie es mit dem Ziel zusammenhängt oder welche Fragen offen bleiben. Denken sollte substanziell und reflektierend sein.
- Validierungsmethodenfehler: Die Verwendung von list_directory zur Überprüfung der Dateierstellung kann aufgrund von Caching zu falsch negativen Ergebnissen führen. Für die tatsächliche Inhaltsüberprüfung immer read_file verwenden.
- Zitierung ohne Abruf: Zitieren von Quellen (URLs, Papier-Titel) im Abschlussbericht, die nie erfolgreich abgerufen oder gelesen wurden. Quellen explizit nachverfolgen und das Zitieren nicht abgerufener Inhalte verbieten.
- Redundante Tool-Aufrufe: Überlappende Suchanfragen durchführen oder Quellen lesen, ohne zu verfolgen, was bereits beschafft wurde. Einen 'gefundene Ressourcen'-Tracker führen, um Doppelarbeit zu vermeiden.
Empfohlene Vorgehensweisen
- Quellenbewertung vor dem Lesen implementieren: Bevor URLs gelesen werden, Suchergebnisse nach Relevanz, Glaubwürdigkeit, Aktualität und Autorität bewerten. Auswahlbegründung in Denkblöcken dokumentieren.
- Strukturierte Denkblöcke verwenden: Jeder Denkblock muss enthalten: (a) was aus der Quelle/Aktion gelernt wurde, (b) wie es mit dem Forschungsziel zusammenhängt, (c) etwaige identifizierte Widersprüche/Lücken, (d) getroffene strategische Entscheidungen. Vermeiden Sie generische nächste Aktionsanweisungen.
- Verbindliche Fehleranerkennung hinzufügen: Wenn ein Tool fehlschlägt, muss der nächste Denkblock dies explizit ansprechen: Fehlertyp notieren, Wiederherstellungsstrategie vorschlagen (Wiederholung, alternative Quelle oder dokumentierte Lücke) und den gewählten Ansatz erläutern.
- Checkliste vor Abschluss erstellen: Bevor die Recherche als abgeschlossen erklärt wird, überprüfen: alle erforderlichen Abschnitte haben spezifische Belege, alle Quellen wurden erfolgreich abgerufen, zentrale Behauptungen sind kreuzvalidiert und Lücken sind dokumentiert.
- Quellenübergreifende Validierung implementieren: Nach dem Sammeln von Informationen aus mehreren Quellen die Ergebnisse explizit vergleichen. Notieren, wo Quellen übereinstimmen, wo sie sich widersprechen und was noch ungeprüft ist. Dies verwenden, um das Gesamtvertrauen zu bewerten.
- Quellenverfolgungstabelle führen: Eine einfache Tabelle im Denkblock erstellen, die zeigt, welche URLs abgerufen wurden, welche fehlgeschlagen sind und welche für bestimmte Behauptungen verwendet wurden. Niemals nicht abgerufene Quellen zitieren.
- Read_File zur Überprüfung verwenden: Beim Bestätigen von Dateischreibvorgängen read_file zur Überprüfung des tatsächlichen Inhalts verwenden, nicht list_directory, das Caching-Probleme haben kann, die zu falsch negativen Ergebnissen führen.
- Explizite Validierungsphase hinzufügen: Nach dem Lesen von Quellen eine kurze Synthese schreiben, die die Nützlichkeit bestätigt, die Relevanz für die Forschungsziele anmerkt und verbleibende Lücken identifiziert, bevor mit der nächsten Phase fortgefahren wird.
Richtlinien
- Nach jedem Tool-Aufruf explizit auf Fehler in der Antwort prüfen und Fehler im nächsten Denkblock mit Wiederherstellungsstrategie anerkennen
- Vor dem Lesen von URLs Quellen nach Relevanz/Glaubwürdigkeit bewerten und Auswahlbegründung dokumentieren – niemals Ergebnisse ohne Bewertung lesen
- Denkblöcke müssen mindestens 3–5+ Sätze umfassen und enthalten: was gelernt wurde, Verbindungen zum Ziel, Lücken/Widersprüche und nächste Schritte
- Eine Checkliste vor Abschluss erstellen, die Folgendes überprüft: alle Anforderungen abgedeckt, Quellen abgerufen, Behauptungen validiert, Lücken dokumentiert
- Quellenverfolgung durchführen – nur erfolgreich abgerufene URLs zitieren; Zitieren nicht abgerufener Quellen verbieten
- In Abschlussberichten einen Abschnitt 'Grenzen & Lücken' einfügen, der dokumentiert, was versucht wurde, aber fehlschlug, oder was noch ungeprüft ist
- read_file (nicht list_directory) zur Überprüfung des Dateiinhalts nach Speichervorgängen verwenden
- Zentrale Behauptungen nach Möglichkeit an mindestens 2 Quellen kreuzvalidieren; Konsens oder Widersprüche explizit anmerken
- Gesammelte Informationen nachverfolgen, um redundante Suchen zu vermeiden – einen 'gefundene Ressourcen'-Tracker für mehrphasige Recherche implementieren
- Vage 'umfassend'-Aussagen durch spezifische Zusammenfassungen ersetzen: 'X Quellen zum Thema Y abgedeckt; Aspekte Z fehlen'
Beispiele
- *Vorher (Anti-Pattern): 'Ich habe nach Kontexttechnik gesucht und mehrere Ergebnisse gefunden. Jetzt werde ich einige URLs lesen und dann den Bericht schreiben. Ich habe genug Informationen, um fortzufahren.'
Nachher (Pattern): 'Die Suche ergab 15 Ergebnisse zur Kontexttechnik. Bewertung der Relevanz: Liu et al. (2024) scheint am autoritativsten zum Phänomen 'lost in the middle'; die Anthropic-Dokumentation enthält wahrscheinlich aktuelle Kontextfensterspezifikationen; Patel (2023) behandelt RAG-Best Practices. Diese als die 3 wichtigsten priorisiert. Zuerst das Top-Ergebnis lesen. Falls die primäre Quelle fehlschlägt (URL-Fehler), wird eine Backup-Suche nach der korrekten Dokumentations-URL versucht und die Lücke im Abschlussbericht vermerkt.'
- *Vorher (Anti-Pattern): Tool gibt 404-Fehler für die Anthropic-Kontextfenster-URL zurück. Der Agent fährt ohne Bestätigung fort. Später zitiert er 'Claude hat ein 200K-Kontextfenster', ohne die Quelle zu zeigen. Der Abschlussbericht zitiert ein Google Research Paper, das nie abgerufen wurde.
Nachher (Pattern): Tool gab 404 für die Anthropic-URL zurück. Denkblock: 'Primäre Quelle fehlgeschlagen. Ausweichstrategie: Suche nach alternativer Anthropic-Dokumentations-URL oder finde archivierte Version. Falls nicht verfügbar, Kontextfensterdaten nur aus sekundären Quellen notieren und Haftungsausschluss zum Verifizierungsstatus hinzufügen.' Dann: 'Claude-Kontextfenster kreuzvalidiert: Anthropic-Blog (erfolgreich gelesen) und zwei Entwicklerdokumentationsquellen stimmen mit 200K überein. Hohes Vertrauen in diese Behauptung.' Quellenverfolgungstabelle zeigt: Anthropic-URL (fehlgeschlagen, Backup verwendet), Blog (erfolgreich), Dev-Dokumente (erfolgreich).
Erwartete Bewertungen
Komplexe Forschungstasks mit mehreren Tools (6+) und mehrstufigen Argumentationsketten erreichen typischerweise Bewertungen im Bereich 65–75. Dies ist keine Einschränkung des Prompts, sondern spiegelt Folgendes wider:
- Inhärente Variabilität der Tool-Ausgaben, die Argumentationspfade beeinflusst
- Mehrere gültige Ansätze, die zu unterschiedlichen Zwischenbewertungen führen
- Stochastische Natur der langfristigen Agentenausführung
Konzentrieren Sie sich auf relative Verbesserung und Musterbeseitigung anstatt auf absolute Bewertungen. Eine Verbesserung von 5–10 % durch Optimierung ist bei komplexen Aufgaben signifikant.
Skill-Metadaten
Erstellt: 2026-01-11 Quelle: Reasoning Trace Optimizer Optimierungsiterationen: 10 Beste erreichte Bewertung: 72/100 (Iteration 4) Endbewertung: 70,0/100 Bewertungsverbesserung: 67,6 → 70,0 (+3,6 %)