Was macht Evidenz-Prüfung?
Eine unabhängige Prüfung. Es wird davon ausgegangen, dass nichts im Entwurf wahr ist, bis es überprüft wurde. Verwenden Sie es als letzten Schritt des research-plan, für den eigenen Entwurf oder die Bibliografie des Benutzers oder für jeden Bericht vor der Auslieferung.
Unabhängigkeit
- Am besten: Ein frischer Unter-Agent, dem nur die Dateien gegeben werden (Entwurf, Ledger/Bibliografie, Notizen, Rohtexte). Niemals ein Fork des Schreibgesprächs.
- Keine Unter-Agenten: Eine Prüfung innerhalb derselben Sitzung.
- Lesen Sie vor jeder Beurteilung jede Datei erneut von der Festplatte und verlassen Sie sich nicht auf das, woran Sie sich vom Schreiben erinnern.
- Kennzeichnen Sie das Ergebnis als
same-session (not independent). - Teilen Sie dem Benutzer mit, dass er für alles, was auf dem Spiel steht, dieses Skill in einem neuen Chat im selben Ordner ausführen sollte.
Deterministische Prüfungen zuerst
Führen Sie zuerst das gebündelte Prüfprogramm aus: python3 <dieses Skill-Ordners>/scripts/research_checks.py all <verz> (oder quotes <claims.json> / links <plan.md>). Es ist Standardbibliothek-Python und läuft in Ihrer eigenen Code-Sandbox; der Benutzer installiert nichts. PDF-Text benötigt pypdf: Wenn der Import fehlschlägt, pip install pypdf in der Sandbox und wiederholen. Seine Fehler sind Befunde: Anker, die nicht aufgelöst werden, fehlende ⚠-Flags, Zählungsabweichungen, Zitate, die nicht im Quelltext stehen, gefälschte PDFs. Seine Warnungen sind Ermessensentscheidungen.
Wenn der Ordner keine claims.json hat (z.B. bei der Prüfung des eigenen Entwurfs des Benutzers), schreiben Sie eine neben den Entwurf für jede Behauptung, die Sie als supported markieren, damit die quotes-Prüfung bestätigen kann, dass jedes Zitat wörtlich ist.
Eingaben
Der Entwurf; die Referenzliste (ledger.md, eine .bib oder eine nummerierte Liste); Notizen und rohe Quelltexte, falls vorhanden. Wenn nur der Entwurf gegeben wird, fragen Sie einmal nach der Bibliografie.
Schritt 1 — Behauptungen extrahieren
Ziehen Sie jede überprüfbare Aussage heraus:
- Zitierbehauptungen;
- Zahlen;
- benannte Arbeiten, Datensätze und Werkzeuge;
- Existenzbehauptungen;
- negative Behauptungen ("keine Vorarbeit…");
- unzitierte Gewissheitswörter (beweist, stellt fest, heilt, verhindert, endgültig, immer, nie).
Überspringen Sie Meinungen, Vorschläge und die eigenen Definitionen des Entwurfs.
Schritt 2 — Auflösen
Jedes Zitat wird genau einer Referenz zugeordnet. Listen Sie Waisen in beide Richtungen und Autor-Jahr-Kollisionen auf.
Schritt 3 — Echt? (pro Referenz)
Jede jetzt nachschlagen: OpenAlex / Crossref / Semantic Scholar / PubMed, plus Reference Checker check_references und check_retractions.
| Befund | Bedeutung |
|---|---|
verified | Titel, erster Autor und Jahr stimmen mit einem in dieser Sitzung gefundenen Eintrag überein |
partial | Das Werk existiert, aber eine Tatsache ist falsch, oder nur ein Teil konnte bestätigt werden (z.B. das Buch, aber nicht das Kapitel) |
mismatch | Die DOI/ID verweist auf ein anderes Werk, oder das Zitat nennt das falsche Buch oder die falsche Zeitschrift |
not_found | Ordnungsgemäß gesucht, nichts gefunden |
unchecked | Konnte nicht nachgeschlagen werden (blockiert, Budget, Tool down); kein Hinweis auf Fälschung |
suspicious | Auffälligkeiten im Eintrag selbst |
Regeln:
- Buchkapitel: Vergleichen Sie den zitierten Buchtitel, Herausgeber, Seiten und Verlag mit dem Crossref-Eintrag (
container-title,page). Eine richtige DOI mit dem falschen Buch ist einmismatch; genau dieser Fehler ist bei einem Probelauf durchgerutscht. - Tool-Uneinigkeit: Eine exakte DOI-Übereinstimmung in Crossref oder OpenAlex schlägt eine Titel-Suche
not_found. Notieren Sie beide Ergebnisse. - Was zählt als Eintrag: Eine DOI-Landingpage, Verlag, PubMed, PMC/Europe PMC, arXiv, OpenAlex, Crossref, Semantic Scholar, DBLP. Ein Auszug oder die Referenzliste einer anderen Arbeit zählt nicht. Erinnerung ist
unchecked. - Auch prüfen: Rückzugsstatus (Retraction) und ob ein Preprint inzwischen veröffentlicht wurde.
Schritt 4 — Gestützt? (pro Behauptung)
Geben Sie an, was die Quelle sagen muss, damit das Zitat fair ist, dann:
| Stützung | Regel |
|---|---|
supported | Ein wörtlicher Abschnitt von 40+ Zeichen aus dem rohen Quelltext (API-XML, PDF-Text, eine Benutzerdatei) besagt es, mit einer Fundstelle. Zitieren Sie ihn im Bericht. |
partial | Die Quelle sagt etwas Engeres oder Schwächeres |
contradicted | Die Quelle sagt etwas anderes |
not-found-in-read-part | Nur ein Teil des Textes ist vorhanden, und die Behauptung steht nicht darin |
unverified-extracted | Nur über WebFetch gelesen, das eine Extraktion des Modells zurückgibt; kann niemals supported sein |
unverified | Kein Text vorhanden (nur Abstract/Metadaten, Paywall, blockiert) |
Prüfungen, die auf Schritt 4 aufbauen:
- Zahlen: Exakt kopiert, nicht gerundet. Eine Zahl, die nicht in der Quelle steht, ist
contradicted. - Flags: Jede Behauptung benötigt das Flag, das zu ihrer Evidenz passt:
⚠ abstract-only·⚠ metadata-only·⚠ extracted·⚠ preprint. Fügen Sie alle fehlenden hinzu. - Unabhängige Zählung: „Konsistent über N Studien hinweg“ muss angeben, wie viele unabhängig sind.
- Negative Behauptungen: Müssen die Suchen nennen, die dahinterstehen. Andernfalls umformulieren zu „nicht gefunden in “.
- Hintergrund vs. Evidenz: Eine Quelle, die für einen Befund zitiert wird, muss diesen tatsächlich berichten.
Schritt 5 — Ergebnis
Beurteilen Sie den endgültigen Zustand nach Reparaturen und protokollieren Sie jede Reparatur („behoben in Runde n: …“).
- PASS: Kein
not_found/mismatch/contradicted/ Waisen. Jederunverified*-Eintrag ist inline gekennzeichnet. - PARTIAL: Keine Fehler, aber einige Einträge können nicht aufgelöst werden (z.B. ein Kapitel, dessen Inhalt nicht geprüft werden kann) oder blieben
unchecked. Listen Sie sie auf. - FAIL: Irgendein
not_found,mismatch,contradicted, zurückgezogene aber zitierte Quelle oder Waise bleibt nach maximal 2 Reparaturrunden bestehen. Liefern Sie mit diesem Banner oben aus, gefolgt von den ungelösten Einträgen:
UNGÜLTIGE EVIDENZ – ungelöste Zitier- oder Stützungsfehler; nicht als verifiziert behandeln.
Widerstand ist keine Evidenz. Geben Sie nur aufgrund einer neuen Quelle oder eines besseren Arguments nach, und protokollieren Sie warum.
Ausgabe
Fügen Sie einen eingeklappten Evidenz-Prüfung-Block an den Entwurf an:
Evidenz-Prüfung — <Datum> — PASS | PARTIAL | FAIL — <frischer Kontext | same-session (not independent)> — Route: <Werkzeuge>
Deterministisch: research-checks <bestanden/fehlgeschlagen, n Fehler> | nicht verfügbar
Referenzen: n verified · n partial · n mismatch · n not_found · n unchecked · n suspicious · n retracted
Behauptungen: n supported · n partial · n contradicted · n unverified-extracted · n unverified · Flags hinzugefügt: n
Reparaturen: <Runde: was geändert>
| # | Behauptung (kurz) | Zitat | Echt | Gestützt | Zitat / Fundstelle oder Grund | Korrektur |
Zuerst korrigieren: <erfundene/falsch zugeordnete Referenzen und widersprüchliche Behauptungen → Waisen → Flags → Stil>
Datenschutz
Suchen Sie nur mit Titeln, DOIs und Themenwörtern. Fügen Sie niemals den unveröffentlichten Text des Benutzers in eine Suche ein.