Was macht Forschungssynthese?
Eine Synthese beantwortet eine Frage, die keine einzelne Quelle beantwortet: was die Gesamtheit der Belege stützt, wie sicher jemand sein darf, wo Quellen uneinig sind und warum, und was daraus für die anstehende Entscheidung folgt. Eine Liste von Zusammenfassungen ist keine Synthese.
Die drei Fragen
Jede Aussage im Output muss drei Fragen überleben. Die gesamte Methode und das Werkzeug ledger.py existieren, um die Antworten überprüfbar zu machen.
- Woher genau stammt dies? Ein benannter Ort in einer gelesenen Quelle. Die Antwort ist ein Locator.
- Wie oft wurde es separat beobachtet? Zehn Artikel, die eine Studie wiederholen, sind eine Beobachtung. Die Antwort ist eine Anzahl von Abstammungslinien.
- Wie sicher dürfen wir dadurch sein? Die Struktur der Belege setzt eine Obergrenze für die Sicherheit; das Urteil kann nur tiefer gehen.
Unveränderliche Regeln
- Zitiere nur, was gelesen wurde. Halte fest, wie es gelesen wurde (
full-text,abstract-only,secondary-citation); alles, was weniger als Volltext ist, kann keine sichere Behauptung tragen. - Keine Referenz, kein Autor, kein Jahr, keine Abbildung und kein Zitat stammt aus dem Gedächtnis. Wenn es nicht gefunden werden kann, wird es nicht zitiert.
- Jede Abbildung und jedes Zitat hat einen Locator, der beim Lesen erfasst wurde.
- Was Quellen berichten (Befund), was daraus geschlossen wird (Interpretation) und was getan werden sollte (Empfehlung) werden getrennt, und die letzten beiden können niemals sicherer sein als die Befunde, auf denen sie beruhen.
- Belege gegen eine Behauptung werden neben den Belegen dafür festgehalten.
- "Die Belege sind unzureichend" ist eine legitime Antwort. Abwesenheit von Belegen ist kein Beleg für Abwesenheit.
Einen Modus wählen
Wenn unsicher, nimm den leichteren Modus und sage dies.
| Modus | Verwenden, wenn | Quellen | Suche | Output |
|---|---|---|---|---|
| Schnell | Eine begrenzte Antwort, hauptsächlich aus bereitgestelltem Material | etwa 3 bis 10 | Keine oder leicht | Ein Kurzbericht, oft im Chat (assets/brief-template.md) |
| Standard | Eine echte Entscheidung hängt davon ab | etwa 10 bis 30 | Strukturiert, protokolliert | Vollständiger Bericht (assets/report-template.md) |
| Systematisch | Die Methode muss reproduzierbar sein | Wie das Protokoll ergibt | Erschöpfend, protokolliert, gezählt | Vollständiger Bericht, Protokoll und Tabellen |
Zwei Variationen:
- Primär qualitative Daten (Interviews, offene Umfrageantworten, Feedback, Tickets): gleicher Arbeitsablauf; zuerst references/qualitative-data.md lesen.
- Eine bestehende Synthese zur Bewertung: Gehe zu "Prüfung einer fremden Synthese" unten.
Arbeitsablauf
Kopiere dies in die Arbeitsnotizen und hake ab, während du fortschreitest. Die Reihenfolge ist wichtig: jeder Schritt produziert, was der nächste benötigt, und das Überspringen eines Schrittes erzeugt einen bekannten Fehler (references/failure-modes.md).
- [ ] 1 Rahmen Frage, Entscheidung, Umfang, Kriterien vor dem Lesen festgelegt
- [ ] 2 Sammeln Hauptbuch gestartet; Suchen protokolliert oder bereitgestelltes Korpus inventarisiert
- [ ] 3 Bewerten Jede Quelle gescreent, bewertet, mit einer Abstammungslinie versehen
- [ ] 4 Extrahieren Belege mit Locators in das Hauptbuch aufgenommen
- [ ] 5 Aufbauen Behauptungen über Quellen hinweg aufgestellt; Widersprüche abgeglichen oder als unerklärt markiert
- [ ] 6 Einstufen Sicherheit auf oder unter jeder Obergrenze mit Begründung festgelegt
- [ ] 7 Brechen Schlusssteine geprüft, alternative Erklärungen versucht, Behauptungen überarbeitet
- [ ] 8 Schreiben Antwort zuerst, verknüpft mit der Entscheidung
- [ ] 9 Nachlesen Arbeitsblatt bestätigt; `check` und `report` sauber; Rubrik bestanden
1 Rahmen
Lege in ein oder zwei Sätzen fest: die Frage in einer Form, die mit "nein" oder "es kommt darauf an" beantwortet werden könnte; die Entscheidung, der sie dient, und wer sie nutzt; den Umfang (Population oder Kontext, Zeitraum, Ort, Quellentypen); und die Ein- und Ausschlusskriterien.
Lege die Kriterien vor dem Lesen fest. Kriterien, die nach dem Betrachten der Ergebnisse angepasst werden, sind der Grund, warum eine Synthese das bestätigt, was ihr Autor erwartet hat. Wenn eines geändert werden muss, halte die Änderung und den Grund fest.
Stelle dem Benutzer höchstens zwei oder drei Fragen, nur dort, wo die Antwort die Arbeit ändern würde (meistens die Entscheidung, die Umfangsgrenze, den Modus). Wenn sie nicht antworten möchten, fahre fort und liste die Annahmen am Anfang des Outputs auf.
Frageframeworks, Überprüfungstypen und eine Protokollskizze: references/scoping-and-protocol.md.
2 Sammeln
Starte das Hauptbuch. Dies legt auch das heutige Datum fest, das nicht angenommen werden darf:
python scripts/ledger.py new ledger.json --question "..." --purpose "..." --mode standard --corpus searched
--corpus ist supplied, searched oder mixed. Das Hauptbuch ist eine JSON-Datei, die das Protokoll, jede in Betracht gezogene Quelle und jede Behauptung mit ihren Belegen enthält. Es ist der Arbeitsspeicher der Synthese: halte es auf der Festplatte und aktuell. Felder und ein ausgefülltes Beispiel: references/evidence-ledger.md und examples/flexible-start/.
Bereitgestelltes Korpus: Gib jedem Element eine Quellen-ID (S1, S2, ...) und sage im Bericht, dass die Synthese nur das abdeckt, was bereitgestellt wurde.
Suchen:
- Beginne mit kurzen, breiten Abfragen, um das Vokabular des Feldes zu lernen, und verenge dann.
- Protokolliere jede Abfrage im Hauptbuch: wo, Abfrage, Datum, Anzahl der Ergebnisse.
- Gehe zum Original. Wenn ein Artikel eine Studie berichtet, finde und zitiere die Studie; wenn sie nicht beschafft werden kann, zitiere den Artikel und notiere
secondary-citation. - Suche gezielt nach Nullergebnissen, gegenteiligen Befunden und unveröffentlichtem oder grauem Material. Veröffentlichte Belege überrepräsentieren positive Ergebnisse.
- Folge Referenzlisten rückwärts und Zitationen vorwärts.
- Stoppe, wenn neue Suchen meist bekannte Quellen zurückgeben oder das Budget des Modus aufgebraucht ist. Sage, welches.
Für große oder trennbare Arbeiten, bei denen Unteragenten verfügbar sind: references/parallel-research.md.
3 Bewerten
Wende die Kriterien auf jeden Kandidaten an. Ausgeschlossene Quellen bleiben mit einem Grund im Hauptbuch.
Für jede eingeschlossene Quelle notiere:
- eine Bewertung (
high,moderate,low,very-low) mit den spezifischen Bedenken. Bewerte die Eignung für diese Frage, nicht das Prestige: references/source-appraisal.md; - eine Abstammungslinie (
L1,L2, ...). Quellen teilen eine Abstammungslinie, wenn sie auf einen Ursprung zurückgehen: eine Studie und ihr Preprint, Presseberichterstattung und Follow-up; mehrere Arbeiten zu einem Datensatz; Seiten, die einen Bericht wiederholen. Sicherheit hängt von Abstammungslinien ab, nicht von Zitaten.
4 Extrahieren
Notiere für jede Quelle, was für die Frage relevant ist, als Belegeinträge: die Quellen-ID, einen Locator, die Art (quote, paraphrase, data) und den Text. Nimm die Population und den Kontext auf sowie alles, was die Übertragbarkeit einschränkt. Paraphrasiere standardmäßig; zitiere nur die entscheidenden Wörter. Notiere, was die Quelle berichtet, nicht, was passend wäre.
5 Aufbauen
Arbeite über Quellen hinweg, niemals eine Quelle nach der anderen.
- Wähle die Methode passend zur Frage und den Belegen: thematische Synthese für qualitative oder gemischte Belege; narrative Synthese mit einer strukturierten Zusammenfassung von Effekten für unterschiedliche quantitative Belege; Meta-Analyse nur, wenn Studien ähnlich genug sind, damit ein Durchschnitt etwas bedeutet. references/synthesis-methods.md
- Gruppiere Belege nach dem, was sie aussagen, nicht nach Quelle und nicht nach gemeinsamem Vokabular.
- Schreibe jede Gruppe als Behauptung: ein Satz, der falsch sein könnte. "Feedback-Timing" ist ein Thema. "Verzögertes Feedback übertraf sofortiges Feedback bei Behaltensaufgaben, aber nicht bei prozeduralen" ist eine Behauptung.
- Füge die Belege in beide Richtungen an: Elemente, die sie stützen, und Elemente, die ihr widersprechen.
- Gleiche jeden Widerspruch im
reconciled-Feld des Elements ab: ein Unterschied in Population, Maß, Dosis, Zeithorizont, Vergleich, Designqualität oder Interesse. Wenn nichts ihn erklärt, schreibeunexplained. Nicht abgeglichene Widersprüche senken die Obergrenze. - Zähle niemals signifikante gegen nicht-signifikante Studien. Berichte Richtung, Größe und Spannweite. Lies references/quantitative-evidence.md, bevor du irgendeinen Effekt berichtest oder vergleichst.
- Zähle ehrlich: "9 von 14 Teilnehmern", "3 von 5 Studien", nicht "die meisten".
Habe so viele Behauptungen, wie die Entscheidung benötigt, und nicht mehr. Wenn ein Leser sie nicht im Kopf behalten könnte, ist die Gruppierung nicht abgeschlossen.
6 Einstufen
python scripts/ledger.py ceilings ledger.json
Dies gibt für jede Behauptung die höchste Sicherheit aus, die ihre aufgezeichneten Belege tragen können, und die Einschränkung, die bindet: eine Abstammungslinie, nichts Solides vollständig gelesen, ein nicht abgeglichener Widerspruch oder eine schwache Behauptung unter einer Empfehlung.
Dann beurteile. Setze die certainty jeder Behauptung auf oder unter ihrer Obergrenze, senkend für Verzerrungsrisiko, Inkonsistenz, Indirektheit, Ungenauigkeit und wahrscheinlich fehlende Belege, und gib eine ein-sätzige rationale, die benennt, was sie festgelegt hat. Formuliere Behauptungen passend:
| Sicherheit | Formulierung |
|---|---|
| Hoch | "X erhöht Y" |
| Mäßig | "X erhöht wahrscheinlich Y" |
| Niedrig | "X mag Y erhöhen" |
| Sehr niedrig | "Es ist unklar, ob X Y erhöht" |
Regeln, qualitative und nicht-forschende Belege, Arbeitsbeispiele: references/certainty.md.
7 Brechen
Versuche, die Schlussfolgerungen zu brechen, bevor ein Leser es tut.
python scripts/ledger.py keystones ledger.json
Ein Schlussstein ist eine Abstammungslinie, ohne die eine Behauptung nicht bestehen kann: entferne ihn und die Behauptung verliert ihre Belege oder könnte nicht mehr wie angegeben bewertet werden. Dann für jede Behauptung, von der das Endergebnis abhängt:
- Schlussstein: lese jede Schlussstein-Quelle erneut vollständig. Was wäre sonst noch wahr, wenn sie recht hat, und wird das irgendwo gesehen?
- Alternative Erklärung: schreibe die beste alternative Erklärung derselben Belege (Zufall, Selektion, Störfaktoren, Messung, umgekehrte Kausalität, eine interessierte Quelle). Nenne die Beobachtung, die die beiden trennen würde, und suche danach.
- Umkehrung: verfasse aus dem Hauptbuch allein den Endbefund, den jemand schreiben würde, der das Gegenteil erwartet. Wo immer dieser Entwurf vertretbar ist, ist die Behauptung übertrieben.
- Übertragbarkeit: Stammen die Belege aus Umgebungen, die derjenigen ähneln, um die es bei der Entscheidung geht? Wenn nicht, behandle sie als indirekt und senke die Bewertung.
- Schweigen: Welche Belege müssten existieren, wenn die Behauptung wahr wäre, und wurde danach gesucht?
Nimm, was dies zutage fördert, in das Hauptbuch auf (neue widersprechende Elemente, geänderte Bewertungen, engere Behauptungen). Nichts zu finden ist ein akzeptables Ergebnis, wenn es wahr ist. Wo Unteragenten existieren, übergib diesen Schritt einem frischen Leser, dem nur das Hauptbuch gegeben wird.
8 Schreiben
Antwort zuerst. Der Bericht hat sieben Teile (Schnellkurzberichte können die Methode weglassen):
- Endergebnis: die Antwort in zwei bis vier Sätzen, in einer Formulierung, die ihre Sicherheit trägt.
- Was dies für die Entscheidung bedeutet: Interpretationen und Empfehlungen, gekennzeichnet, einschließlich "nicht handeln" und "die Belege können dies nicht entscheiden", wo ehrlich, und was die Schlussfolgerung ändern würde.
- Befunde: eine Unterüberschrift pro Behauptung, geschrieben als die Behauptung, mit ihrer ID (
[C1]), einerCertainty:-Zeile mit dem Grund, den Belegen und Zitaten ([S3, S7]), und für wen sie gilt. - Wo die Belege uneinig sind und warum.
- Lücken und Einschränkungen: der Belege und dieser Synthese.
- Wie dies gemacht wurde: Frage, Kriterien, Suche, Zählungen, Bewertung, Methode.
- Quellen: jede zitierte Quelle nach ID.
Sei bestimmt, wo die Belege es erlauben, und klar, wo nicht. Jeden Satz gleichmäßig abzuschwächen verdeckt den Unterschied zwischen starken und schwachen Befunden, was der Leser am meisten braucht.
9 Nachlesen
python scripts/ledger.py worksheet ledger.json
Das Arbeitsblatt listet die Belege auf, die erneut an ihrem Locator gelesen werden müssen: jede Abbildung, jedes Zitat und alles von einem Schlussstein. Öffne jede Quelle und vergleiche. Notiere dann das Ergebnis:
python scripts/ledger.py mark ledger.json confirmed C1.s1 C1.s2
python scripts/ledger.py mark ledger.json mismatch C2.s1 --note "Tabelle 3 gibt 0,03, nicht 0,30"
Korrigiere jede Abweichung im Hauptbuch und im Bericht, bevor du sie bestätigst. Ein als bestätigt markiertes Element ohne erneutes Lesen vereitelt die einzige Prüfung, die ein falsches Zitat erwischt.
Führe dann die Prüfungen aus, korrigiere, was sie melden, und wiederhole, bis beide sauber sind:
python scripts/ledger.py check ledger.json
python scripts/ledger.py report report.md ledger.json
python scripts/ledger.py explain <CODE> sagt, warum eine Regel existiert. Außerhalb des Schnellmodus schlägt report fehl, während erforderliche Belege unbestätigt sind. Für einen Anhang rendert python scripts/ledger.py tables ledger.json die Belegetabellen, und trace ledger.json C1 zeigt den Pfad jeder Behauptung zurück zu ihren Quellen.
Abschließend bewerte den Entwurf anhand von references/quality-rubric.md und korrigiere alles unter der Bestehensgrenze.
Aktualisieren einer Synthese
Wenn neue Belege eintreffen, füge die Quellen zum bestehenden Hauptbuch hinzu, setze as_of auf das neue Datum, extrahiere und führe ceilings und keystones erneut aus: eine neue Abstammungslinie kann eine Obergrenze anheben, und ein neuer Widerspruch kann eine senken. Notiere, was sich unter protocol.deviations geändert hat, und sage im Bericht, welche Schlussfolgerungen sich geändert haben und warum.
Prüfung einer fremden Synthese
- Rekonstruiere ihre implizierte Frage, Kriterien und Methode.
- Überprüfe ihre Zitate anhand der Quellen, beginnend mit denen, auf denen ihre Schlussfolgerungen beruhen. Behaupte nicht, was eine ungelesene Quelle "wirklich" sagt; melde es als ungeprüft.
- Bewerte sie mit references/quality-rubric.md und teste sie gegen references/failure-modes.md.
- Melde zuerst das Urteil, dann was hält, was nicht gestützt ist, und die spezifischen Änderungen, die es beheben würden, in der Reihenfolge ihrer Wichtigkeit.
Referenzdateien
| Datei | Lesen, wenn |
|---|---|
| references/scoping-and-protocol.md | Die Frage rahmen, einen Überprüfungstyp wählen, ein Protokoll schreiben |
| references/source-appraisal.md | Eine Quelle bewerten oder Abstammungslinien zuweisen |
| references/evidence-ledger.md | Bearbeiten des Hauptbuch-Handbuchs |
| references/certainty.md | Sicherheit einstufen, qualitative Belege |
| references/quantitative-evidence.md | Effekte melden oder vergleichen |
| references/synthesis-methods.md | Eine Synthesemethode wählen |
| references/qualitative-data.md | Primäre qualitative Daten synthetisieren |
| references/parallel-research.md | Mehrere Unteragenten verwenden |
| references/failure-modes.md | Fehler diagnostizieren |
| references/quality-rubric.md | Die Synthesequalität bewerten |
| assets/brief-template.md | Vorlage für Schnellkurzbericht |
| assets/report-template.md | Vorlage für vollständigen Bericht |
| examples/flexible-start/ | Ausgefüllte Beispiele |