Wissenschaftliche Evaluierung

Was macht Wissenschaftliche Evaluierung?

Verwenden Sie diese Fähigkeit, um akademische oder wissenschaftliche Arbeiten mit einem wiederholbaren Bewertungsraster zu evaluieren.

Verwendung

• Überprüfung eines Forschungsartikels, Vorschlags, Dissertationskapitels oder einer Literaturübersicht.
• Prüfung, ob Behauptungen durch zitierte Belege gestützt werden.
• Bewertung der Methodik, des Studiendesigns, der Analyse oder der Einschränkungen.
• Vergleich von zwei oder mehr Artikeln hinsichtlich Qualität oder Relevanz.
• Erstellung strukturierten Feedbacks zur Überarbeitung.

Evaluierungsumfang

Beginnen Sie mit der Identifizierung des Artefakts:

• empirischer Forschungsartikel
• theoretischer Artikel
• technischer Bericht
• systematische oder narrative Literaturübersicht
• Forschungsvorschlag
• Kapitel einer Dissertation oder Abschlussarbeit
• Konferenzabstract oder Kurzbeitrag

Wählen Sie dann den Umfang:

• umfassend: alle Bewertungsdimensionen
• zielgerichtet: eine oder zwei Dimensionen, z. B. Methodik oder Zitierungen
• vergleichend: mehrere Arbeiten anhand desselben Rasters bewerten

Bewertungsraster

Bewerten Sie jede zutreffende Dimension von 1 bis 5:

• 5: hervorragend; klar, rigoros und publikationsreif
• 4: gut; geringfügige Verbesserungen nötig
• 3: ausreichend; bedeutende Lücken, aber nutzbar
• 2: schwach; erhebliche Überarbeitung nötig
• 1: mangelhaft; schwerwiegende Validitäts- oder Klarheitsprobleme

Verwenden Sie N/V für Dimensionen, die nicht zutreffen.

1. Problemstellung und Forschungsfrage

• Ist das Problem klar und spezifisch?
• Ist der Beitrag bedeutsam?
• Sind Umfang und Annahmen explizit?
• Passt die Frage zum beanspruchten Beitrag?

2. Literatur und Kontext

• Wird relevante Vorarbeit abgedeckt?
• Synthetisiert die Arbeit, anstatt nur Quellen aufzulisten?
• Werden Lücken genau identifiziert?
• Sind aktuelle und grundlegende Quellen ausgewogen?

3. Methodik

• Beantwortet die Methode die Forschungsfrage?
• Sind Designentscheidungen gerechtfertigt?
• Sind Variablen, Datensätze, Teilnehmer oder Materialien klar beschrieben?
• Könnte ein anderer Forscher die Arbeit reproduzieren?
• Werden ethische und praktische Einschränkungen anerkannt?

4. Daten und Evidenz

• Sind Datenquellen glaubwürdig und angemessen?
• Ist die Stichprobengröße oder Korpusabdeckung ausreichend?
• Sind Entscheidungen zu Einschluss, Ausschluss und Vorverarbeitung dokumentiert?
• Werden fehlende Daten und Verzerrungsrisiken diskutiert?

5. Analyse

• Sind statistische, qualitative oder computergestützte Methoden angemessen?
• Sind Baselines und Kontrollen fair?
• Werden bei Bedarf Unsicherheits-, Sensitivitäts- oder Robustheitsprüfungen durchgeführt?
• Werden alternative Erklärungen in Betracht gezogen?

6. Ergebnisse und Interpretation

• Sind Ergebnisse klar dargestellt?
• Bleiben Behauptungen im Rahmen der Evidenz?
• Sind Abbildungen, Tabellen und Metriken verständlich?
• Werden negative oder Nullergebnisse ehrlich behandelt?

7. Einschränkungen und Gefahren für die Validität

• Sind Einschränkungen spezifisch statt allgemein?
• Werden Risiken für interne, externe, Konstrukt- und Schlussfolgerungsvalidität angesprochen?
• Unterscheidet das Papier zwischen Spekulation und nachgewiesenen Ergebnissen?

8. Schreiben und Struktur

• Ist das Argument leicht nachvollziehbar?
• Sind Abschnitte um die Forschungsfrage organisiert?
• Sind Definitionen und Notation klar?
• Ist der Ton präzise und wissenschaftlich?

9. Zitierungen

• Unterstützen die zitierten Arbeiten die ihnen zugeordneten Behauptungen?
• Werden nach Möglichkeit Primärquellen verwendet?
• Werden Übersichtsarbeiten als solche gekennzeichnet?
• Werden Preprints als Preprints gekennzeichnet?
• Sind Zitierungsmetadaten und Links korrekt?

Überprüfungsprozess

1. Lesen Sie Abstract, Einleitung, Abbildungen und Fazit für den beanspruchten Beitrag.
2. Lesen Sie Methoden und Ergebnisse für die Evidenzqualität.
3. Überprüfen Sie die stärksten Behauptungen anhand der zitierten Quellen.
4. Bewerten Sie jede zutreffende Dimension.
5. Trennen Sie kritische Hindernisse von Überarbeitungsvorschlägen.
6. Enden Sie mit konkreten nächsten Schritten.

Ausgabevorlage

# Wissenschaftliche Evaluierung: <Artefakt>

## Gesamtbewertung

- Gesamtpunktzahl: <1-5 oder N/V>
- Konfidenz: <hoch | mittel | niedrig>
- Zusammenfassung: <3-5 Sätze>

## Dimensionsbewertungen

| Dimension | Punktzahl | Evidenz | Überarbeitungspriorität |
| --- | ---: | --- | --- |
| Problem und Frage |  |  |  |
| Literatur und Kontext |  |  |  |
| Methodik |  |  |  |
| Daten und Evidenz |  |  |  |
| Analyse |  |  |  |
| Ergebnisse und Interpretation |  |  |  |
| Einschränkungen |  |  |  |
| Schreiben und Struktur |  |  |  |
| Zitierungen |  |  |  |

## Kritische Probleme

## Empfohlene Überarbeitungen

## Erforderliche Evidenzprüfungen

Fallstricke

• Verwenden Sie die Punktzahl nicht als Ersatz für konkretes Feedback.
• Bestrafen Sie ein Papier nicht für das Fehlen einer Dimension außerhalb seines Rahmens.
• Behandeln Sie Zitierzahl, Veröffentlichungsort oder Autorenreputation nicht als Qualitätsnachweis.
• Akzeptieren Sie keine unbelegten Behauptungen, nur weil sie im Abstract erscheinen.