Scholar-Evaluation

Was macht Scholar-Evaluation?

Verwenden Sie diese Fähigkeit, um akademische oder wissenschaftliche Arbeiten mit einer wiederholbaren Bewertungsmatrix zu bewerten.

Wann verwenden

• Überprüfung eines Forschungsartikels, Antrags, Thesenkapitels oder Literaturüberblicks.
• Prüfung, ob Behauptungen durch zitierte Nachweise gestützt werden.
• Bewertung von Methodik, Studiendesign, Analyse oder Einschränkungen.
• Vergleich von zwei oder mehr Arbeiten hinsichtlich Qualität oder Relevanz.
• Erstellung strukturierten Feedbacks zur Überarbeitung.

Bewertungsumfang

Identifizieren Sie zunächst das Artefakt:

• empirischer Forschungsartikel
• theoretischer Artikel
• technischer Bericht
• systematischer oder narrativer Literaturüberblick
• Forschungsantrag
• Abschlussarbeit oder Dissertationskapitel
• Konferenzabstract oder Kurzbeitrag

Wählen Sie dann den Umfang:

• umfassend: alle Rubrik-Dimensionen
• gezielt: eine oder zwei Dimensionen, z. B. Methode oder Zitierungen
• vergleichend: mehrere Arbeiten gegen dieselbe Rubrik bewerten

Rubrik

Bewerten Sie jede anwendbare Dimension von 1 bis 5:

• 5: ausgezeichnet; klar, rigoros und publikationsreif
• 4: gut; geringfügige Verbesserungen nötig
• 3: ausreichend; bedeutende Lücken, aber nutzbar
• 2: schwach; erhebliche Überarbeitung nötig
• 1: schlecht; schwerwiegende Gültigkeits- oder Klarheitsprobleme

Verwenden Sie N/A für Dimensionen, die nicht zutreffen.

1. Problem und Forschungsfrage

• Ist das Problem klar und spezifisch?
• Ist der Beitrag bedeutsam?
• Sind Umfang und Annahmen explizit?
• Passt die Frage zum beanspruchten Beitrag?

2. Literatur und Kontext

• Wird relevante Vorarbeit abgedeckt?
• Synthetisiert die Arbeit, anstatt nur Quellen aufzulisten?
• Werden Lücken genau identifiziert?
• Sind aktuelle und grundlegende Quellen ausgewogen?

3. Methodik

• Beantwortet die Methode die Forschungsfrage?
• Sind Designentscheidungen begründet?
• Werden Variablen, Datensätze, Teilnehmer oder Materialien klar beschrieben?
• Könnte eine andere Forscherin die Arbeit reproduzieren?
• Werden ethische und praktische Einschränkungen anerkannt?

4. Daten und Evidenz

• Sind die Datenquellen glaubwürdig und angemessen?
• Ist die Stichprobengröße oder Korpusabdeckung ausreichend?
• Sind Entscheidungen zu Einschluss, Ausschluss und Vorverarbeitung dokumentiert?
• Werden fehlende Daten und Verzerrungsrisiken diskutiert?

5. Analyse

• Sind statistische, qualitative oder rechnerische Methoden angemessen?
• Sind Baselines und Kontrollen fair?
• Werden gegebenenfalls Unsicherheits-, Sensitivitäts- oder Robustheitsprüfungen durchgeführt?
• Werden alternative Erklärungen berücksichtigt?

6. Ergebnisse und Interpretation

• Werden Ergebnisse klar präsentiert?
• Bleiben Behauptungen im Rahmen der Evidenz?
• Sind Abbildungen, Tabellen und Metriken verständlich?
• Werden negative oder Nullergebnisse ehrlich behandelt?

7. Einschränkungen und Bedrohungen der Gültigkeit

• Sind Einschränkungen spezifisch und nicht allgemein?
• Werden Risiken für interne, externe, Konstrukt- und Schlussfolgerungsvalidität adressiert?
• Unterscheidet das Papier zwischen Spekulation und demonstrierten Ergebnissen?

8. Schreiben und Struktur

• Ist das Argument leicht nachvollziehbar?
• Sind Abschnitte um die Forschungsfrage organisiert?
• Sind Definitionen und Notation klar?
• Ist der Ton präzise und wissenschaftlich?

9. Zitierungen

• Unterstützen die zitierten Arbeiten die daran geknüpften Behauptungen?
• Werden wo möglich Primärquellen verwendet?
• Sind Übersichtsarbeiten als solche gekennzeichnet?
• Sind Preprints als Preprints gekennzeichnet?
• Sind Zitationsmetadaten und Links korrekt?

Überprüfungsprozess

1. Lesen Sie Abstract, Einleitung, Abbildungen und Fazit für den beanspruchten Beitrag.
2. Lesen Sie Methoden und Ergebnisse für die Evidenzqualität.
3. Überprüfen Sie die stärksten Behauptungen anhand der zitierten Quellen.
4. Bewerten Sie jede anwendbare Dimension.
5. Trennen Sie kritische Hindernisse von Überarbeitungsvorschlägen.
6. Enden Sie mit konkreten nächsten Änderungen.

Ausgabevorlage

# Scholar-Evaluation: <Artefakt>

## Gesamtbewertung

- Gesamtpunktzahl: <1-5 oder N/A>
- Vertrauen: <hoch | mittel | niedrig>
- Zusammenfassung: <3-5 Sätze>

## Dimensionsbewertungen

| Dimension | Punktzahl | Evidenz | Überarbeitungspriorität |
| --- | ---: | --- | --- |
| Problem und Frage |  |  |  |
| Literatur und Kontext |  |  |  |
| Methodik |  |  |  |
| Daten und Evidenz |  |  |  |
| Analyse |  |  |  |
| Ergebnisse und Interpretation |  |  |  |
| Einschränkungen |  |  |  |
| Schreiben und Struktur |  |  |  |
| Zitierungen |  |  |  |

## Kritische Probleme

## Empfohlene Überarbeitungen

## Erforderliche Evidenzprüfungen

Fallstricke

• Verwenden Sie die Punktzahl nicht als Ersatz für konkretes Feedback.
• Bestrafen Sie ein Papier nicht dafür, dass es eine Dimension außerhalb seines Rahmens weglässt.
• Behandeln Sie Zitierhäufigkeit, Publikationsort oder Autorenreputation nicht als Qualitätsnachweis.
• Akzeptieren Sie unbelegte Behauptungen nicht nur, weil sie im Abstract auftauchen.