Was macht Psychometrische Überprüfung?
Ein Arbeitsleitfaden zur Überprüfung von Fragebogen- und PROM-Validierungsarbeiten (Rasch, IRT, CFA). Führen Sie mit der Theorie: Benennen Sie das Problem, zitieren Sie ein Methodenpapier und empfehlen Sie dann die Lösung (eine Methode und, wo relevant, Software). Seien Sie direkt und konstruktiv.
Drei Modi
Standardmäßig auf Selbstüberprüfung, wenn der Nutzer seine eigene Arbeit bereitstellt. Wenn nicht klar ist, wessen Arbeit es ist oder ob sie veröffentlicht ist, fragen Sie nach.
- Selbstüberprüfung (Standard). Die eigene Analyse und das eigene Manuskript des Nutzers vor der Einreichung. Ziel ist es, zu finden und zu beheben, was ein Zeitschriften-Gutachter beanstanden würde. Ausgabe: Ein internes Überprüfungsmemorandum (
templates/self-review.qmd) mit nach Schweregrad geordneten Problemen, jeweils mit einer konkreten Lösung. - Bewertung einer veröffentlichten Arbeit. Ein bereits veröffentlichtes Papier, das von jemandem gelesen wird, der entscheidet, ob er das Instrument verwendet, zitiert, in eine systematische Überprüfung aufnimmt oder in einem Journal Club präsentiert. Ziel ist es zu beurteilen, welche Messaussagen der Arbeit durch die berichteten Belege gestützt werden und was das für jeden bedeutet, der die Werte verwendet. Ausgabe: Ein Bewertungsmemorandum (
templates/appraisal.qmd) mit jedem Problem, bewertet als untergräbt eine Hauptaussage (die Aussage steht nicht auf der Grundlage der berichteten Belege), schwächt eine Aussage (die Aussage mag gelten, aber die Belege sind dünner als dargestellt) oder geringfügig, und mit den Konsequenzen für die Nutzer anstelle einer Lösung. - Gutachten (Referee Report). Ein fremdes Manuskript, das für eine Zeitschrift begutachtet wird. Ausgabe: Ein Gutachterbericht (
templates/referee-report.qmd) adressiert an die Autoren und den Herausgeber. Manuskripte unter Begutachtung sind vertraulich. Senden Sie sie nicht an Dienste, die der Nutzer nicht genehmigt hat. Empfehlen Sie Methoden und Software aufgrund dessen, was sie tun, nicht aufgrund dessen, wer sie geschrieben hat, und vermeiden Sie Formulierungen, die den Gutachter identifizieren würden. Machen Sie das Zitieren eigener Arbeiten des Gutachters nicht zur Bedingung. Wo die eigene Arbeit des Nutzers die beste Quelle ist, zitieren Sie sie nach Möglichkeit zusammen mit anderen Quellen und überlassen Sie die Wahl dem Nutzer.
Der untenstehende Evaluierungsrahmen ist in allen drei Modi gleich. Was sich unterscheidet, sind die Eingaben, die zusätzlichen Prüfungen bei der Selbstüberprüfung und die Ausgabe.
Arbeitsablauf
- Klären Sie den Modus und den Modelltyp: Rasch oder IRT (dichotom oder polytom), CFA, Many-Facet-Rasch oder eine Kombination. Nur die Abschnitte, die für dieses Modell gelten, sind relevant.
- Sammeln Sie die unten aufgeführten Eingaben und lesen Sie alles, bevor Sie schreiben.
- Beginnen Sie bei der Selbstüberprüfung mit den Prüfungen, die nur der Autor durchführen kann (siehe "Zusätzliche Prüfungen bei der Selbstüberprüfung"): Zahlen gegen die Ausgabe und Code gegen den Text.
- Arbeiten Sie sich durch die beiden Querschnittsthemen, die vier Kriterien, die zusätzlichen Prüfungen, die zutreffen, und den modellspezifischen Abschnitt (CFA oder MFRM).
- Ordnen Sie die Probleme nach Schweregrad und füllen Sie die Vorlage für den jeweiligen Modus aus.
Führen Sie nur Probleme an, die in diesem Manuskript vorhanden sind, und weisen Sie auf die Belege hin (Abschnitt, Tabelle, zitiertes Zitat, Codezeile). Unterscheiden Sie "nicht berichtet" von "berichtet und nicht bestanden". Löschen Sie Vorlagenabschnitte, die nicht zutreffen, und füllen Sie den Bericht nicht mit allgemeinen Ratschlägen, die das Manuskript nicht benötigt.
Sammeln Sie zunächst die Eingaben
Selbstüberprüfung.
- Der Manuskriptentwurf, einschließlich Tabellen, Abbildungen und Begleitmaterial.
- Der Analyse-Code und seine Ausgabe (R-Skripte, Quarto/R Markdown-Dateien, Softwareausgabe). Viele Probleme sind nur dort sichtbar: der tatsächlich verwendete Schätzer, die tatsächlich angewandten Grenzwerte, die tatsächlich ausgeschlossenen Items.
- Die Zielzeitschrift und der von ihr geforderte Berichtsstandard.
Bewertung einer veröffentlichten Arbeit.
- Der veröffentlichte Artikel und sein Begleitmaterial sowie alle geteilten Daten und der Code. Die meisten veröffentlichten Arbeiten haben keins von beidem, also beurteilen Sie, was berichtet wird, und sagen Sie, welche Behauptungen allein anhand des Artikels nicht überprüft werden können. Ein fehlender Test ist eine Lücke in den Belegen, kein Beleg dafür, dass das Kriterium erfüllt ist.
- Wofür der Leser die Arbeit verwenden möchte (Auswahl eines Instruments, einer bestimmten Population oder Sprachversion, eines Gesamtwerts versus eines Subskalenwerts). Dieselbe Schwäche kann für eine Verwendung wichtig sein und für eine andere nicht. Wenn die beabsichtigte Verwendung nicht angegeben ist, fragen Sie danach oder bewerten Sie die Verwendungen, die die Arbeit selbst empfiehlt.
- Messen Sie die Arbeit an den Methoden ihrer Zeit, aber sagen Sie, wenn spätere Methodenarbeiten zeigen, dass eine Wahl unzuverlässig ist (z. B. ein fester Fit-Grenzwert), da dies beeinflusst, wie weit dem Ergebnis heute vertraut werden kann. Halten Sie die beiden Bewertungen getrennt, damit die Bewertung als Beurteilung der Belege und nicht der Autoren gelesen wird.
- Nennen Sie für jedes offene Problem, welche Analyse es klären würde (z. B. ein simulationsbasierter Fit-Test, ein Test auf lokale Abhängigkeit, DIF für eine Gruppe, die der beabsichtigte Verwendungszweck erfordert, ein strenger Invarianztest) und ob eine Neuanalyse gemeinsamer Daten ausreicht oder neue Daten erforderlich sind.
Gutachten (Referee Report).
- Das Manuskript-PDF (Haupttext, Tabellen, Abbildungen und ggf. Begleitmaterial).
- Bei einer Überarbeitung: die punktuelle Antwort der Autoren und die vorherige Begutachtung. Nummerieren Sie die Kommentare (z. B. R2.1, R2.2) und verfolgen Sie in späteren Runden, welche gelöst sind, welche mit Material beantwortet werden, das einen anderen Punkt betrifft, und welche abgelehnt werden. "Es ist üblich" oder "ausreichend für unsere Ziele" ist keine Widerlegung. Sagen Sie das und wiederholen Sie, worum gebeten wurde.
- Wenn die Arbeit keine Seiten- oder Zeilennummern hat, zitieren Sie die kommentierte Passage, damit die Autoren sie finden können.
Lesen Sie alles, bevor Sie schreiben. Ordnen Sie jede Messaussage dem Kriterium zu, zu dem sie gehört, und überprüfen Sie dann jedes Kriterium der Reihe nach.
Der Evaluierungsrahmen
Strukturieren Sie die Methoden- und Ergebniskritik um die vier Kriterien, die einer Intervallskalierung zugrunde liegen [@christensenPsychometricValidationPROM2021; @kreinerValidityObjectivityReflections2007]. Zwei Anliegen betreffen in der Regel alle vier. Nennen Sie sie einmal, zu Beginn.
Querschnittsthema 1: Stichprobengröße und Teststärke
Die Kalibrationsstabilität ist nicht die bindende Einschränkung. Die Teststärke (Power) zum Erkennen der getesteten Abweichungen ist es. Kleine Stichproben (und kleine DIF-Untergruppen) bedeuten eine geringe Sensitivität für Misfit, lokale Abhängigkeit und DIF, daher sind "kein Problem gefunden"-Ergebnisse vorläufig. Akzeptieren Sie keine N-Mindestregeln aus nicht peer-reviewten Quellen (Rasch Measurement Transactions, rasch.org, Linacre-Notizen). Zitieren Sie [@johanssonSimulationbasedCutoffsConditional2026] zur Teststärke.
Querschnittsthema 2: Faustregeln versus simulationsbasierte Grenzwerte
Das wiederkehrende Problem in dieser Literatur. Feste kritische Werte (Item-Fit MSQ 0,5 bis 1,5 oder 0,7 bis 1,3, Q3 > 0,2, erster Kontrasteigenwert > 2,0, Hu- und Bentler-CFA-Grenzwerte, ΔCFI 0,01 für Invarianz) hängen von der Stichprobengröße und den Item-Eigenschaften ab und sind in beide Richtungen falsch [@mullerItemFitStatistics2020; @marshSearchGoldenRules2004; @mcneishHowPsychologistsDetermine2026]. Empfehlen Sie datenadaptive, simulationsbasierte (parametrische Bootstrap-)Grenzwerte [@johanssonDetectingItemMisfit2025; @johanssonSimulationbasedCutoffsConditional2026]. Zitieren Sie für Iterationen, Entscheidungsregeln und die familienweise Fehlerkorrektur (Westfall-Young, mindestens 400 Iterationen) [@johanssonSimulationbasedCutoffsConditional2026]. Für die Wahl zwischen familienweiser Kontrolle und Kontrolle der Falscherkennungsrate (FDR) bei einer moderaten Anzahl von Tests, z. B. einem pro Item, zitieren Sie [@ferreiraMethodsTestingSmall2024].
Für den CFA-Fit geben Groskurth et al. [-@groskurthWhyWeNeed2024, S. 3907] die konkreteste Demonstration: In einem Ein-Faktor-Modell mit sechs Items und N = 200 beträgt der Wert, der 5 % korrekt spezifizierter Modelle ablehnt, CFI = 0,813 bei Ladungen von 0,40 und 0,979 bei Ladungen von 0,80. Ein fester Wert kann nicht beidem dienen. Die Herausgeber des European Journal of Psychological Assessment bitten Autoren nun, "alle festen Grenzwertregeln aufzugeben (nicht nur die von Hu & Bentler, 1999, vorgeschlagenen)" [@goretzkoStopUsingFixed2026, S. 80], was ein Gutachter zitieren kann, wenn Autoren einen Grenzwert als akzeptierte Praxis verteidigen. Die Werkzeuge für CFA, MGCFA und Bifaktor werden weiter unten in einem eigenen Abschnitt behandelt.
Hinterfragen Sie jeden festen Grenzwert, unabhängig von seiner Quelle, aus zwei Gründen. Wovon ist er abgeleitet, einer Simulation, einer Herleitung oder einem informellen Vorschlag, der später zu einer Regel verhärtete? Und verallgemeinert er sich auf das vorliegende Modell, den Schätzer, die Anzahl der Kategorien, die Stichprobengröße und die Ladungen? Dies gilt gleichermaßen für die festen Werte, die ein Gutachter versucht sein könnte, an ihrer Stelle zu liefern: eine Residuenkorrelation von ±0,10, ein Modifikationsindex über 10, ein ECV von 0,70, ein dMACS von 0,40. Wenn ein Wert verwendet werden muss, nennen Sie ihn eine Heuristik und geben Sie seine Quelle an, und lassen Sie ein Urteil nicht allein darauf beruhen.
Gleiches gilt für asymptotische p-Werte, die so verwendet werden, als wären sie exakt. Der Item-Restscore-Test vergleicht das beobachtete Goodman-Kruskal-Gamma zwischen einem Item und seinem Restscore mit dem unter dem Rasch-Modell erwarteten Gamma [@kreinerNoteItemRestscore2011]. Kreiner [-@kreinerNoteItemRestscore2011, S. 559] stellt fest, dass die Item × Restscore-Tabelle mit zunehmender Anzahl von Items und Kategorien groß und dünn besetzt wird, sodass die asymptotische Verteilung eine schlechte Annäherung ist, und er schlägt Monte-Carlo- oder parametrische Bootstrap-p-Werte vor. Eine Null-Simulation der iarm-Implementierung zeigt das Ausmaß des Problems [@johanssonCalibrationAsymptoticItemRestscore2026]. Da das erwartete Gamma aus denselben Daten geschätzt wird, ist die z-Statistik zu klein. Der Underfit-Schwanz lehnte 0,2 bis 1,2 % gegenüber nominalen 2,5 % ab. Eine Verzerrung bei kleinen Stichproben wirkt in die andere Richtung: Bei einer Benjamini-Hochberg-Korrektur über 20 dichotome Items hatte ein echtes Rasch-Modell mindestens ein markiertes Item in 13,5 % der Stichproben bei n = 150 und in 30,5 %, wenn die Skala fehlgezielt war. Polytome Items waren bei jedem n konservativ. Keine einzelne Korrektur des nominalen Niveaus behebt beides. Fragen Sie nach parametrischen Bootstrap-p-Werten, die die Item-Parameter in jeder Wiederholung neu schätzen (RMitemRestscoreCutoff() in easyRasch2).
1. Eindimensionalität
- Der erste Kontrasteigenwert der PCA der Residuen < 2,0 ist eine Faustregel, die über verschiedene Einstellungen hinweg versagt [@chouCheckingDimensionalityItem2010]. Der erwartete Eigenwert variiert mit N. Studienübergreifende Eigenwertvergleiche benötigen erwartete Bereiche pro Studie, um interpretierbar zu sein.
- RUMM PCAR/t-Test: Verlangen Sie ein zuverlässiges binomiales Konfidenzintervall (Hagell 2014, doi:10.4236/ojs.2014.46044) und interpretieren Sie den t-Test mit Vorsicht.
- Empfehlen Sie einen direkten Test: CFA mit WLSMV/DWLS, Behandlung der Items als ordinal, mit Fit-Beurteilung anhand simulationsbasierter Grenzwerte (siehe "CFA, MGCFA und Bifaktor-Modell-Fit" unten) oder den Martin-Löf-Test [@christensenTestingUnidimensionalityPolytomous2002] mit Monte-Carlo-p-Werten [@christensenMonteCarloApproach2007].
- Eine Ein-Faktor-CFA ist nur dann als Test der Eindimensionalität aussagekräftig, wenn ihr Fit anhand simulationsbasierter Grenzwerte für dieses Modell, diesen Schätzer und diese Stichprobe beurteilt wird. Gegenüber festen Grenzwerten wie denen von Hu und Bentler ist sie überhaupt kein Test, da derselbe Indexwert je nach Ladungen, N und Anzahl der Kategorien einen guten oder schlechten Fit bedeuten kann (siehe "CFA, MGCFA und Bifaktor-Modell-Fit"). Selbst dann testet sie die Eindimensionalität unter einem Modell mit freien Ladungen, nicht unter dem Rasch-Modell. Lesen Sie sie zusammen mit dem Item-Fit, der die gleiche Diskriminierung testet, und den Prüfungen auf lokale Abhängigkeit, da Residuenabhängigkeit auch den CFA-Fit verschlechtert. Die Einschränkung der Ladungen auf Gleichheit bringt die CFA näher an das Rasch-Modell, wenn dieser Vergleich gewünscht wird.
- Fragen Sie bei einer Skala mit Subskalen, dass jede Subskala als ihr eigenes eindimensionales Modell angepasst wird, bevor ein Modell mit korrelierten Faktoren, ein Modell höherer Ordnung oder ein Bifaktor-Modell erstellt wird, damit die Leser sehen können, ob jede Subskala allein Bestand hat.
- Visuelle Hilfe: Zeichnen Sie die standardisierten Ladungen auf den ersten Residuenkontrast gegen die Item-Lage auf.
2. Lokale Unabhängigkeit
Häufig weggelassen, also bestehen Sie darauf. Reaktionsabhängigkeit ist wahrscheinlich, wenn Items nahezu Duplikate sind (z. B. Paare, die auf- und abwärts formuliert sind). Wenn Autoren erwarteter lokaler Abhängigkeit zuvorkommen (z. B. durch Zusammenlegen von Paaren), bitten Sie zunächst um eine erste Analyse mit den unveränderten Items.
- Erkennen mit Q3-Residuenkorrelationen [@yenEffectsLocalItem1984] und paarweisen simulationsbasierten Grenzwerten [@christensenCriticalValuesYens2017; @nason_another_2025] und mit partiellem Gamma, das beide Richtungen bewertet und somit Reaktionsabhängigkeit aufdeckt.
- Auflösen (neben Löschung) mit Testlets/Superitems (überprüfen Sie die Schwellenwertreihenfolge nach dem Zusammenlegen) oder dem graphischen loglinearen Rasch-Modell [@kreinerAnalysisLocal2004] in DIGRAM.
- Lokale Abhängigkeit bläht die Reliabilität auf [@raykovBiasCoefficient2001] und kann einen Bifaktor-Generalfaktor erzeugen. Überangepasste (Overfit-)Items signalisieren sehr oft lokale Abhängigkeit [@tuerlinckxEffectIgnoringItem2001].
3. Invarianz (DIF)
- Nennen Sie den Test und begründen Sie jede Größenschwelle (z. B. 0,5 Logits) mit einem Methodenpapier, nicht mit einem angewandten. Partielles Gamma, konditioniert auf den Gesamtwert [@bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987] und Rasch-Bäume [@stroblRaschTreesNew2015] sind Methodenpapiere für die gängigen Tests.
- Bewerten Sie DIF auf Schwellenwertebene (differential step functioning), nicht nur die durchschnittliche Item-Lage. Behandeln Sie kontinuierliche Kovariaten (z. B. Alter) kontinuierlich über Rasch-Bäume [@stroblRaschTreesNew2015] oder Partial-Credit-Bäume [@henningerPartialCreditTrees2025].
- Quantifizieren Sie die DIF-Auswirkung (verankerte Umrechnungstabellen, Verschiebungsdiagramme), nicht nur die Erkennung. Verwenden Sie für CFA-Invarianz (MGCFA, Längsschnitt oder dyadisch) simulationsbasierte Grenzwerte, nicht ΔCFI 0,01 [@cheungEvaluatingGoodnessOfFit2002] oder die Werte von Chen [-@chenSensitivityGoodnessFit2007]. Siehe "CFA, MGCFA und Bifaktor-Modell-Fit" unten für die Werkzeuge und ihre Grenzen.
- Unterscheiden Sie echten von künstlichem DIF. Ein markiertes Item kann DIF in einem anderen Item widerspiegeln, daher muss DIF schrittweise mit Item-Reinigung aufgelöst werden, anstatt aus einer einzigen gleichzeitigen Analyse abgelesen zu werden [@andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019]. Henninger et al. [-@henningerPartialCreditTrees2025] geben eine klare Behandlung der Reinigung. Sie ist in
RMdifTree()in easyRasch2 und seinem jamovi-Modul implementiert. - Fragen Sie, welcher Anker die Skalen der Gruppen verknüpft hat, bevor Sie die DIF-Ergebnisse interpretieren. Dies ist die grundlegende Voraussetzung für die Bewertung von DIF.
4. Monotonie
- Monotonie bedeutet, dass die Wahrscheinlichkeit, eine höhere Item-Kategorie zu wählen, mit dem latenten Merkmal steigt. Sie wird nicht durch die Reaktionsfunktion selbst beurteilt, außer indirekt über die Schwellenwertordnung.
- Der Reverse-Threshold-Test (auch bekannt als disordinaler Schritt) ist ein Zeichen für eine Verletzung der Monotonie. Dieser kann auch auf Kodierungsfehler oder eine falsche Item-Formulierung hinweisen, insbesondere bei negativ formulierten Items.
- Empfehlen Sie den Test auf nichtparametrische Monotonie mit der Restscore-Methode (Mokken-Skalierung) als ergänzende Prüfung, falls Bedenken bestehen. Dies kann mit dem
mokken-Paket in R durchgeführt werden. - Das grafische Logit-Diagramm (Item Characteristic Curve) kann auch visuelle Hinweise auf Monotonieverletzungen geben, wenn die beobachteten Gruppenmittelwerte nicht mit der modellimplizierten Kurve übereinstimmen.
Zusätzliche Prüfungen, die zutreffen
- Item-Fit. Wie in Querschnittsthema 2 behandelt: Verwenden Sie simulationsbasierte Grenzwerte, nicht feste MSQ-Bereiche. Für jeden Fit-Test: Nennen Sie die verwendete Statistik (Infit/Outfit MSQ, z-standardisiert, χ²-basiert), das Testkriterium und ob es empirisch oder simulationsbasiert ist.
- Personen-Fit. Nicht routinemäßig, aber nützlich, wenn Ausreißer oder nicht in die Skala passende Untergruppen vermutet werden. Nur mit simulationsbasierten Grenzwerten interpretieren. Ein hoher Anteil unerwarteter Antwortmuster kann auf eine Fehlspezifikation des Modells hinweisen.
- Kategorie-Wahrscheinlichkeitskurven. Überprüfen Sie auf umgekehrte Schwellenwerte, die auf eine schlecht funktionierende Antwortkategorie hinweisen (z. B. eine, die nie die wahrscheinlichste ist). Dies ist ein klarer Hinweis auf ein Problem mit der Item-Formulierung oder der Kodierung.
- Reliabilität. Alpha, Omega, Test-Retest, person separation index. Jede erfordert ihre eigenen Grenzen. Cronbachs Alpha wird oft überschätzt, wenn die lokale Unabhängigkeit verletzt ist. Empfehlen Sie die Verwendung von Omega für CFA-basierte Arbeiten und den person separation index für Rasch-basierte Arbeiten. Zitieren Sie Quellen, die die Grenzen jedes Koeffizienten darlegen.
Zusätzliche Prüfungen bei der Selbstüberprüfung
Diese Prüfungen sind nur relevant, wenn der Nutzer Zugriff auf die Rohdaten und den Code hat.
- Zahlen gegen die Ausgabe. Stimmen die in der Arbeit berichteten Tabellen mit der Code-Ausgabe überein? Dieser Schritt deckt einfache Fehler wie das Abtippen falscher Werte oder das Auswählen falscher Modelle auf.
- Code gegen den Text. Nennt der Code den gleichen Schätzer wie der Text? Verwendet der Code die gleichen Grenzwerte? Dieser Schritt deckt Diskrepanzen zwischen dem Beschriebenen und dem tatsächlich Durchgeführten auf.
- Reproduzierbarkeit. Kann die Analyse mit den bereitgestellten Daten und dem Code reproduziert werden? Ein reproduzierbarer Workflow ist die Grundlage der Transparenz, und das Fehlen einer Datei oder einer Abhängigkeit sollte gemeldet werden.
- Robustheit. Wie empfindlich sind die Ergebnisse gegenüber der Entscheidung, andere Items auszuschließen, andere Grenzwerte zu verwenden oder eine andere Rotationsmethode zu wählen? Dies kann mit einem einfachen Simulations-Jackknife überprüft werden.
- Annahmen des Algorithmus. Ist der Schätzer für die Verteilung der Daten geeignet? (z. B. WLSMV für ordinale Daten in CFA, JMLE von Rasch für polytome Daten mit fehlenden Werten).
CFA, MGCFA und Bifaktor-Modell-Fit
Dieser Abschnitt fasst die Werkzeuge und ihre Grenzen zusammen, die für die Bewertung des Modell-Fits in konfirmatorischen Faktorenanalysen verwendet werden.
- Verwenden Sie simulationsbasierte Grenzwerte, keine festen Regeln wie Hu und Bentler. Wie in Querschnittsthema 2 ausgeführt, hängen die erwarteten Fit-Indizes (CFI, TLI, RMSEA, SRMR) stark von den Modellparametern, dem Schätzer und der Stichprobengröße ab.
- Für MGCFA: Die ΔCFI-Grenze von 0,01 ist keine gültige Regel. Simulationsstudien zeigen, dass die Sensitivität von ΔCFI von der Stichprobengröße, der Anzahl der Gruppen und der Größe der Nichtigkeitsabweichung abhängt. Verwenden Sie einen simulationsbasierten Δ-Grenzwert.
- Für Bifaktor-Modelle: Die Bifaktormodell ist ein Spezialfall. Sein Fit sollte gegen ein Modell mit korrelierten Faktoren evaluiert werden. ECV, PUC und OmegaH sind deskriptive Indizes, die im Kontext betrachtet werden sollten; sie haben keine festen Grenzwerte. Die simulation des Bifaktor-Modells ist aufgrund seiner Überparametrisierung und möglicher Identifikationsprobleme notorisch schwierig.
- Empfohlenes Werkzeug: Das
simsem-Paket in R ermöglicht die Erstellung simulationsbasierter Grenzwerte für jede CFA- oder MGCFA-Spezifikation durch parametrisches Bootstrapping, bei dem die Parameter des angepassten Modells als Grundgesamtheitswerte für die Simulation von Datensätzen verwendet werden, die unter der Nullhypothese eines korrekten Modells erzeugt werden.
Many-Facet-Rasch-Modell (MFRM)
- Modellidentifikation: Ist das Modell identifiziert? Ohne geeignete Einschränkungen (z. B. Festlegen der Facetten auf einen Mittelwert von Null oder eine Summe-zu-Null-Einschränkung) sind die Parameter nicht eindeutig.
- Rater-Effekte: Prüfen Sie auf Rater-Strenge/-Milde, Rater-Zentralitätstendenz, Rater-Extremitätstendenz und Rater-Ermüdung. Jeder dieser Effekte sollte mit einem statistischen Test (z. B. χ²-Test, fixer Effekt) und einer Größenangabe (z. B. der Spanne der Rater-Schwierigkeiten) gemeldet werden.
- Rater-Item-Interaktion: Testen Sie auf DIF über Rater hinweg (d. h., ob ein bestimmtes Item von einem Rater anders bewertet wird als von einem anderen). Dies ist in MFRM von entscheidender Bedeutung, da es die Fairness der Bewertung beeinträchtigt.
- Rater-Konsistenz: Melden Sie die Rater-Reliabilität (z. B. Trennungsindex, Rater-Trennungsquote) und überprüfen Sie auf extreme, unerwartete oder zufällige Muster in den Rater-Entscheidungen.
- Modellvergleich: Falls anwendbar, vergleichen Sie das MFRM mit einem Modell ohne Rater-Facetten, um die Notwendigkeit der Rater-Modellierung zu beurteilen. Dies kann mit einem Likelihood-Ratio-Test oder durch Vergleich des Informationskriteriums erfolgen.
Literaturdatenbank
Das Skill enthält eine Referenzbibliothek mit Methodenpapieren, die die empfohlenen Praktiken stützen. Alle Zitate sollten mit den in der Wissensdatenbank enthaltenen Quellen unterlegt werden, um die Glaubwürdigkeit der Vorschläge zu erhöhen.
Einschränkungen und ethische Hinweise
- Dieses Skill ist als Arbeitsleitfaden gedacht, nicht als Ersatz für statistisches Fachwissen oder eine gründliche methodische Überprüfung durch einen menschlichen Experten.
- Die generierten Berichte sind auf der Grundlage der bereitgestellten Informationen und der enthaltenen Referenzen verfasst. Sie sollten nicht als endgültige Beurteilung der Qualität einer Arbeit betrachtet werden.
- Der Nutzer ist für die endgültige Überprüfung des Berichts, die Sicherstellung der Vertraulichkeit von Manuskripten unter Begutachtung und die Einhaltung der Richtlinien der Zeitschrift verantwortlich.
- Das Skill verfügt über eine inhärente Voreingenommenheit gegenüber einem strengen, evidenzbasierten, simulationsgestützten Ansatz der psychometrischen Validierung. Diese Voreingenommenheit sollte in jedem Bericht, der mit seiner Hilfe erstellt wird, klar dargelegt werden.