心理測定レビュー は何をしますか?
質問票およびPROMの妥当性検証作業(Rasch、IRT、CFA)をレビューするための実用的なガイド。理論を先に述べる:問題を特定し、方法論論文を引用し、次に修正方法(手法と、該当する場合はソフトウェア)を推奨する。直接的かつ建設的に。
3つのモード
ユーザー自身の作業が提供された場合は、デフォルトで自己レビューとする。誰の作業か、または公開済みかが不明な場合は、尋ねること。
- 自己レビュー(デフォルト)。 ユーザー自身の分析と原稿(投稿前)。ジャーナル査読者が異議を唱えるであろう問題を発見し修正することが目標。出力:問題を深刻度でランク付けし、それぞれに具体的な修正方法を記載した内部レビューメモ(
templates/self-review.qmd)。 - 既発表論文の評価。 既に刊行された論文で、尺度の使用、引用、系統的レビューへの包含、またはジャーナルクラブでの発表を検討している人が読むもの。目標は、報告されたエビデンスが論文のどの測定に関する主張を支持するか、そしてそのスコアを使用する人にとってそれが何を意味するかを判断すること。出力:各問題を主要な主張を損なう(報告されたエビデンスでは主張が成立しない)、主張を弱める(主張は成立する可能性があるが、提示されたエビデンスよりも薄い)、または軽微にランク付けし、修正方法の代わりにユーザーへの影響を記載した評価メモ(
templates/appraisal.qmd)。 - 査読レポート。 他人の原稿をジャーナル向けにレビュー。出力:著者と編集者宛ての査読者レポート(
templates/referee-report.qmd)。審査中の原稿は機密事項である。ユーザーが承認していないサービスにそれらを送信してはならない。手法とソフトウェアは、誰が書いたかではなく、何をするかによって推奨し、査読者を特定できる表現を避ける。査読者自身の論文の引用を条件にしてはならない。ユーザー自身の研究が最良の情報源である場合、可能であれば他の情報源とともに引用し、選択はユーザーに委ねる。
以下の評価フレームワークは3つのモードすべてで同じである。異なるのは、入力、自己レビューでの追加チェック、および出力である。
ワークフロー
- モードとモデルタイプを確定する:RaschまたはIRT(二値またはポリトマス)、CFA、多相Rasch、またはそれらの組み合わせ。そのモデルに該当するセクションのみが関連する。
- 以下にリストされた入力を収集し、書き始める前にすべてを読む。
- 自己レビューの場合、著者のみが実行できるチェックから始める(「自己レビューでの追加チェック」を参照):出力に対する数値、およびテキストに対するコード。
- 2つの横断的懸念事項、4つの基準、該当する追加チェック、およびモデル固有のセクション(CFAまたはMFRM)を順に進める。
- 問題をランク付けし、そのモードのテンプレートに記入する。
この原稿に存在する問題のみを提起し、証拠(セクション、表、引用箇所、コード行)を指摘すること。「報告されていない」と「報告され失敗した」を区別する。該当しないテンプレートセクションは削除し、原稿に不要な一般的なアドバイスでレポートを水増ししない。
最初に、入力を収集する
自己レビュー。
- 原稿草稿(表、図、補足資料を含む)。
- 分析コードとその出力(Rスクリプト、Quarto/R Markdownファイル、ソフトウェア出力)。多くの問題はそこでしか見えない:実際に使用された推定子、実際に適用されたカットオフ値、実際に削除された項目。
- 対象ジャーナルと、それが要求する報告ガイドライン。
既発表論文の評価。
- 公開された論文とその補足資料、および共有されているデータとコード。ほとんどの公開論文にはどちらもないため、報告されている内容を判断し、論文だけではチェックできない主張を述べる。テストの欠落はエビデンスのギャップであり、基準が満たされているというエビデンスではない。
- 読者がその論文を何に使いたいか(尺度の選択、特定の母集団や言語バージョン、合計点か下位尺度点か)。同じ弱点でも、ある用途では重要で、別の用途では重要でない場合がある。意図された使用法が明記されていない場合は、それを尋ねるか、論文自体が推奨する使用法を評価する。
- 論文をその時代の方法論で評価するが、後の方法論研究によって特定の選択(例えば固定された適合度カットオフ)が信頼性に欠けることが示されている場合は、その影響が結果の信頼性を今日どの程度損なうかを述べること。2つの判断を分けて、評価が著者に対する判断ではなくエビデンスに対する判断であるようにする。
- 未解決の問題ごとに、それを解決する分析(例えばシミュレーションベースの適合度検定、局所依存性検定、意図された使用法に必要なグループのためのDIF、厳密な不変性検定)と、共有データの再分析で十分か、新しいデータが必要かを述べる。
査読レポート。
- 原稿PDF(本文、表、図、および補足資料)。
- 改訂版の場合:著者からのポイントごとの回答と前回のレビュー。コメントに番号を付け(例:R2.1、R2.2)、以降のラウンドでは、解決済みのもの、別のポイントに対処する資料で回答されたもの、却下されたものを追跡する。「慣例である」または「我々の目的には十分である」は反論ではない。そう述べ、何が求められたかを再述する。
- 論文にページ番号や行番号がない場合は、コメントしている箇所を引用して著者が見つけられるようにする。
書き始める前にすべてを読む。各測定に関する主張をそれが属する基準にマッピングし、各基準を順にチェックする。
評価フレームワーク
間隔尺度レベルの測定を支える4つの基準を中心に方法論と結果の批評を構成する[@christensenPsychometricValidationPROM2021; @kreinerValidityObjectivityReflections2007]。2つの懸念事項は通常、4つすべてにまたがる。それらは一度、冒頭で提起すること。
横断的懸念事項1:サンプルサイズと検出力
較正の安定性が制約条件ではない。テスト対象の乖離を検出する検出力が制約条件である。小サンプル(および小さいDIFサブグループ)は、ミスフィット、局所依存性、DIFに対する感度が低いことを意味するため、「問題なし」という結果は予備的なものである。非査読情報源(Rasch Measurement Transactions、rasch.org、Linacreのメモ)からの最小Nルールを受け入れない。検出力については[@johanssonSimulationbasedCutoffsConditional2026]を引用する。
横断的懸念事項2:経験則ベース対シミュレーションベースのカットオフ
この分野における繰り返し発生する問題。固定された臨界値(項目適合度MSQ 0.5~1.5または0.7~1.3、Q3 > 0.2、第一コントラスト固有値 > 2.0、Hu and BentlerのCFAカットオフ、不変性のΔCFI 0.01)は、サンプルサイズと項目特性に依存し、どちらの方向にも誤りである[@mullerItemFitStatistics2020; @marshSearchGoldenRules2004; @mcneishHowPsychologistsDetermine2026]。データ適応型のシミュレーションベース(パラメトリックブートストラップ)カットオフを推奨する[@johanssonDetectingItemMisfit2025; @johanssonSimulationbasedCutoffsConditional2026]。反復回数、決定ルール、およびファミリーワイズ誤差補正(Westfall-Young、少なくとも400回の反復)については、[@johanssonSimulationbasedCutoffsConditional2026]を引用する。中程度の数の検定(例えば項目ごとに1つ)に対するファミリーワイズレート制御と偽発見率制御の選択については、[@ferreiraMethodsTestingSmall2024]を引用する。
CFAの適合度については、Groskurthら[-@groskurthWhyWeNeed2024, p. 3907]が最も具体的な実証を示している:6項目、N = 200の1因子モデルにおいて、正しく指定されたモデルの5%を棄却する値は、負荷量が.40の場合はCFI = .813、負荷量が.80の場合は.979である。単一の固定値では両方に対応できない。European Journal of Psychological Assessmentの編集者は現在、著者に対し「すべての固定カットオフルール(Hu & Bentler, 1999が提案したものだけでなく)を放棄する」よう求めている[@goretzkoStopUsingFixed2026, p. 80]。これは、著者がカットオフを慣行として擁護する場合に査読者が引用できる。CFA、MGCFA、および二因子モデルのツールについては、以下の該当セクションで扱う。
すべての固定カットオフを、その出典が何であれ、2つの根拠に基づいて疑問視する。それは何から導き出されたのか?シミュレーション、理論的な導出、または後にルールとして固まった非公式な提案か?そして、それは現在のモデル、推定子、カテゴリ数、サンプルサイズ、負荷量に一般化できるか?これは、査読者が代わりに提示したくなる固定値(残差相関±.10、修正指数10以上、ECV .70、dMACS .40)にも等しく適用される。値を使用せざるを得ない場合は、それをヒューリスティックと呼び、その出典を示し、その値だけで判断を下さないようにする。
同じことが、あたかも正確であるかのように使用される漸近的なp値にも当てはまる。項目残差スコア検定は、項目とその残差スコアの間の観測されたGoodman-Kruskalガンマを、Raschモデルの下で期待されるガンマと比較する[@kreinerNoteItemRestscore2011]。Kreiner[-@kreinerNoteItemRestscore2011, p. 559]は、項目数とカテゴリ数が増加するにつれて項目×残差スコア表が大きく疎になり、漸近分布は近似が不十分になると指摘し、モンテカルロまたはパラメトリックブートストラップp値を提案している。iarm実装のヌルシミュレーションは、問題の大きさを示している[@johanssonCalibrationAsymptoticItemRestscore2026]。期待ガンマが同じデータから推定されるため、z統計量は小さすぎる。アンダーフィットテールは、名目上の2.5%に対して0.2~1.2%を棄却した。小サンプルバイアスは別の方向に働く:Benjamini-Hochberg補正を20の二値項目に適用した場合、真のRaschモデルでは、n = 150でサンプルの13.5%に少なくとも1つのフラグ付き項目があり、尺度がミスターゲットされた場合は30.5%であった。ポリトマス項目はすべてのnで保守的であった。名目レベルの単一の補正では両方を修正できない。すべての反復で項目パラメータを再推定するパラメトリックブートストラップp値を求めること(easyRasch2のRMitemRestscoreCutoff())。
1. 一次元性
- PCA-of-residualsの第一コントラスト固有値 < 2.0は、様々な設定で失敗する経験則である[@chouCheckingDimensionalityItem2010]。期待される固有値はNによって変化する。研究間の固有値比較を解釈可能にするには、研究ごとに期待範囲が必要である。
- RUMM PCAR/t-test:信頼できる二項信頼区間(Hagell 2014, doi:10.4236/ojs.2014.46044)を要求し、t-testを慎重に解釈する。
- 直接的な検定を推奨する:項目を順序変数として扱うWLSMV/DWLSを用いたCFAで、適合度をシミュレーションベースのカットオフと比較する(以下の「CFA、MGCFA、および二因子モデルの適合度」を参照)、またはモンテカルロp値を用いたMartin-Löf検定[@christensenTestingUnidimensionalityPolytomous2002; @christensenMonteCarloApproach2007]。
- 1因子CFAは、その適合度がそのモデル、推定子、サンプルに対するシミュレーションベースのカットオフと比較された場合にのみ、一次元性の検定として意味を持つ。Hu and Bentlerのような固定カットオフに対しては、同じ指標値が負荷量、N、カテゴリ数に応じて良好または不良の適合度を意味する可能性があるため(「CFA、MGCFA、および二因子モデルの適合度」を参照)、全く検定として機能しない。そうだとしても、自由負荷量のモデルの下での一次元性を検定するものであり、Raschモデルの下での検定ではない。等しい識別力を検定する項目適合度、および局所依存性チェックと併せて読むこと(残差依存性もCFAの適合度を低下させるため)。負荷量を等しく制約することで、比較が必要な場合、CFAはRaschモデルに近づく。
- 下位尺度を持つ尺度の場合、各下位尺度を、相関因子モデル、高次因子モデル、または二因子モデルの前に、それ自身の一次元モデルとして適合させるよう求める。これにより、読者は各下位尺度が単独で妥当かどうかを確認できる。
- 視覚的補助:最初の残差コントラストに対する標準化負荷量を項目位置に対してプロットする。
2. 局所独立性
しばしば省略されるため、これを主張する。応答依存性は、項目がほぼ重複している場合(例えば、上下に言い換えたペア)に可能性が高い。著者が予想される局所依存性を事前に排除している場合(例えばペアを統合する)、まず項目を変更せずに初期分析を求める。
- Q3残差相関[@yenEffectsLocalItem1984]とペアごとのシミュレーションベースカットオフ[@christensenCriticalValuesYens2017; @nason_another_2025]、および部分ガンマ(両方向を評価するため応答依存性をフラグする)で検出する。
- (削除以外の)解決策:テストレット/スーパーアイテム(マージ後のしきい値順序を再確認)、またはDIGRAMでのグラフィカル対数線形Raschモデル[@kreinerAnalysisLocal2004]を使用する。
- 局所依存性は信頼性を膨張させ[@raykovBiasCoefficient2001]、二因子の一般因子を生成する可能性がある。過剰適合項目は非常に頻繁に局所依存性を示す[@tuerlinckxEffectIgnoringItem2001]。
3. 不変性(DIF)
- 検定を特定し、任意の大きさのしきい値(例:0.5ロジット)を、応用論文ではなく方法論論文で正当化する。合計点に条件付けた部分ガンマ[@bjornerDifferentialItemFunctioning1998; @kreinerAnalysisMultidimensionalContingency1987]およびRasch木[@stroblRaschTreesNew2015]は、一般的な検定のための方法論論文である。
- 平均項目位置だけでなく、しきい値レベルのDIF(微分ステップ機能)を評価する。連続共変量(例:年齢)は、Rasch木[@stroblRaschTreesNew2015]または部分クレジット木[@henningerPartialCreditTrees2025]を介して連続的に扱う。
- DIFの影響を定量化する(固定変換表、変位プロット)、検出だけでなく。CFA不変性(MGCFA、縦断的、またはダイアディック)には、シミュレーションベースのカットオフを使用し、ΔCFI 0.01[@cheungEvaluatingGoodnessOfFit2002]やChen[-@chenSensitivityGoodnessFit2007]の値は使用しない。ツールとその限界については、以下の「CFA、MGCFA、および二因子モデルの適合度」を参照。
- 真のDIFと人工的なDIFを区別する。フラグが立てられた項目は、別の項目のDIFを反映している可能性があるため、DIFは単一の同時分析から読み取るのではなく、項目精製を用いて段階的に解決しなければならない[@andrichRealArtificialDifferential2012; @andrichRealArtificialDifferential2015; @hagquistExplainingDifferentialItem2019]。Henningerら[-@henningerPartialCreditTrees2025]は精製の明確な扱いを示している。これはeasyRasch2とそのjamoviモジュールの
RMdifTree()に実装されている。
...(翻訳続行)
[以下、残りのSKILL.md原文に対応する翻訳を省略]